Основы градиентного бустинга

Александр СербулДеревья градиентного бустинга, с помощью которых сейчас много соревнований выигрывают с пол-пинка, ставят под сомнение возможности и перспективы deep learning 😉 Зачем нейросети, если можно гораздо точнее, с помощью последовательной компенсации ошибки предыдущей модели, добавлять деревья друг на друга, упрощая оптимизацию через хак в разложение функции потерь в ряд Тейлора и вырезание первых двух членов. А еще можно делать на деревьях сразу и регуляризацию, заодно, и решение становится из коробки хорошо устойчивым к переобучению. Красота — нейросетям и не снилось 🙂

Александр Сербул
Руководитель направления контроля качества интеграции и внедрений в 1С-Битрикс

Классная, подробная и понятная преза по деталям внутри деревьев градиентного бустинга от создателей XGBoost — от простого к сложному:

BoostedTree

 
Скачать

XGBoost проверено! — Мин нет!

CC BY-NC 4.0 Основы градиентного бустинга, опубликовано К ВВ, лицензия — Creative Commons Attribution-NonCommercial 4.0 International.


Респект и уважуха

Добавить комментарий