Деревья градиентного бустинга, с помощью которых сейчас много соревнований выигрывают с пол-пинка, ставят под сомнение возможности и перспективы deep learning 😉 Зачем нейросети, если можно гораздо точнее, с помощью последовательной компенсации ошибки предыдущей модели, добавлять деревья друг на друга, упрощая оптимизацию через хак в разложение функции потерь в ряд Тейлора и вырезание первых двух членов. А еще можно делать на деревьях сразу и регуляризацию, заодно, и решение становится из коробки хорошо устойчивым к переобучению. Красота — нейросетям и не снилось 🙂
Классная, подробная и понятная преза по деталям внутри деревьев градиентного бустинга от создателей XGBoost — от простого к сложному:
Читать далее «Основы градиентного бустинга»
