Подводим итоги по ансамблированию
Ансамблевые методы в Python
Román de las Heras
Data Scientist, Appodeal
Глава 1: Голосование и усреднение
Голосование
- Комбинирование: мода (большинство)
- Классификация
- Гетерогенный метод ансамблирования
Усреднение
- Комбинирование: среднее значение
- Классификация и регрессия
- Гетерогенный метод ансамблирования
Хороший выбор, если вы:
- Построили несколько разных моделей
- Не уверены, какая из них лучшая
- Хотите улучшить общую производительность
Глава 2: Бэггинг
Слабый оценщик
- Работает лишь чуть лучше случайного угадывания
- Лёгкая и быстрая модель
- Основа гомогенных методов ансамблирования
Бэггинг (Bootstrap Aggregating)
- Случайные подвыборки с возвращением
- Большое число «слабых» оценщиков
- Агрегирование голосованием или усреднением
- Гомогенный метод ансамблирования
Хороший выбор, если вы:
- Хотите снизить дисперсию
- Хотите избежать переобучения
- Нуждаетесь в большей стабильности и устойчивости
* Замечание:
- Бэггинг требует значительных вычислительных ресурсов
Глава 3: Бустинг
Постепенное обучение
- Разновидность гомогенного метода ансамблирования
- Основан на итеративном обучении
- Последовательное построение моделей
Алгоритмы бустинга
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Хороший выбор, если вы:
- Решаете сложные задачи
- Хотите использовать параллельные или распределённые вычисления
- Работаете с большими наборами данных или многомерными категориальными признаками
Глава 4: Стекинг
Стекинг
- Комбинирование: мета-оценщик (модель)
- Классификация и регрессия
- Гетерогенный метод ансамблирования
Реализация
- С нуля с использованием pandas и sklearn
- С помощью библиотеки MLxtend
Хороший выбор, если вы:
- Пробовали голосование / усреднение, но результаты не оправдали ожиданий
- Построили модели, которые хорошо работают в разных ситуациях
Спасибо — ансамбль собран!
Ансамблевые методы в Python
