Збираємо все разом
Ансамблеві методи в Python
Román de las Heras
Data Scientist, Appodeal
Розділ 1: Голосування та усереднення
Голосування
- Комбінація: мода (більшість)
- Класифікація
- Різнорідний ансамблевий метод
Усереднення
- Комбінація: середнє (average)
- Класифікація та регресія
- Різнорідний ансамблевий метод
Добрий вибір, коли ви:
- Побудували кілька різних моделей
- Не впевнені, яка найкраща
- Хочете підвищити загальну якість
Розділ 2: Bagging
Слабкий оцінювач
- Працює трохи краще за випадкове вгадування
- Легка й швидка модель
- Основа для однорідних ансамблевих методів
Bagging (Bootstrap Aggregating)
- Випадкові підвибірки з поверненням
- Велика кількість «слабких» оцінювачів
- Агрегування голосуванням або усередненням
- Однорідний ансамблевий метод
Добрий вибір, коли ви:
- Хочете зменшити дисперсію
- Прагнете уникнути перенавчання
- Потрібні стабільність і надійність
* Спостереження:
- Bagging є обчислювально витратним
Розділ 3: Бустинг
Поступове навчання
- Тип однорідного ансамблевого методу
- Базується на ітеративному навчанні
- Послідовне побудування моделей
Алгоритми бустингу
- AdaBoost
- Gradient Boosting:
- XGBoost
- LightGBM
- CatBoost
Добрий вибір, коли ви:
- Маєте складні задачі
- Потрібна паралельна обробка або розподілені обчислення
- Маєте великі набори даних або високорозмірні категоріальні ознаки
Розділ 4: Стекінг
Стекінг
- Комбінація: мета-оцінювач (модель)
- Класифікація та регресія
- Різнорідний ансамблевий метод
Реалізація
- З нуля за допомогою pandas і sklearn
- Використовуючи наявну бібліотеку MLxtend
Добрий вибір, коли ви:
- Спробували голосування / усереднення, але результат не виправдав очікувань
- Побудували моделі, що добре працюють у різних випадках
Дякуємо і гарних ансамблів!
Ансамблеві методи в Python
