Ласкаво просимо на курс!

Екстремальний градієнтний бустинг з XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Перш ніж перейти до XGBoost...

• Потрібно розуміти основи
  • Керована класифікація
  • Дерева рішень
  • Boosting

Кероване навчання

• Спирається на розмічені дані
• Маємо певне уявлення про минулу поведінку

Приклад керованого навчання

• Чи містить конкретне зображення обличчя людини?
• Навчальні дані: вектори значень пікселів
• Мітки: 1 або 0

Кероване навчання: класифікація

• Вихід може бути бінарним або багатокласовим

Приклад бінарної класифікації

• Чи придбає людина страховий пакет за певної пропозиції?

Приклад багатокласової класифікації

• Класифікація виду заданого птаха

AUC: метрика для бінарних моделей класифікації

• Площа під ROC-кривою (AUC)
• Більша площа під ROC-кривою = краща модель

Оцінка точності та матриця невідповідностей

• Матриця невідповідностей

• Точність $$\frac{tp+tn}{tp+tn+fp+fn}$$

Огляд

• Supervised Learning with scikit-learn

Інші аспекти керованого навчання

• Ознаки можуть бути числовими або категоріальними
• Числові ознаки слід масштабувати (Z-оцінка)
• Категоріальні ознаки слід кодувати (one-hot)

Ранжування

• Прогнозування порядку в наборі варіантів

Рекомендації

• Рекомендація елемента користувачеві
• На основі історії споживання та профілю
• Приклад: Netflix

Давайте потренуємось!

Екстремальний градієнтний бустинг з XGBoost