Добро пожаловать на курс!

Экстремальный градиентный бустинг с XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Прежде чем перейти к XGBoost...

• Необходимо понимать основы
  • Классификация с учителем
  • Деревья решений
  • Бустинг

Обучение с учителем

• Опирается на размеченные данные
• Использует знание о прошлом поведении

Пример обучения с учителем

• Содержит ли изображение лицо человека?
• Обучающие данные: векторы значений пикселей
• Метки: 1 или 0

Обучение с учителем: классификация

• Результат может быть бинарным или многоклассовым

Пример бинарной классификации

• Купит ли клиент страховой пакет по данному предложению?

Пример многоклассовой классификации

• Определение вида птицы по изображению

AUC: метрика для моделей бинарной классификации

• Площадь под ROC-кривой (AUC)
• Чем больше площадь под ROC-кривой, тем лучше модель

Точность и матрица ошибок

• Матрица ошибок

• Точность $$\frac{tp+tn}{tp+tn+fp+fn}$$

Повторение

• Обучение с учителем с помощью scikit-learn

Другие аспекты обучения с учителем

• Признаки могут быть числовыми или категориальными
• Числовые признаки следует масштабировать (Z-оценка)
• Категориальные признаки следует кодировать (one-hot)

Ранжирование

• Предсказание порядка ранжирования вариантов

Рекомендации

• Рекомендация товара пользователю
• На основе истории потребления и профиля
• Пример: Netflix

Давайте потренируемся!

Экстремальный градиентный бустинг с XGBoost