Огляд регресії

Екстремальний градієнтний бустинг з XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Основи регресії

  • Вихід — дійсне значення

Екстремальний градієнтний бустинг з XGBoost

Поширені метрики регресії

  • Корінь із середньоквадратичної помилки (RMSE)
  • Середня абсолютна помилка (MAE)
Екстремальний градієнтний бустинг з XGBoost

Обчислення RMSE

Факт Прогноз
10 20
3 8
6 1
Екстремальний градієнтний бустинг з XGBoost

Обчислення RMSE

Факт Прогноз Помилка
10 20 -10
3 8 -5
6 1 5
Екстремальний градієнтний бустинг з XGBoost

Обчислення RMSE

Факт Прогноз Помилка Квадрат помилки
10 20 -10 100
3 8 -5 25
6 1 5 25
  • Загальна сума квадратів помилок: 150
  • Середньоквадратична помилка: 50
  • Корінь із середньоквадратичної помилки: 7,07
Екстремальний градієнтний бустинг з XGBoost

Обчислення MAE

Факт Прогноз Помилка
10 20 -10
3 8 -5
6 1 5
  • Загальна абсолютна помилка: 20
  • Середня абсолютна помилка: 6,67
Екстремальний градієнтний бустинг з XGBoost

Поширені алгоритми регресії

  • Лінійна регресія
  • Дерева рішень
Екстремальний градієнтний бустинг з XGBoost

Алгоритми для регресії та класифікації

1 https://www.ibm.com/support/knowledgecenter/en/SS3RA7_15.0.0/ com.ibm.spss.modeler.help/nodes_treebuilding.htm
Екстремальний градієнтний бустинг з XGBoost

Давайте потренуємось!

Екстремальний градієнтний бустинг з XGBoost

Preparing Video For Download...