Witamy w kursie!

Extreme Gradient Boosting with XGBoost

Sergey Fogelson

Head of Data Science, TelevisaUnivision

Zanim przejdziemy do XGBoost...

  • Potrzebna znajomość podstaw
    • Nadzorowana klasyfikacja
    • Drzewa decyzyjne
    • Boosting
Extreme Gradient Boosting with XGBoost

Uczenie nadzorowane

  • Opiera się na danych z etykietami
  • Wymaga wiedzy o wcześniejszym zachowaniu
Extreme Gradient Boosting with XGBoost

Przykład uczenia nadzorowanego

  • Czy dany obraz zawiera twarz osoby?
  • Dane treningowe: wektory wartości pikseli
  • Etykiety: 1 lub 0
Extreme Gradient Boosting with XGBoost

Uczenie nadzorowane: klasyfikacja

  • Wynik może być binarny lub wieloklasowy
Extreme Gradient Boosting with XGBoost

Przykład klasyfikacji binarnej

  • Czy dana osoba wykupi pakiet ubezpieczeniowy po otrzymaniu oferty?

Extreme Gradient Boosting with XGBoost

Przykład klasyfikacji wieloklasowej

  • Klasyfikacja gatunku danego ptaka
Extreme Gradient Boosting with XGBoost

AUC: metryka dla modeli klasyfikacji binarnej

  • Pole pod krzywą ROC (AUC)
  • Większe AUC = lepszy model

Przykład AUC

Extreme Gradient Boosting with XGBoost

Dokładność i macierz pomyłek

  • Macierz pomyłek Przykład macierzy pomyłek

  • Dokładność $$\frac{tp+tn}{tp+tn+fp+fn}$$

Extreme Gradient Boosting with XGBoost

Powtórzenie

Extreme Gradient Boosting with XGBoost

Inne aspekty uczenia nadzorowanego

  • Cechy mogą być numeryczne lub kategoryczne
  • Cechy numeryczne należy skalować (Z-score)
  • Cechy kategoryczne należy kodować (one-hot)
Extreme Gradient Boosting with XGBoost

Ranking

  • Przewidywanie kolejności wśród zestawu wyborów

Extreme Gradient Boosting with XGBoost

Rekomendacje

  • Rekomendowanie elementu użytkownikowi
  • Na podstawie historii i profilu
  • Przykład: Netflix
Extreme Gradient Boosting with XGBoost

Czas na ćwiczenia!

Extreme Gradient Boosting with XGBoost

Preparing Video For Download...