Dlaczego przekształcać istniejące cechy?

Inżynieria cech w R

Jorge Zazueta

Research Professor. Head of the Modeling Group at the School of Economics, UASLP

Ułatwianie pracy modelowi

Wydajność modelu uczenia maszynowego można poprawić, czyniąc dane bardziej przystępnymi.

glimpse(loans_num)

Rows: 614
Columns: 6
$ Loan_Status       <fct> Y, N, Y, Y, Y, Y, Y, N, Y, N, Y, Y, Y, N...
$ ApplicantIncome   <dbl> 5849, 4583, 3000, 2583, 6000, 5417, 233...
$ CoapplicantIncome <dbl> 0, 1508, 0, 2358, 0, 4196, 1516, 2504, 1...
$ LoanAmount        <dbl> NA, 128, 66, 120, 141, 267, 95, 158, 168...
$ Loan_Amount_Term  <dbl> 360, 360, 360, 360, 360, 360, 360, 360, ...
$ Credit_History    <fct> 1, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1...

Transformacja logarytmiczna

Transformacja log cech numerycznych pozwala:

Obsługiwać dane skośne
Zmniejszyć wpływ wartości odstających
Zamieniać relacje multiplikatywne na addytywne
Uczynić dane bardziej odpowiednimi do modelowania
Działa tylko dla wartości dodatnich

Dane o kwocie pożyczki po transformacji log

Graficzne porównanie danych surowych i po transformacji logarytmicznej

Normalizacja

Normalizacja lub skalowanie cech numerycznych pozwala:

Zapobiec dominacji jednej cechy nad innymi
Ułatwić interpretację dzięki porównywalnej skali oraz
Uczynić dane bardziej odpowiednimi do modelowania

Np. wartości okresu pożyczki wykazują znaczne zróżnicowanie

Histogram przedstawiający wartości kwoty pożyczki.

Normalizacja

Normalizacja lub skalowanie cech numerycznych:

Zapobiega dominacji jednej cechy nad innymi
Pomaga obsługiwać wartości odstające i
Brakujące dane
Czyni dane bardziej odpowiednimi do modelowania

Znormalizowane wartości zachowują rozkład, ale zawierają zmienność.

Histogram przedstawiający wartości kwoty pożyczki nałożone na znormalizowane dane.

Definiowanie modelu i receptury

Można teraz zdefiniować model regresji logistycznej i dodać recepturę do imputacji, normalizacji i transformacji logarytmicznej odpowiednich cech.

lr_model <- logistic_reg()

lr_recipe <- 
  recipe(Loan_Status ~., 
         data = train) %>%
  step_impute_knn(
    all_numeric_predictors())%>%
  step_normalize(Loan_Amount_Term) %>%
  step_log(all_numeric_predictors(),
           -Loan_Amount_Term, offset = 1)

Wydrukowanie obiektu receptury pokazuje podsumowanie zastosowanych kroków.

lr_recipe

Recipe

Inputs:

      role #variables
   outcome          1
 predictor          5

Operations:

K-nearest neighbor imputation for all_numeric_predictors()
Centering and scaling for Loan_Amount_Term
Log transformation on all_numeric_predictors(),-Loan_Amount_Term

Efektywne mierzenie wydajności

Definiujemy zestaw metryk: roc_auc, accuracy i sens, aby ocenić dopasowanie obiektu przepływu pracy lr_fit.

class_evaluate <- metric_set(
  roc_auc, accuracy, sens)

I uruchamiamy go jak każdą funkcję.

lr_aug %>% 
  class_evaluate(
    truth = Loan_Status, 
    estimate = .pred_class, 
    .pred_Y)

Niestandardowy zestaw metryk

# A tibble: 3 × 3
  .metric  .estimator .estimate
  <chr>    <chr>          <dbl>
1 accuracy binary         0.813
2 sens     binary         0.467
3 roc_auc  binary         0.288

Czas na ćwiczenia!

Inżynieria cech w R