Por que transformar recursos existentes?

Feature Engineering em R

Jorge Zazueta

Research Professor. Head of the Modeling Group at the School of Economics, UASLP

Facilitando a vida do seu modelo

Podemos melhorar o desempenho do modelo de Machine Learning deixando os dados mais fáceis de manipular.

glimpse(loans_num)

Rows: 614
Columns: 6
$ Loan_Status       <fct> Y, N, Y, Y, Y, Y, Y, N, Y, N, Y, Y, Y, N...
$ ApplicantIncome   <dbl> 5849, 4583, 3000, 2583, 6000, 5417, 233...
$ CoapplicantIncome <dbl> 0, 1508, 0, 2358, 0, 4196, 1516, 2504, 1...
$ LoanAmount        <dbl> NA, 128, 66, 120, 141, 267, 95, 158, 168...
$ Loan_Amount_Term  <dbl> 360, 360, 360, 360, 360, 360, 360, 360, ...
$ Credit_History    <fct> 1, 1, 1, 1, 1, 1, 1, 0, 1, 1, 1, 1, 1, 1...

Transformação log

Aplique transformação log em recursos numéricos para:

Tratar assimetria nos dados
Reduzir o impacto de outliers
Converter relações multiplicativas em aditivas
Deixar os dados mais adequados à modelagem
Funciona apenas para valores positivos

Dados de valor do empréstimo com log

Comparação gráfica entre dados brutos e com log

Normalização

Normalize ou faça o escalonamento de recursos numéricos para:

Evitar que uma variável domine as outras
Facilitar a interpretação com magnitudes comparáveis e
Deixar os dados mais adequados à modelagem

por exemplo, os valores de prazo do empréstimo variam bastante

Histograma mostrando valores do prazo do empréstimo.

Normalização

Normalize ou faça o escalonamento de recursos numéricos para:

Evitar que uma variável domine as outras
Ajudar a lidar com outliers e
Dados ausentes
Deixar os dados mais adequados à modelagem

Valores normalizados preservam a distribuição, mas contêm variação.

Histograma mostrando valores de prazo do empréstimo sobrepostos por dados normalizados.

Definindo o modelo e a receita

Agora podemos declarar um modelo de regressão logística e incluir uma receita para imputar, normalizar e aplicar log nos recursos relevantes.

lr_model <- logistic_reg()

lr_recipe <- 
  recipe(Loan_Status ~., 
         data = train) %>%
  step_impute_knn(
    all_numeric_predictors())%>%
  step_normalize(Loan_Amount_Term) %>%
  step_log(all_numeric_predictors(),
           -Loan_Amount_Term, offset = 1)

Imprimir o objeto de receita mostra um resumo das etapas aplicadas.

lr_recipe

Recipe

Inputs:

      role #variables
   outcome          1
 predictor          5

Operations:

K-nearest neighbor imputation for all_numeric_predictors()
Centering and scaling for Loan_Amount_Term
Log transformation on all_numeric_predictors(),-Loan_Amount_Term

Medindo desempenho de forma eficiente

Definimos um conjunto de métricas, roc_auc, accuracy e sens, para avaliar o objeto de workflow ajustado lr_fit.

class_evaluate <- metric_set(
  roc_auc, accuracy, sens)

E executamos como qualquer função.

lr_aug %>% 
  class_evaluate(
    truth = Loan_Status, 
    estimate = .pred_class, 
    .pred_Y)

Conjunto de métricas personalizado

# A tibble: 3 × 3
  .metric  .estimator .estimate
  <chr>    <chr>          <dbl>
1 accuracy binary         0.813
2 sens     binary         0.467
3 roc_auc  binary         0.288

Vamos praticar!

Feature Engineering em R