Qu'est-ce que l'ingénierie des caractéristiques ?

Ingénierie des caractéristiques en R

Jorge Zazueta

Research Professor and Head of the Modeling Group at the School of Economics, UASLP

Qu'est-ce que l'ingénierie des caractéristiques ?

L'ingénierie des caractéristiques consiste à

créer,
transformer,
extraire et
sélectionner

des variables pour améliorer la performance et l'interprétabilité d'un modèle.

Hauteur d'un objet en fonction du temps

# A tibble: 100 × 2
    time height
   <dbl>  <dbl>
 1 0       0   
 2 0.101   3.85
 3 0.202  17.7 
 4 0.303  15.1 
 5 0.404  20.0 
 6 0.505  32.6 
 7 0.606  30.8 
 8 0.707  26.6 
 9 0.808  33.8 
10 0.909  39.2 
# ... with 90 more rows
# ℹ Use `print(n = ...)` to see more rows

Pourquoi créer des caractéristiques ?

Nous créons un simple modèle de régression de la hauteur

lr_height <- lm(height ~ time,
                data = height)

et le traçons pour évaluer visuellement la justesse.

df <- height %>% 
bind_cols(lr_pred = predict(lr_height))

df %>%
  ggplot(aes(x = time, y = height)) +
  geom_point() +
  geom_line(aes(y = lr_pred), 
            color = "blue", lwd = .75)+
    theme_classic()

Notre modèle représente très mal les données !

Régression linéaire de la hauteur en fonction du temps.

Régression linéaire hauteur vs temps illustrant un faible ajustement.

Utiliser mutate()

La hauteur d'un objet suit une trajectoire parabolique donnée par la formule suivante :

$y(t) = y_0 + v_0t - \frac{g}{2}t^2$.

Où $y$ est la hauteur de l'objet au temps $t$, et $y_0$, $v_0$ et $g$ sont respectivement la hauteur initiale, la vitesse initiale et l'accélération due à la gravité.

Nous pouvons ajuster notre modèle en tenant compte de la dépendance à la fois au temps et au carré du temps.

mutate() prend une trame de données en premier argument et la définition d'une nouvelle variable à y ajouter.

df_2 <- df %>% mutate(time_2 = time^2)

# A tibble: 100 × 4
    time height lr_pred time_2
   <dbl>  <dbl>   <dbl>  <dbl>
 1 0       0       80.8 0     
 2 0.101   3.85    80.9 0.0102
 3 0.202  17.7     81.0 0.0408
 4 0.303  15.1     81.1 0.0918

Prédire avec la caractéristique créée

Nous créons un autre modèle de régression, en utilisant notre nouvelle caractéristique avec l'originale.

lr_height_2 <- 
lm(height ~ time + time_2, data = df_2)

Puis nous traçons la nouvelle prédiction.

df_2 <- df_2 %>%
    bind_cols(lr2_pred = predict(lr_height_2))
df_2 %>%
  ggplot(aes(x = time, y = height)) +
  geom_point() +
  geom_line(aes(y = lr2_pred), 
      col = "blue", lwd = .75) +
  theme_classic()

Amélioration marquée, sans changer de modèle.

Hauteur vs temps et time_2

Passons à la pratique !

Ingénierie des caractéristiques en R