Encodage par la cible
Gagner une compétition Kaggle en Python
Yauhen Babakhin
Kaggle Grandmaster
Variables catégorielles à forte cardinalité
- Le label encoding attribue un nombre distinct à chaque catégorie
- Le one-hot encoding crée une nouvelle variable par valeur de catégorie
- L’encodage par la cible à la rescousse !
Encodage moyen par la cible
| ID train | Catégorique | Cible |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 1 |
| 5 | B | 0 |
| 6 | A | 0 |
| 7 | B | 1 |
| ID test | Catégorique | Cible |
|---|---|---|
| 10 | A | ? |
| 11 | A | ? |
| 12 | B | ? |
| 13 | A | ? |
Encodage moyen par la cible
- Calculer la moyenne sur le train, appliquer au test
- Diviser le train en K folds. Calculer la moyenne sur (K-1) folds, appliquer au Kᵉ fold
- Ajouter la variable encodée moyenne au modèle
Calculer la moyenne sur le train
| ID train | Catégorique | Cible |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 1 |
| 5 | B | 0 |
| 6 | A | 0 |
| 7 | B | 1 |
Calculer la moyenne sur le train
| ID train | Catégorique | Cible |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 1 |
| 5 | B | 0 |
| 6 | A | 0 |
| 7 | B | 1 |
Calculer la moyenne sur le train
| ID train | Catégorique | Cible |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 1 |
| 5 | B | 0 |
| 6 | A | 0 |
| 7 | B | 1 |
Encodage du test
| ID test | Catégorique | Cible | Encodage moyen |
|---|---|---|---|
| 10 | A | ? | 0,66 |
| 11 | A | ? | 0,66 |
| 12 | B | ? | 0,25 |
| 13 | A | ? | 0,66 |
Encodage train en out-of-fold
| ID train | Catégorique | Cible | Fold |
|---|---|---|---|
| 1 | A | 1 | 1 |
| 2 | B | 0 | 1 |
| 3 | B | 0 | 1 |
| 4 | A | 1 | 1 |
| 5 | B | 0 | 2 |
| 6 | A | 0 | 2 |
| 7 | B | 1 | 2 |
Encodage train en out-of-fold
| ID train | Catégorique | Cible | Fold | Encodage moyen |
|---|---|---|---|---|
| 1 | A | 1 | 1 | |
| 2 | B | 0 | 1 | |
| 3 | B | 0 | 1 | |
| 4 | A | 1 | 1 | |
| 5 | B | 0 | 2 | |
| 6 | A | 0 | 2 | |
| 7 | B | 1 | 2 |
Encodage train en out-of-fold
| ID train | Catégorique | Cible | Fold | Encodage moyen |
|---|---|---|---|---|
| 1 | A | 1 | 1 | 0 |
| 2 | B | 0 | 1 | 0,5 |
| 3 | B | 0 | 1 | 0,5 |
| 4 | A | 1 | 1 | 0 |
| 5 | B | 0 | 2 | |
| 6 | A | 0 | 2 | |
| 7 | B | 1 | 2 |
Encodage train en out-of-fold
| ID train | Catégorique | Cible | Fold | Encodage moyen |
|---|---|---|---|---|
| 1 | A | 1 | 1 | 0 |
| 2 | B | 0 | 1 | 0,5 |
| 3 | B | 0 | 1 | 0,5 |
| 4 | A | 1 | 1 | 0 |
| 5 | B | 0 | 2 | |
| 6 | A | 0 | 2 | |
| 7 | B | 1 | 2 |
Encodage train en out-of-fold
| ID train | Catégorique | Cible | Fold | Encodage moyen |
|---|---|---|---|---|
| 1 | A | 1 | 1 | 0 |
| 2 | B | 0 | 1 | 0,5 |
| 3 | B | 0 | 1 | 0,5 |
| 4 | A | 1 | 1 | 0 |
| 5 | B | 0 | 2 | 0 |
| 6 | A | 0 | 2 | 1 |
| 7 | B | 1 | 2 | 0 |
Guides pratiques
Guides pratiques
Lissage
$$mean\_enc_i = \frac{target\_sum_i}{n_i}$$
$$smoothed\_mean\_enc_i = \frac{target\_sum_i + \alpha*global\_mean}{n_i + \alpha}$$
$$\alpha \in [5; 10]$$
Guides pratiques
Lissage
$$mean\_enc_i = \frac{target\_sum_i}{n_i}$$
$$smoothed\_mean\_enc_i = \frac{target\_sum_i + \alpha*global\_mean}{n_i + \alpha}$$
$$\alpha \in [5; 10]$$
Nouvelles catégories
- Renseigner les nouvelles catégories du test avec la moyenne_globale
Guides pratiques
| ID train | Catégorique | Cible |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 0 |
| 5 | B | 1 |
| ID test | Catégorique | Cible | Encodage moyen |
|---|---|---|---|
| 10 | A | ? | 0,43 |
| 11 | B | ? | 0,38 |
| 12 | C | ? | 0,40 |
Passons à la pratique !
Gagner une compétition Kaggle en Python
