Cílové kódování
Jak vyhrát soutěž na Kaggle v Pythonu
Yauhen Babakhin
Kaggle Grandmaster
Kategorické příznaky s vysokou kardinalitou
- Label encoder přiřadí každé kategorii jedinečné číslo
- One-hot encoder vytvoří nový příznak pro každou hodnotu kategorie
- Pomůže cílové kódování!
Průměrné cílové kódování
| ID (train) | Kategorická | Cíl |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 1 |
| 5 | B | 0 |
| 6 | A | 0 |
| 7 | B | 1 |
| ID (test) | Kategorická | Cíl |
|---|---|---|
| 10 | A | ? |
| 11 | A | ? |
| 12 | B | ? |
| 13 | A | ? |
Průměrné cílové kódování
- Vypočítejte průměr na trénovacích datech, aplikujte na testovací
- Rozdělte trénovací data na K foldů. Vypočítejte průměr na (K-1) foldech, aplikujte na K-tý fold
- Přidejte příznak s průměrným cílovým kódováním do modelu
Výpočet průměru na trénovacích datech
| ID (train) | Kategorická | Cíl |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 1 |
| 5 | B | 0 |
| 6 | A | 0 |
| 7 | B | 1 |
Výpočet průměru na trénovacích datech
| ID (train) | Kategorická | Cíl |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 1 |
| 5 | B | 0 |
| 6 | A | 0 |
| 7 | B | 1 |
Výpočet průměru na trénovacích datech
| ID (train) | Kategorická | Cíl |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 1 |
| 5 | B | 0 |
| 6 | A | 0 |
| 7 | B | 1 |
Kódování testovacích dat
| ID (test) | Kategorická | Cíl | Průměrné kódování |
|---|---|---|---|
| 10 | A | ? | 0.66 |
| 11 | A | ? | 0.66 |
| 12 | B | ? | 0.25 |
| 13 | A | ? | 0.66 |
Kódování trénovacích dat metodou out-of-fold
| ID (train) | Kategorická | Cíl | Fold |
|---|---|---|---|
| 1 | A | 1 | 1 |
| 2 | B | 0 | 1 |
| 3 | B | 0 | 1 |
| 4 | A | 1 | 1 |
| 5 | B | 0 | 2 |
| 6 | A | 0 | 2 |
| 7 | B | 1 | 2 |
Kódování trénovacích dat metodou out-of-fold
| ID (train) | Kategorická | Cíl | Fold | Průměrné kódování |
|---|---|---|---|---|
| 1 | A | 1 | 1 | |
| 2 | B | 0 | 1 | |
| 3 | B | 0 | 1 | |
| 4 | A | 1 | 1 | |
| 5 | B | 0 | 2 | |
| 6 | A | 0 | 2 | |
| 7 | B | 1 | 2 |
Kódování trénovacích dat metodou out-of-fold
| ID (train) | Kategorická | Cíl | Fold | Průměrné kódování |
|---|---|---|---|---|
| 1 | A | 1 | 1 | 0 |
| 2 | B | 0 | 1 | 0.5 |
| 3 | B | 0 | 1 | 0.5 |
| 4 | A | 1 | 1 | 0 |
| 5 | B | 0 | 2 | |
| 6 | A | 0 | 2 | |
| 7 | B | 1 | 2 |
Kódování trénovacích dat metodou out-of-fold
| ID (train) | Kategorická | Cíl | Fold | Průměrné kódování |
|---|---|---|---|---|
| 1 | A | 1 | 1 | 0 |
| 2 | B | 0 | 1 | 0.5 |
| 3 | B | 0 | 1 | 0.5 |
| 4 | A | 1 | 1 | 0 |
| 5 | B | 0 | 2 | |
| 6 | A | 0 | 2 | |
| 7 | B | 1 | 2 |
Kódování trénovacích dat metodou out-of-fold
| ID (train) | Kategorická | Cíl | Fold | Průměrné kódování |
|---|---|---|---|---|
| 1 | A | 1 | 1 | 0 |
| 2 | B | 0 | 1 | 0.5 |
| 3 | B | 0 | 1 | 0.5 |
| 4 | A | 1 | 1 | 0 |
| 5 | B | 0 | 2 | 0 |
| 6 | A | 0 | 2 | 1 |
| 7 | B | 1 | 2 | 0 |
Praktické pokyny
Praktické pokyny
Vyhlazování
$$mean\_enc_i = \frac{target\_sum_i}{n_i}$$
$$smoothed\_mean\_enc_i = \frac{target\_sum_i + \alpha*global\_mean}{n_i + \alpha}$$
$$\alpha \in [5; 10]$$
Praktické pokyny
Vyhlazování
$$mean\_enc_i = \frac{target\_sum_i}{n_i}$$
$$smoothed\_mean\_enc_i = \frac{target\_sum_i + \alpha*global\_mean}{n_i + \alpha}$$
$$\alpha \in [5; 10]$$
Nové kategorie
- Nové kategorie v testovacích datech vyplňte hodnotou global_mean
Praktické pokyny
| ID (train) | Kategorická | Cíl |
|---|---|---|
| 1 | A | 1 |
| 2 | B | 0 |
| 3 | B | 0 |
| 4 | A | 0 |
| 5 | B | 1 |
| ID (test) | Kategorická | Cíl | Průměrné kódování |
|---|---|---|---|
| 10 | A | ? | 0.43 |
| 11 | B | ? | 0.38 |
| 12 | C | ? | 0.40 |
Lass uns üben!
Jak vyhrát soutěž na Kaggle v Pythonu
