Features standardisieren

CTR-Vorhersage mit Machine Learning in Python

Kevin Huo

Instructor

Warum Standardisierung wichtig ist

  • Standardisierung: sicherstellen, dass deine Daten zu den Modellannahmen passen
  • Manche Features haben zu hohe Varianz und dominieren das Modell
  • Beispiel: Bestimmte Counts haben wegen eines Spam-Users einen extrem großen Wertebereich
  • Gilt nicht für kategoriale Variablen wie site_id, app_id, device_id usw.
CTR-Vorhersage mit Machine Learning in Python

Log-Normalisierung

df.var()

click                   1.294270e-01
hour                    1.123316e-01

df.var().median()

0.7108583771671939

print(df['click'].var())
df['device_id_count'] = df[
  'device_id_count'].apply(
  lambda x: np.log(x))
print(df['click'].var())

249362570.10134825
15.628476003312514
CTR-Vorhersage mit Machine Learning in Python

Daten skalieren

  • Standard-Scaling setzt alle Features auf Mittelwert 0 und Standardabweichung 1

Beispiel für Standard-Scaling

  • Im Allgemeinen gute Praxis für ML-Modelle
CTR-Vorhersage mit Machine Learning in Python

So standardskalierst du Daten

  • Skalieren geht mit StandardScaler() so:
scaler = StandardScaler()
X[numeric_cols] = scaler.fit_transform(X[numeric_cols])

dtype: float64
1    10.5 -> 0.85
2    32.3 -> 1.54
CTR-Vorhersage mit Machine Learning in Python

Lass uns üben!

CTR-Vorhersage mit Machine Learning in Python

Preparing Video For Download...