Standardizarea caracteristicilor

Predicția CTR cu Machine Learning în Python

Kevin Huo

Instructor

De ce este importantă standardizarea

  • Standardizarea: asigurarea că datele respectă ipotezele modelelor
  • Anumite caracteristici pot avea varianță prea mare, dominând incorect modelele
  • Exemplu: anumite numărători au un interval prea mare din cauza unui utilizator spam
  • Nu se aplică variabilelor categorice, precum site_id, app_id, device_id etc.
Predicția CTR cu Machine Learning în Python

Normalizare logaritmică

df.var()

click                   1.294270e-01
hour                    1.123316e-01

df.var().median()

0.7108583771671939

print(df['click'].var())
df['device_id_count'] = df[
  'device_id_count'].apply(
  lambda x: np.log(x))
print(df['click'].var())

249362570.10134825
15.628476003312514
Predicția CTR cu Machine Learning în Python

Scalarea datelor

  • Scalarea standard transformă toate caracteristicile pentru a avea media 0 și deviația standard 1

Exemplu de scalare standard

  • Practică recomandată în general pentru modelele de machine learning
Predicția CTR cu Machine Learning în Python

Cum se scalează datele standard

  • Scalarea se poate realiza cu StandardScaler() astfel:
scaler = StandardScaler()
X[numeric_cols] = scaler.fit_transform(X[numeric_cols])

dtype: float64
1    10.5 -> 0.85
2    32.3 -> 1.54
Predicția CTR cu Machine Learning în Python

Să exersăm!

Predicția CTR cu Machine Learning în Python

Preparing Video For Download...