Inženýrství a výběr příznaků

Strojové učení od začátku do konce

Joshua Stapleton

Machine Learning Engineer

Inženýrství příznaků

Tvorba příznaků

Zjednodušuje problém
Zvyšuje efektivitu modelu

Techniky

Úprava stávajících příznaků
Návrh nových příznaků

Výhody

Snazší nasazení, údržba, trénování
Zvýšení interpretovatelnosti

Aktuální fáze životního cyklu strojového učení: inženýrství příznaků

Normalizace

Škáluje numerické příznaky na [0, 1]
Vhodné, pokud mají příznaky různá měřítka nebo rozsahy.

from sklearn.model_selection import train_test_split
from sklearn.preprocessing import Normalizer

# Split the data
X_train, X_test = train_test_split(df, test_size=0.2, random_state=42)
# Createnormalizer object, fit on training data, normalize, and transform test set
norm = Normalizer()
X_train_norm = norm.fit_transform(X_train)
X_test_norm = norm.transform(X_test)

Standardizace

Škáluje data na průměr = 0, rozptyl = 1
Vhodné pro algoritmy předpokládající podobný průměr a rozptyl

from sklearn.preprocessing import StandardScaler

# Split the data
X_train, X_test = train_test_split(df, test_size=0.2, random_state=42)
# Create a scaler object and fit training data to standardize it
sc = StandardScaler()
X_train_stzd = sc.fit_transform(X_train)
# Only standardize the test data
X_test_stzd = sc.transform(X_test)

Co tvoří dobrý příznak?

Používejte relevantní příznaky
Počasí v den návštěvy pacienta by nemělo mít vliv na diagnózu

Obrázek bouřkového počasí ilustrující princip relevance příznaků při jejich výběru

Používejte odlišné (ortogonální) příznaky
Věk v měsících a věk v letech by nepřinesly žádnou přidanou hodnotu

Diagram ilustrující princip ortogonality při výběru příznaků

sklearn.feature_selection

from sklearn.ensemble import RandomForestClassifier
from sklearn.feature_selection import SelectFromModel
from sklearn.model_selection import train_test_split


# Splitting data into train and test subsets first to avoid data leakage
X_train, X_test, y_train, y_test = train_test_split(
    heart_disease_df_X, heart_disease_df_y, test_size=0.2, random_state=42)

sklearn.feature_selection (pokrač.)

# Define and fit the random forest model
rf = RandomForestClassifier(n_jobs=-1, class_weight='balanced', max_depth=5)
rf.fit(X_train, y_train)


# Define and run feature selection
model = SelectFromModel(rf, prefit=True)
features_bool = model.get_support()
features = heart_disease_df.columns[features_bool]

Pojďme si procvičit!

Strojové učení od začátku do konce