Průměrování

Ensemble Methods in Python

Román de las Heras

Data Scientist, Appodeal

Počítání fazolových bonbonů

Jak získat dobrý odhad?

Hádání (náhodné číslo)
Aproximace objemu
Mnoho dalších přístupů

Skutečná hodnota ~ mean(odhady)

Průměrování (Soft Voting)

Vlastnosti

Klasifikace i regrese
Soft Voting: průměr
- Regrese: průměr předpovězených hodnot
- Klasifikace: průměr předpovězených pravděpodobností
Vyžaduje alespoň 2 estimátory

Průměrovací ensemble v scikit-learn

Klasifikátor s průměrováním

from sklearn.ensemble import VotingClassifier

clf_voting = VotingClassifier(

    estimators=[
       ('label1', clf_1), 
       ('label2', clf_2),
       ...
       ('labelN', clf_N)],

    voting='soft',

    weights=[w_1, w_2, ..., w_N]
)

Regresor s průměrováním

from sklearn.ensemble import VotingRegressor

reg_voting = VotingRegressor(

    estimators=[
       ('label1', reg_1), 
       ('label2', reg_2),
       ...
       ('labelN', reg_N)],

    weights=[w_1, w_2, ..., w_N]
)

Příklad v scikit-learn

# Instantiate the individual models
clf_knn = KNeighborsClassifier(5)
clf_dt = DecisionTreeClassifier()
clf_lr = LogisticRegression()

# Create an averaging classifier
clf_voting = VotingClassifier(
    estimators=[
       ('knn', clf_knn), 
       ('dt', clf_dt), 
       ('lr', clf_lr)],
    voting='soft',
    weights=[1, 2, 1]
)

Úmrtí v Hře o trůny

Cíl:

Předpovědět, zda postava přežije

Příznaky:

Věk
Pohlaví
Knihy, ve kterých se objevuje
Popularita
Zda příbuzní žijí

Čas na procvičení!

Ensemble Methods in Python