Medelvärdesbildning

Ensemblemetoder i Python

Román de las Heras

Data Scientist, Appodeal

Räkna Jelly Beans

Hur gör man en bra uppskattning?

Gissning (slumpmässigt tal)
Volymuppskattning
Många fler metoder

Faktiskt värde ~ medelvärde(uppskattningar)

Medelvärdesbildning (mjuk röstning)

Egenskaper

Klassificering och regressionsproblem
Mjuk röstning: medelvärde
- Regression: medelvärde av predikterade värden
- Klassificering: medelvärde av predikterade sannolikheter
Kräver minst 2 estimatorer

Ensembler med medelvärdesbildning i scikit-learn

Klassificerare med medelvärdesbildning

from sklearn.ensemble import VotingClassifier

clf_voting = VotingClassifier(

    estimators=[
       ('label1', clf_1), 
       ('label2', clf_2),
       ...
       ('labelN', clf_N)],

    voting='soft',

    weights=[w_1, w_2, ..., w_N]
)

Regressor med medelvärdesbildning

from sklearn.ensemble import VotingRegressor

reg_voting = VotingRegressor(

    estimators=[
       ('label1', reg_1), 
       ('label2', reg_2),
       ...
       ('labelN', reg_N)],

    weights=[w_1, w_2, ..., w_N]
)

Exempel med scikit-learn

# Instantiate the individual models
clf_knn = KNeighborsClassifier(5)
clf_dt = DecisionTreeClassifier()
clf_lr = LogisticRegression()

# Create an averaging classifier
clf_voting = VotingClassifier(
    estimators=[
       ('knn', clf_knn), 
       ('dt', clf_dt), 
       ('lr', clf_lr)],
    voting='soft',
    weights=[1, 2, 1]
)

Dödsfall i Game of Thrones

Mål:

Förutsäga om en karaktär lever eller inte

Särdrag:

Ålder
Kön
Böcker karaktären förekommer i
Popularitet
Om släktingar lever eller inte

Nu kör vi en övning!

Ensemblemetoder i Python