Informerade metoder: Genetiska algoritmer

Hyperparameterjustering i Python

Alex Scriven

Data Scientist

En lektion i genetik

I den biologiska evolutionen ser processen ut så här:

Det finns många individer ('avkommor')
De starkaste överlever och parar sig
Det sker 'korsning' när de bildar avkommor
Slumpmässiga mutationer uppstår hos vissa avkommor
- Mutationerna kan ge vissa avkommor en fördel
Gå tillbaka till (1)!

Genetik inom maskininlärning

Samma idé kan tillämpas på hyperparameterjustering:

Vi skapar ett antal modeller (med hyperparametervärden)
Vi väljer de bästa (enligt vår poängfunktion)
- Dessa är de som 'överlever'
Vi skapar nya modeller som liknar de bästa
Vi lägger till slumpmässighet för att undvika lokala optima
Upprepa tills vi är nöjda!

Varför fungerar det här bra?

Detta är en informerad sökning med flera fördelar:

Den lär sig av tidigare iterationer, precis som bayesiansk hyperparameterjustering.
Den har den extra fördelen av viss slumpmässighet
(Paketet vi använder) hanterar många tidskrävande delar av maskininlärning

Introduktion till TPOT

Ett användbart bibliotek för genetisk hyperparameterjustering är TPOT:

Se TPOT som din datavetenskapsassistent. TPOT är ett Python-verktyg för automatiserad maskininlärning som optimerar maskininlärningspipelines med genetisk programmering.

Pipelines inkluderar inte bara modellen (eller flera modeller) utan hanterar även särdrag och andra delar av processen. Dessutom returnerar verktyget Python-koden för pipelinen!

TPOT-komponenter

De viktigaste argumenten till en TPOT-klassificerare är:

generations: Antal iterationer för träning.
population_size: Antal modeller att behålla efter varje iteration.
offspring_size: Antal modeller att skapa i varje iteration.
mutation_rate: Andelen pipelines som slumpmässighet tillämpas på.
crossover_rate: Andelen pipelines som korsas varje iteration.
scoring: Funktionen för att avgöra vilka modeller som är bäst.
cv: Korsvalideringsstrategi att använda.

Ett enkelt exempel

Ett enkelt exempel:

from tpot import TPOTClassifier
tpot = TPOTClassifier(generations=3, population_size=5, 
                      verbosity=2, offspring_size=10,
                      scoring='accuracy', cv=5)

tpot.fit(X_train, y_train)
print(tpot.score(X_test, y_test))

Vi behåller standardvärdena för mutation_rate och crossover_rate – utan djupare kunskap om genetisk programmering är standardvärdena att föredra.

Observera: Inga algoritmspecifika hyperparametrar?

Nu kör vi en övning!

Hyperparameterjustering i Python