Informované metody: Genetické algoritmy

Hyperparameter Tuning in Python

Alex Scriven

Data Scientist

Lekce o genetice

V reálné genetické evoluci probíhá následující proces:

Existuje mnoho jedinců ('potomků')
Nejsilnější jedinci přežijí a spárují se
Dochází ke 'křížení' při vytváření potomků
U některých potomků dochází k náhodným mutacím
- Tyto mutace někdy poskytují potomkům výhodu
Návrat na (1)!

Genetika ve strojovém učení

Stejnou myšlenku lze aplikovat na ladění hyperparametrů:

Vytvoříme sadu modelů (s nastavenými hyperparametry)
Vybereme nejlepší (podle zvolené skórovací funkce)
- Tyto modely 'přežijí'
Vytvoříme nové modely podobné těm nejlepším
Přidáme náhodnost, aby nedošlo k uváznutí v lokálním optimu
Opakujeme, dokud nejsme spokojeni!

Proč to funguje dobře?

Jde o informované prohledávání s několika výhodami:

Umožňuje učit se z předchozích iterací, podobně jako bayesovské ladění hyperparametrů.
Navíc přináší výhodu určité náhodnosti
(Použitý balíček) zajišťuje mnoho zdlouhavých aspektů strojového učení

Představujeme TPOT

Užitečnou knihovnou pro genetické ladění hyperparametrů je TPOT:

Považujte TPOT za svého asistenta pro datovou vědu. TPOT je nástroj pro automatizované strojové učení v Pythonu, který optimalizuje pipeline strojového učení pomocí genetického programování.

Pipeline zahrnují nejen model (nebo více modelů), ale pracují také s příznaky a dalšími aspekty procesu. Navíc vrátí Python kód pipeline!

Komponenty TPOT

Klíčové argumenty klasifikátoru TPOT:

generations: Počet iterací trénování.
population_size: Počet modelů uchovávaných po každé iteraci.
offspring_size: Počet modelů vytvořených v každé iteraci.
mutation_rate: Podíl pipeline, na které se aplikuje náhodnost.
crossover_rate: Podíl pipeline křížených v každé iteraci.
scoring: Funkce pro hodnocení nejlepších modelů.
cv: Strategie křížové validace.

Jednoduchý příklad

Jednoduchý příklad:

from tpot import TPOTClassifier
tpot = TPOTClassifier(generations=3, population_size=5, 
                      verbosity=2, offspring_size=10,
                      scoring='accuracy', cv=5)

tpot.fit(X_train, y_train)
print(tpot.score(X_test, y_test))

Výchozí hodnoty mutation_rate a crossover_rate ponecháme beze změny – bez hlubší znalosti genetického programování je lepší je neupravovat.

Poznámka: Žádné hyperparametry specifické pro algoritmus?

Pojďme si procvičit!

Hyperparameter Tuning in Python