Metode Terinformasikan: Algoritme Genetika

Penyetelan Hyperparameter di Python

Alex Scriven

Data Scientist

Pelajaran singkat genetika

Dalam evolusi genetika di dunia nyata, prosesnya sebagai berikut:

Banyak makhluk hidup ada ("keturunan/offspring")
Yang terkuat bertahan dan berpasangan
Terjadi "crossover" saat membentuk keturunan
Ada mutasi acak pada sebagian keturunan
- Mutasi ini kadang memberi sebagian keturunan keunggulan
Kembali ke (1)!

Genetika dalam Machine Learning

Kita dapat menerapkan ide yang sama untuk penalaan hiperparameter:

Buat beberapa model (dengan setelan hiperparameter)
Pilih yang terbaik (berdasarkan fungsi skor)
- Inilah yang "bertahan"
Buat model baru yang mirip dengan yang terbaik
Tambahkan keacakan agar tidak terjebak di optimum lokal
Ulangi sampai puas

Mengapa ini efektif?

Ini adalah pencarian terinformasikan dengan beberapa keunggulan:

Kita belajar dari iterasi sebelumnya, seperti penalaan hiperparameter bayesian.
Memiliki kelebihan tambahan berupa sedikit keacakan
(Paket yang akan kita gunakan) menangani banyak hal yang melelahkan dalam machine learning

Mengenal TPOT

Library yang berguna untuk penalaan hiperparameter genetika adalah TPOT:

Anggap TPOT sebagai Asisten Data Science Anda. TPOT adalah alat AutoML Python yang mengoptimalkan pipeline machine learning menggunakan pemrograman genetika.

Pipeline tidak hanya mencakup model (atau beberapa model), tetapi juga fitur dan aspek proses lainnya. Selain itu, TPOT mengembalikan kode Python dari pipeline untuk Anda!

Komponen TPOT

Argumen utama untuk classifier TPOT adalah:

generations: Jumlah iterasi pelatihan.
population_size: Jumlah model yang disimpan tiap iterasi.
offspring_size: Jumlah model yang dibuat tiap iterasi.
mutation_rate: Proporsi pipeline yang diberi keacakan.
crossover_rate: Proporsi pipeline yang dikawinkan tiap iterasi.
scoring: Fungsi untuk menentukan model terbaik.
cv: Strategi cross-validation yang digunakan.

Contoh sederhana

Contoh sederhana:

from tpot import TPOTClassifier
tpot = TPOTClassifier(generations=3, population_size=5, 
                      verbosity=2, offspring_size=10,
                      scoring='accuracy', cv=5)

tpot.fit(X_train, y_train)
print(tpot.score(X_test, y_test))

Kita akan mempertahankan nilai default untuk mutation_rate dan crossover_rate karena sebaiknya dibiarkan default tanpa pengetahuan mendalam tentang pemrograman genetika.

Perhatikan: Tidak ada hiperparameter khusus algoritme?

Ayo berlatih!

Penyetelan Hyperparameter di Python