Penalaan hiperparameter otomatis

MLOps Otomatis Penuh

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Apa itu hiperparameter?

Hiperparameter adalah nilai yang dapat disetel untuk mengendalikan proses pembelajaran

  • Tidak dipelajari saat pelatihan
  • Ditentukan sebelum melatih model ML

$$

Contoh:

  • Arsitektur model pada Neural Network
  • Jumlah cabang pada decision tree
  • Learning rate
MLOps Otomatis Penuh

Apa itu penalaan hiperparameter?

Gambar data scientist menyesuaikan hiperparameter pada neural network. Rutin pelatihan NN menyetel parameter yang dipelajari saat pelatihan. Kombinasi ini menghasilkan skor berbeda.

MLOps Otomatis Penuh

Metode penalaan hiperparameter

  • Grid Search

$$

$$

  • Random Search

$$

$$

  • Bayesian Optimization

Animasi grid search yang menunjukkan pencarian teratur.

Animasi random search yang menunjukkan pencarian acak.

Animasi optimisasi Bayesian yang menunjukkan pencarian cerdas.

MLOps Otomatis Penuh

Otomatisasi penalaan hiperparameter

Gambar menunjukkan mesin yang mengeksplorasi kombinasi hiperparameter.

MLOps Otomatis Penuh

Langkah penalaan hiperparameter otomatis

  • Perlu ditentukan:
    • Himpunan hiperparameter untuk dioptimalkan
    • Ruang pencarian tiap parameter
    • Metrik kinerja untuk dioptimalkan
    • Kriteria penghentian

Gambar yang menunjukkan proses: tentukan hiperparameter yang dioptimalkan, ruang pencarian untuk setiap hiperparameter, target yang dioptimalkan, dan kriteria penghentian. Di bawahnya semua didorong oleh metode penalaan hiperparameter.

MLOps Otomatis Penuh

Menemukan himpunan hiperparameter terbaik secara otomatis

$$

Gambar proses sebelumnya diperluas. Di bawah, himpunan hiperparameter terbaik ditemukan.

MLOps Otomatis Penuh

Hiperparameter dan simetri lingkungan

$$

Gambar yang menggambarkan simetri lingkungan. Himpunan hiperparameter yang sama dipakai di pengembangan/eksperimen dan di produksi.

MLOps Otomatis Penuh

Penalaan hiperparameter - Pelacakan eksperimen

Gambar proses penalaan hiperparameter otomatis. Di bagian atas, sistem pelacakan eksperimen otomatis mengumpulkan metadata seperti hiperparameter yang digunakan selama penalaan. Metadata ini disimpan ke penyimpanan metadata.

MLOps Otomatis Penuh

Contoh - Visualisasi hiperparameter

Contoh alat visualisasi penalaan hiperparameter.

MLOps Otomatis Penuh

Ayo berlatih!

MLOps Otomatis Penuh

Preparing Video For Download...