Pelacakan eksperimen otomatis

MLOps Otomatis Penuh

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Machine learning bersifat eksperimental

Banyak “tuas” untuk dieksperimenkan:

Transformasi data
- Fitur yang digunakan
Algoritma pelatihan
- Penalaan hiperparameter
Metrik evaluasi
- Precision, recall, dll.

Ruang kemungkinan yang luas!

Foto beberapa antena mengarah ke langit penuh bintang, menggambarkan ruang kemungkinan yang luas dan sulit dijelajahi sepenuhnya.

Masalah alur kerja machine learning manual

Kurang otomatisasi = masalah pada alur kerja ML manual

Sulit melacak eksperimen dan hasil
Memboroskan waktu dan sumber daya
Sulit mereproduksi/berbagi hasil

Gambar data scientist yang sangat frustrasi di depan laptop.

Pencatatan otomatis di ML

Hal penting yang perlu dicatat (log):

Kode
Lingkungan
Data
Parameter
Metrik

Pentingnya pencatatan (logging)

Pencatatan penting untuk:

Reproduksibilitas eksperimen dalam sistem ML.
Melacak kinerja sistem dan mengambil keputusan berbasis data.
Mengidentifikasi potensi masalah untuk perbaikan.

Reproduksibilitas memberi transparansi dan krusial untuk membuat sistem tepercaya.

Sistem pelacakan eksperimen otomatis

Atur log per run atau eksperimen untuk:

Melihat metadata pelatihan model
Membandingkan run pelatihan model
Mereproduksi run pelatihan model

Gambar arsitektur TI. Sistem pelacakan eksperimen terdiri dari dua komponen: antarmuka dasbor dan antarmuka akses terprogram. Dasbor diakses pengguna. Akses terprogram dipakai komponen arsitektur lain. Sistem pelacakan eksperimen menulis dan membaca dari komponen lain yang menyimpan log.

Pelacakan eksperimen otomatis - Kondisi pasar saat ini

Beberapa alat untuk mengotomatiskan pelacakan eksperimen:

TensorBoard

MLFlow

Weights & Biases

Neptune

Logo TensorFlow.

$$ Logo Weights & Biases.

Logo Neptune.AI.

Ayo berlatih!

MLOps Otomatis Penuh