Penyimpanan metadata

MLOps Otomatis Penuh

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Apa itu metadata dalam MLOps?

  • Metadata adalah informasi tentang artefak
    • yang dibuat selama eksekusi berbagai komponen pipeline ML

Sebuah pipeline machine learning ditampilkan. Langkah-langkahnya: ekstraksi data, validasi data, pelatihan model, evaluasi model, dan validasi model.

Contoh metadata:

  • Versi data: Menyimpan berbagai versi data yang sama
  • Metadata artefak pelatihan seperti hyperparameter
  • Log eksekusi pipeline
1 https://datacentricai.org/
MLOps Otomatis Penuh

Aspek penting metadata dalam ML

$$

  • Garis keturunan data

  • Reproduksibilitas

  • Pemantauan

  • Regulasi

MLOps Otomatis Penuh

Pentingnya metadata - Garis keturunan data

  • Metadata garis keturunan data melacak informasi data:

    • dari titik pembuatan
    • hingga titik konsumsi

Ilustrasi konsep garis keturunan data. Menunjukkan bagaimana data diubah oleh beberapa proses antara asal dan konsumsinya.

MLOps Otomatis Penuh

Pentingnya metadata - Reproduksibilitas

  • Metadata tentang eksperimen machine learning kita:
    • Memungkinkan orang lain mereproduksi hasil
    • Meningkatkan kepercayaan pada sistem ML kita
    • Memperkenalkan ketelitian ilmiah pada proses ML kita

Gambar untuk mengilustrasikan reproduksibilitas. Menampilkan deretan ilmuwan saling mengamati melalui teleskop, karena ingin mereproduksi karya satu sama lain.

MLOps Otomatis Penuh

Pentingnya metadata - Pemantauan

  • Memungkinkan insinyur machine learning untuk
    • Mengikuti eksekusi bagian-bagian pipeline MLOps
    • Memeriksa status sistem ML kapan saja
MLOps Otomatis Penuh

Contoh alat pemantauan

Contoh dasbor pemantauan yang menampilkan berbagai metrik dari sistem MLOps yang berjalan.

1 https://cloud.google.com/stackdriver/docs/solutions/gke/observing
MLOps Otomatis Penuh

Penyimpanan metadata

  • Tempat terpusat untuk mengelola semua metadata MLOps tentang:

    • eksperimen (log)
    • artefak
    • model
    • pipeline

  • Memiliki antarmuka pengguna yang memungkinkan kita:

    • membaca dan menulis semua metadata terkait model

Ilustrasi penyimpanan metadata. Menampilkan penyimpanan terpusat yang diakses berbagai aktor dan proses untuk metadata.

1 https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning
MLOps Otomatis Penuh

Penyimpanan metadata dalam arsitektur MLOps

Gambar arsitektur MLOps yang sepenuhnya otomatis. Menunjukkan peran sentral penyimpanan metadata dalam proses MLOps.

MLOps Otomatis Penuh

Penyimpanan metadata dalam MLOps otomatis penuh

Memungkinkan pemantauan otomatis fungsi pipeline MLOps yang sepenuhnya otomatis

  • Memfasilitasi respons insiden otomatis. Misalnya,

    • Pelatihan ulang model otomatis
    • Rollback otomatis

Plot yang menunjukkan pelatihan ulang model dipicu oleh drift dalam sistem ML. Sumbu x: waktu; sumbu y: kinerja. Tiga kurva dengan penurunan (drift). Titik drift dilingkari dan diberi label drift detected. Pada titik ini dimulai kurva kinerja baru untuk model baru.

MLOps Otomatis Penuh

Ayo berlatih!

MLOps Otomatis Penuh

Preparing Video For Download...