Apa itu NannyML?

Pemantauan Machine Learning dengan Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Prasyarat

  • Topik Konsep Pemantauan Machine Learning:
    • Alur kerja pemantauan ideal
    • Tantangan memantau model ML di produksi
    • Dua kegagalan diam model: pergeseran kovariat dan drift konsep
    • Enam metode mendeteksi pergeseran kovariat
    • Konsep teoretis di balik metode estimasi kinerja CBPE dan DLE
Pemantauan Machine Learning dengan Python

Apa yang dibahas kursus ini?

  • Bangun sistem pemantauan yang tangguh dengan NannyML
  • Implementasikan algoritme estimasi kinerja
  • Gunakan kalkulator bisnis untuk menilai nilai moneter model ML Anda
  • Jalankan deteksi pergeseran kovariat univariat dan multivariat
Pemantauan Machine Learning dengan Python

Tantangan pemantauan

$$

Tanpa akses ground truth

Grafik menunjukkan metrik ROC AUC dari waktu ke waktu; setelah deployment, grafik kosong karena tidak ada ground truth.

$$

Kelelahan akibat terlalu banyak peringatan

Gambar menunjukkan perubahan distribusi data dari waktu ke waktu; beberapa berwarna merah menandakan pergeseran, dengan catatan teks. Saatnya khawatir, atau alarm palsu?

Pemantauan Machine Learning dengan Python

Solusi open-source

Gambar menampilkan logo NannyML dan perusahaan yang menggunakannya, seperti Walmart, Allianz, UBS, dan DeepMind. Juga ditunjukkan bahwa NannyML bekerja dengan framework apa pun.

Pemantauan Machine Learning dengan Python

Fitur utama

  1. Pantau hal yang penting
    • Estimasi dan perhitungan kinerja
    • Estimasi dan perhitungan nilai bisnis
  2. Temukan yang bermasalah
    • Univariat
    • Multivariat
    • Kualitas data
  3. Perbaiki
    • Pemicu retraining
Pemantauan Machine Learning dengan Python

Cara menggunakan NannyML?

Gambar menunjukkan data pengujian dan produksi masuk ke NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Pemantauan Machine Learning dengan Python

Ayo berlatih!

Pemantauan Machine Learning dengan Python

Preparing Video For Download...