Memantau kinerja teknis secara langsung

Konsep Monitoring Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Hubungan pergeseran kovariat - kinerja

Tiga pergeseran kovariat:

  • Pergeseran ke wilayah tertentu

    • lebih banyak pemohon berpendapatan tinggi

  • Pergeseran ke wilayah yang kurang terwakili

    • 10% pekerja tech mengajukan pinjaman, bukan 0,5% seperti data latih

  • Pergeseran ke wilayah yang kurang pasti

    • naik dari 20% ke 40% pemohon berpendapatan menengah dekat batas keputusan

 

-> Tanpa dampak

 

-> Dampak tidak diketahui

 

-> Dampak negatif

Konsep Monitoring Machine Learning

Dampak negatif terjamin

 
 
 
 

Pergeseran ke wilayah tidak pasti selalu menurunkan kinerja

Visualisasi periode pelatihan menyorot wilayah saat model paling tidak yakin. Namun, saat produksi, lebih banyak orang berada di wilayah ini dibanding sebelumnya.

Konsep Monitoring Machine Learning

Masalah alert palsu

Gambar menunjukkan titik-titik mewakili alert, dan bagaimana titik penting bisa hilang ketika terlalu banyak titik

Konsep Monitoring Machine Learning

Pentingnya kinerja teknis

  • Metrik langsung seberapa baik model menjalankan tugas

 

  • Mencerminkan kegagalan model yang senyap

 

  • Mengurangi beban alert palsu

Gambar menunjukkan bagan pemantauan. Kotak pertama "Performance monitoring", di bawahnya kotak putus-putus bertanya "models is still performing", di kanan berlian bertuliskan "performance degradation". Panah ke kanan bertanda "yes", dan panah melingkar kembali ke kotak performance monitoring bertanda "no".

Konsep Monitoring Machine Learning

Ayo berlatih!

Konsep Monitoring Machine Learning

Preparing Video For Download...