Monitorizarea directă a performanței tehnice

Monitorizarea conceptelor de Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Relația dintre schimbările de covariate și performanță

Trei tipuri de schimbări de covariate:

  • Schimbări spre anumite regiuni

    • mai multe persoane cu venituri mari care solicită credite

  • Schimbări spre regiuni subreprezentate

    • 10% din persoanele din tech solicită credite față de 0,5% în datele de antrenament

  • Schimbări spre regiuni incerte

    • trecere de la 20% la 40% a persoanelor cu venituri medii, aproape de granița de decizie

 

-> Fără impact

 

-> Impact necunoscut

 

-> Impact negativ

Monitorizarea conceptelor de Machine Learning

Impact negativ garantat

 
 
 
 

Schimbările de covariate spre regiuni incerte afectează întotdeauna negativ performanța

Vizualizarea perioadei de antrenament evidențiază regiunea în care modelul este cel mai puțin sigur. Totuși, în producție, mai multe persoane se află în această regiune decât anterior.

Monitorizarea conceptelor de Machine Learning

Problema alertelor false

Imaginea prezintă puncte reprezentând alerte și modul în care alertele importante pot trece neobservate când există prea multe puncte

Monitorizarea conceptelor de Machine Learning

Importanța performanței tehnice

  • Măsură directă a cât de bine îndeplinește modelul sarcina

 

  • Reflectă orice eșec silențios al modelului

 

  • Elimină supraîncărcarea cu alerte false

Imaginea prezintă o parte din diagrama de monitorizare. Prima casetă conține monitorizarea performanței, sub aceasta o linie punctată și o casetă punctată care întreabă dacă modelul mai funcționează, în dreapta un romb cu „degradarea performanței", o săgeată spre dreapta cu „da" deasupra și o săgeată care revine la caseta de monitorizare cu „nu" deasupra.

Monitorizarea conceptelor de Machine Learning

Să exersăm!

Monitorizarea conceptelor de Machine Learning

Preparing Video For Download...