Buclă de feedback, re-antrenare și etichetare

Machine Learning End-to-End

Joshua Stapleton

Machine Learning Engineer

Bucla de feedback

  • Ieșirea modelului ca intrare în sistem:
    • Metrici/predicții pentru evoluția sistemului
    • Poate utiliza monitorizarea modelului

 

  • Parte integrantă a ML:
    • Permite învățare și ajustare rapidă
    • Adaptare mai bună la schimbări

Două săgeți ciclice ilustrând principiul buclei de feedback

Machine Learning End-to-End

Implementarea buclei de feedback

Detectarea driftului de date

  • Distribuția datelor de intrare se modifică în timp
  • Buclă de feedback: re-antrenare pe date mai recente

Învățare online

  • Re-antrenare periodică pe date în schimbare
  • Dincolo de drift: adaptare la schimbări structurale

Drift de date

Învățare online

Machine Learning End-to-End

Pericolele buclelor de feedback

Pericole...

  • Ieșirile modelului influențează intrările
  • Ex: recomandări pe rețele sociale:
    • Maximizarea angajamentului utilizatorului
    • Învață să servească un anumit tip de conținut
    • Determină utilizatorul să vizioneze mai mult din acel conținut
    • etc.
  • Dezvoltă tipare comportamentale nedorite
  • Mai periculos când este automatizat

Cruce roșie mare pentru pericol

Machine Learning End-to-End

Utilizarea corectă a buclei de feedback

  • Reactiv:

    • Intervenție umană
    • Predicțiile modelului nu modifică datele de intrare

  • Prudența și supravegherea sunt esențiale!

Bifă verde mare pentru utilizare corectă

Machine Learning End-to-End

Să exersăm!

Machine Learning End-to-End

Preparing Video For Download...