Moduri de servire

MLOps Deployment and Life Cycling

Nemanja Radojkovic

Senior Machine Learning Engineer

Servire și mod de servire

• Furnizarea unui serviciu de predicții == Servirea modelului
• Implementarea unui tip specific de servire == Modul de servire

 

Alegeți cu atenție!

Predicție în lot: simplitate

• Predicția în lot este cea mai simplă
• Dacă cazul de utilizare o permite, optați pentru aceasta
• Potrivită pentru: generarea lunară a previziunilor de vânzări

Latență acceptabilă

Ce este acceptabil?

• < 1 oră?
• < 1 minut?
• < 1 secundă?
• < 1 milisecundă?

Predicție aproape în timp real a.k.a. procesare în flux

Latență acceptabilă ~= X minute

Cunoscut și ca procesare în flux (cererile și răspunsurile formează „fluxuri de date")

Predicție în timp real

Latență acceptabilă < 1 sec

Exemplu:

• Detectarea fraudelor cu cardul de credit
• O predicție tardivă este practic inutilă

Când latența este prioritară

• Un model mai slab, dar mai rapid este mai valoros decât unul mai puternic, dar mai lent
• Modelele implementate pe dispozitivele utilizatorului reduc latența => „implementare la margine"
  • Aplicații mobile cu ML:
    • aplicații de navigație
    • deblocare prin recunoaștere facială
    • filtre de imagini

Să exersăm!

MLOps Deployment and Life Cycling