Testare automată în MLOps

MLOps complet automatizat

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Ce este testarea software?

$$

Procesul de evaluare și verificare că un produs software funcționează conform așteptărilor

$$

Cele mai frecvente trei tipuri de testare software:

  • Teste unitare
  • Teste de integrare
  • Teste end-to-end

$$

$$

O piramidă cu testele unitare la bază, urmate de testele de integrare, iar la vârf testele end-to-end.

MLOps complet automatizat

Software-ul ML are o natură diferită

Aplicațiile ML nu sunt programate explicit

$$

Un proces care ilustrează învățarea în sistemele ML.

Depind de:

  • Date
  • Modele
MLOps complet automatizat

Testarea într-un sistem MLOps este diferită

Un sistem software tradițional testat cu teste unitare și de integrare, alături de un sistem ML cu teste de date, modele și pipeline.

1 https://research.google/pubs/pub46555/
MLOps complet automatizat

Testarea sistemelor ML

$$

Pe lângă testarea software tradițională:

  • Teste de date
  • Teste de modele
  • Teste de pipeline
MLOps complet automatizat

Testarea datelor

Testele pentru caracteristici și date includ:

  • Așteptări privind caracteristicile
  • Valoarea caracteristicilor justifică costurile
  • Control privind confidențialitatea
  • Evitarea datelor ilegale

$$

Un set de termometre care afișează măsurători diferite.

MLOps complet automatizat

Testarea modelelor

Testele pentru modele includ:

  • Corelarea metricilor de business și ML

  • Toți hiperparametrii au fost ajustați

  • Supraajustarea modelului

  • Uzura modelului
  • Comparație cu un model de bază
MLOps complet automatizat

Testarea pipeline-urilor ML

Testele pentru pipeline-urile ML includ:

  • Antrenarea este reproductibilă

  • Testare de integrare a pipeline-ului ML

  • Depanabilitatea modelului

MLOps complet automatizat

Să exersăm!

MLOps complet automatizat

Preparing Video For Download...