Sistemul tău AI implementat este un succes?

Înțelegerea Inteligenței Artificiale

Maarten Van den Broeck

Senior Content Developer at DataCamp

Când se măsoară succesul?

Ciclul de viață al metodologiei MLOps

Când se măsoară succesul?

Măsurarea succesului în ciclul de viață MLOps

Măsurarea performanței offline - acuratețe

Date de antrenament și validare

Măsurarea performanței offline - acuratețe

Antrenarea unui model

Măsurarea performanței offline - acuratețe

Validarea unui model cu exemple de test

Măsurarea performanței offline - acuratețe

Compararea predicțiilor cu etichetele reale

Măsurarea performanței offline - acuratețe

Calcularea acurateței

Dincolo de acuratețe - erori și alte metrici

Metrică de eroare în modele de regresie

Metrici pentru motoare de căutare și recomandare: calitatea clasamentului -relevanța elementelor față de utilizator-, diversitatea rezultatelor sau recomandărilor etc.

Clasamentul produselor recomandate

Măsurarea succesului în producție

Degradarea modelului: valoarea metricii se înrăutățește în timp

Degradarea modelului

Metrici de afaceri: Indicatori Cheie de Performanță (KPI)
- Indicator al performanței și progresului obiectivelor organizației

Riscuri: ce poate merge prost?

Riscuri posibile:

Bias în date
Lipsă de transparență
Preocupări etice
Fiabilitate dubioasă a sistemului
Vulnerabilitate la amenințări cibernetice

Dovadă de concept (PoC):

Demonstrator pilot pentru validarea fezabilității și valorii potențiale + identificarea timpurie a riscurilor

Să exersăm!

Înțelegerea Inteligenței Artificiale