Votre système d'IA déployé est-il performant ?

Comprendre l'intelligence artificielle

Maarten Van den Broeck

Senior Content Developer at DataCamp

Quand mesurer la réussite ?

Cycle de vie de la méthodologie MLOps

Quand mesurer la réussite ?

Mesurer la réussite dans le cycle de vie des MLOps

Mesure de la performance hors ligne - précision

Données d’entraînement et de validation

Mesure de la performance hors ligne - précision

Entraînement d'un modèle

Mesure de la performance hors ligne - précision

Validation d'un modèle avec des exemples de tests

Mesure de la performance hors ligne - précision

Comparaison prédictions/étiquettes réelles

Mesure de la performance hors ligne - précision

Calcul de la précision

Au-delà de la précision : l'erreur et autres métriques

Mesure de l'erreur dans les modèles de régression

Mesures pour moteurs de recherche et de recommandation : qualité du classement, pertinence des éléments du classement, diversité des résultats ou recommandations, etc.

Classement des produits recommandés

Mesure de la réussite en production

Dégradation du modèle : la métrique mesurée se dégrade au fil du temps.

Dégradation du modèle

Métriques de l’entreprise : Indicateurs clés de performance (KPI)
- Indicateur de performance et de progression des objectifs de l'organisation

Risques : qu'est-ce qui pourrait mal tourner ?

Voici les risques :

Biais dans les données
Manque de transparence
Préoccupations éthiques
Fiabilité douteuse du système
Vulnérabilité aux cybermenaces

Preuve de concept (PoC) :

Démonstrateur pilote pour valider la faisabilité et la valeur potentielle + identification précoce des risques

Passons à la pratique !

Comprendre l'intelligence artificielle