Votre système d'IA déployé est-il efficace ?

Comprendre l'intelligence artificielle

Maarten Van den Broeck

Senior Content Developer at DataCamp

Quand mesurer la réussite ?

Cycle de vie de la méthodologie MLOps

Quand mesurer la réussite ?

Mesurer la réussite tout au long du cycle de vie MLOps

Mesurer la performance hors ligne – exactitude

Données d'entraînement et de validation

Mesurer la performance hors ligne – exactitude

Entraînement d'un modèle

Mesurer la performance hors ligne – exactitude

Validation d'un modèle avec des exemples de test

Mesurer la performance hors ligne – exactitude

Comparer les prédictions aux étiquettes réelles

Mesurer la performance hors ligne – exactitude

Calculer l'exactitude

Au-delà de l'exactitude – erreur et autres mesures

Mesure d'erreur dans les modèles de régression

Mesures pour la recherche et la recommandation : qualité du classement — pertinence du rang pour l'utilisateur —, diversité des résultats ou recommandations, etc.

Classement des produits recommandés

Mesurer la réussite en production

Dégradation du modèle : la valeur mesurée se détériore avec le temps

Dégradation du modèle

Mesures d'affaires : indicateurs clés de performance (ICP)
- Indicateurs de performance et de progression des objectifs de l'organisation

Risques : qu'est-ce qui pourrait mal tourner ?

Risques possibles :

Biais des données
Manque de transparence
Enjeux éthiques
Fiabilité du système douteuse
Vulnérabilité aux cybermenaces

Preuve de concept (PoC) :

Démonstrateur pilote pour valider la faisabilité et la valeur potentielle + repérage précoce des risques

Passons à la pratique !

Comprendre l'intelligence artificielle