Pourquoi surveiller votre modèle

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Apprentissage automatique en production

Processus de développement type

Le flux en flèche comporte quatre étapes : définir le projet, préparer les données, entraîner le modèle et le déployer.

Après le déploiement

Version mise à jour du flux de développement data science, avec une nouvelle flèche pour la surveillance après le déploiement. Des flèches relient la surveillance aux étapes préparer les données, entraîner le modèle et déployer, pour améliorer ces processus selon les insights de performance.

Réduire le risque d’échec

Cas Zillow

Panneau « À vendre » devant une maison.

Raisons d’échec d’un modèle :

Problèmes logiciels
Dérive des données d’entrée
Changement de relation entre variables et cibles

Maximiser l’impact métier

Aligner le modèle sur les objectifs métier

Réduire les coûts cloud

L’image montre une pyramide de six blocs en bois. La base forme un KPI à partir de chaque lettre sur chaque bloc. Les autres niveaux représentent la croissance, l’atteinte des objectifs et l’efficacité accrue.

L’image montre un logo de cloud composé de neuf blocs en bois.

Améliorer la sécurité de l’IA

Trois enjeux de sécurité :

Biais – sortie équitable pour différents groupes d’utilisateurs

Attaques adverses – détecter la manipulation malveillante des données d’entrée

Manque d’explicabilité – comprendre comment le modèle décide

L’image montre un bloc de bois avec une balance, poussé vers l’avant pour symboliser plus de justice et donc moins de biais.

L’image montre un bloc de bois poussé vers l’avant avec un cadenas, symbolisant une sécurité accrue.

L’image montre un bloc de bois poussé vers l’avant, avec des lignes partant d’une tête pour représenter une meilleure compréhension du système d’intelligence.

Changer le monde avec les données

Le processus d’automatisation

L’image montre une ligne de production automatisée.

Passons à la pratique !

Concepts de monitoring en Machine Learning