Tests automatisés en MLOps

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Qu'est-ce que le test logiciel ?

Le processus d'évaluation et de vérification qu'un logiciel ou une application fonctionne comme prévu

Trois types de tests logiciels les plus courants :

Tests unitaires
Tests d'intégration
Tests de bout en bout

Une pyramide montrant les tests unitaires à la base, puis les tests d'intégration, et enfin au sommet, les tests de bout en bout.

La nature du logiciel ML est différente

Les applications ML ne sont pas programmées explicitement

Un schéma illustrant le processus d'apprentissage dans les systèmes de ML.

Elles dépendent de :

Données
Modèles

Le test dans un système MLOps est différent

Un schéma montrant un système logiciel traditionnel testé avec des tests unitaires et d'intégration, et, de l'autre côté, un système ML avec des tests de données, de modèle et de pipeline.

¹ https://research.google/pubs/pub46555/

Tester les systèmes ML

En plus des tests logiciels traditionnels :

Tests de données
Tests de modèle
Tests de pipeline

Tester les données

Les tests sur les caractéristiques et les données incluent :

Attentes sur les features
La valeur apportée par une feature justifie son coût
Contrôle de la confidentialité
Éviter l'usage de données illicites

Une série de thermomètres affichant différentes mesures.

Tester les modèles

Les tests sur les modèles incluent :

Corrélation entre métriques métier et ML
Tous les hyperparamètres ont été ajustés
Surapprentissage du modèle
Obsolescence du modèle
Comparaison au baseline

Tester les pipelines ML

Les tests pour les pipelines ML incluent :

Entraînement reproductible
Tests d'intégration du pipeline ML
Débogabilité du modèle

Passons à la pratique !

MLOps entièrement automatisé