Tests automatisés en MLOps

MLOps entièrement automatisé

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Qu'est-ce que le test logiciel ?

Le processus visant à évaluer et vérifier qu'un logiciel ou une application fonctionne comme prévu

Trois types courants de tests logiciels :

Tests unitaires
Tests d'intégration
Tests de bout en bout

Une pyramide montrant les tests unitaires à la base, suivis des tests d'intégration, puis au sommet les tests de bout en bout.

La nature des logiciels ML est différente

Les applis ML ne sont pas programmées explicitement

Un schéma illustrant le processus d'apprentissage dans les systèmes ML.

Elles dépendent de :

Données
Modèles

Les tests diffèrent dans un système MLOps

Un schéma montre un système logiciel traditionnel testé avec des tests unitaires et d'intégration. À côté, un système ML comporte des tests de données, de modèle et de pipeline.

¹ https://research.google/pubs/pub46555/

Tester les systèmes ML

En plus des tests logiciels traditionnels :

Tests des données
Tests des modèles
Tests des pipelines

Tester les données

Les tests pour les caractéristiques et les données incluent :

Attentes sur les caractéristiques
La valeur d'une caractéristique justifie ses coûts
Contrôles de confidentialité
Éviter l'usage de données illégales

Un ensemble de thermomètres affichant différentes mesures.

Tester les modèles

Les tests pour les modèles incluent :

Corrélation entre mesures d'affaires et mesures ML
Tous les hyperparamètres sont réglés
Surapprentissage du modèle
Obsolescence du modèle
Comparaison au point de référence

Tester les pipelines ML

Les tests pour les pipelines ML incluent :

L'entraînement est reproductible
Test d'intégration du pipeline ML
Débogabilité du modèle

Passons à la pratique !

MLOps entièrement automatisé