Disponibilité de la vérité terrain

Concepts de monitoring en Machine Learning

Hakim Elakhrass

Co-founder and CEO of NannyML

Vérité terrain instantanée

Un taxi, lié à la prédiction d’arrivée de taxis.

Mesure la performance réelle
Évaluation facile
Précise

Données de production – instantanées

Le graphique montre la performance d’un problème de classification : la « période de référence » correspond au jeu de test et la « période d’analyse » à un flux de données de production. Un tableau met aussi en évidence les valeurs de vérité terrain.

Vérité terrain différée

Un portefeuille vide, lié à la prédiction de défaut de prêt.

Délai selon l’application
Exemple possible : défaut de prêt
Performance inconnue entre-temps
Nécessite une estimation de performance

Données de production – différées

Vérité terrain absente

Une police d’assurance, liée au cas de tarification d’assurance.

Présente dans les processus entièrement automatisés
Exemple possible : tarification d’assurance
Performance réelle inconnue
Nécessite une estimation de performance

Données de production – absentes

Passons à la pratique !

Concepts de monitoring en Machine Learning