Risques du machine learning

Machine Learning pour le business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Performance médiocre

Certains modèles performent mal (revoyez la performance en test, pas en apprentissage) :

Faible précision
Faible rappel
Grande erreur

Faible précision

Faible précision – de nombreux éléments mal classés dans la classe d’intérêt = beaucoup de faux positifs

Exemple – seulement 10 % des clients identifiés comme susceptibles d’acheter ont réellement acheté

Faible rappel

Faible rappel – seule une petite part des observations de la classe a été correctement récupérée par le modèle

Exemple – seulement 25 % de toutes les fraudes ont été identifiées par le modèle

Grande erreur

Grande erreur – écarts importants entre valeurs prédites et réelles

Exemple – l’erreur moyenne pour la prédiction de la satisfaction client est de 3,5 unités ou 70 points de pourcentage

Cas d’usage non actionnables

Q : Comment tester correctement les modèles ?

R : Mener des tests/expériences pour valider leur performance, p. ex. emails anti-churn, promotions produit, maintenance manuelle des machines, revue manuelle des transactions

Test A/B

test A/B

Et si les tests échouent ?

Recueillir plus de données – l’entreprise doit être impliquée
Construire des modèles causaux pour comprendre les facteurs
Mener des recherches qualitatives (enquêtes, etc.)
Changer le périmètre du problème
- Réduire
- Élargir
- Question différente

Passons à la pratique !

Machine Learning pour le business