Risques du Machine Learning

Machine Learning pour les affaires

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Faible performance

Certains modèles performent mal (évaluez la performance en test, pas en apprentissage) :

Précision faible
Rappel faible
Erreur élevée

Précision faible

Précision faible : beaucoup d'éléments mal classés dans la classe visée = beaucoup de faux positifs

Exemple : seulement 10 % des clients identifiés comme susceptibles d'acheter ont réellement acheté le produit

Rappel faible

Rappel faible : seule une petite fraction des observations de la classe a été correctement captée (rappelée) par le modèle

Exemple : seulement 25 % de toutes les transactions frauduleuses ont été identifiées par le modèle

Erreur élevée

Erreur élevée : grandes différences entre les valeurs prédites et réelles

Exemple : l'erreur moyenne pour la prédiction de la cote de satisfaction client est de 3,5 unités ou de 70 points de pourcentage

Cas d'usage non actionnables

Q : Comment bien tester les modèles ?

R : Exécuter des tests/expériences pour valider la performance, p. ex. courriels anti‑attrition, promotions de produits, maintenance manuelle des machines, examen manuel des transactions

Essai A/B

abtest

Et si les tests échouent ?

Recueillir plus de données – l'entreprise doit participer
Construire des modèles causals pour comprendre les facteurs
Mener des recherches qualitatives (sondages, etc.)
Changer la portée du problème
- Rétrécir
- Élargir
- Question différente

Passons à la pratique !

Machine Learning pour les affaires