Mesure des performances du modèle

Machine Learning pour le business

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Types de mesure des performances

Deux métriques clés en apprentissage supervisé :

  1. Exactitude --> classification
  2. Erreur --> régression
Machine Learning pour le business

Performance en classification

  • Exactitude

  • Rappel

  • Précision

Machine Learning pour le business

Exemple de churn

c1

Machine Learning pour le business

Exemple de churn

c2

Machine Learning pour le business

Prédiction du churn

c3

Machine Learning pour le business

Éléments mal classés

c4

Machine Learning pour le business

Autre prédiction de churn

c5

Machine Learning pour le business

Exactitude

acc

Machine Learning pour le business

Précision

precision

Machine Learning pour le business

Rappel

recall

Machine Learning pour le business

Performance en régression

  • Erreur
Machine Learning pour le business

Exemple de régression

r1

Machine Learning pour le business

Prédire le revenu avec une droite

r2

Machine Learning pour le business

Erreur de régression

r3

Machine Learning pour le business

Tester des modèles non linéaires

r4

Machine Learning pour le business

Amélioration de l’erreur

r5

Machine Learning pour le business

Modèles actionnables - Tests A/B

Les bons modèles ne sont pas toujours actionnables :

Prédiction du churn, des achats, des pannes machines

Tester si l’usage des modèles améliore les résultats :

Cibler les clients susceptibles de partir avec des incitations (réductions, coupons, promotions)

Envoyer des e-mails de rappel et des informations produit aux clients susceptibles d’acheter

Cela a-t-il réduit le churn, augmenté le taux d’achat et diminué les pannes ? Si oui, intégrer au processus automatisé. Si non, collecter plus de données, améliorer les modèles et tester à nouveau.

Machine Learning pour le business

Passons à la pratique !

Machine Learning pour le business

Preparing Video For Download...