Mesure de la performance du modèle

Machine Learning pour les affaires

Karolis Urbonas

Head of Machine Learning & Science, Amazon

Types de mesures de performance

Deux mesures clés en apprentissage supervisé :

  1. Exactitude --> classification
  2. Erreur --> régression
Machine Learning pour les affaires

Performance en classification

  • Exactitude

  • Rappel

  • Précision

Machine Learning pour les affaires

Exemple d'attrition

c1

Machine Learning pour les affaires

Exemple d'attrition

c2

Machine Learning pour les affaires

Prédiction de l'attrition

c3

Machine Learning pour les affaires

Éléments mal classés

c4

Machine Learning pour les affaires

Autre prédiction d'attrition

c5

Machine Learning pour les affaires

Exactitude

acc

Machine Learning pour les affaires

Précision

precision

Machine Learning pour les affaires

Rappel

recall

Machine Learning pour les affaires

Performance en régression

  • Erreur
Machine Learning pour les affaires

Exemple de régression

r1

Machine Learning pour les affaires

Prédire les revenus avec une ligne

r2

Machine Learning pour les affaires

Erreur de régression

r3

Machine Learning pour les affaires

Tester des modèles non linéaires

r4

Machine Learning pour les affaires

Améliorations de l'erreur

r5

Machine Learning pour les affaires

Modèles exploitables — Tests A/B

Les bons modèles ne sont pas toujours exploitables :

Prédiction d'attrition, d'achat, de panne de machine

Vérifiez si l'usage des modèles améliore les résultats :

Cibler les clients prédits en attrition avec des incitatifs (rabais, coupons, promotions)

Envoyer des courriels de rappel et des détails produit aux clients susceptibles d'acheter

Cela a-t-il réduit l'attrition, augmenté le taux d'achat et diminué les pannes ? Si oui, intégrer au processus automatisé. Si non, recueillir plus de données, améliorer les modèles et tester de nouveau.

Machine Learning pour les affaires

Passons à la pratique !

Machine Learning pour les affaires

Preparing Video For Download...