Entraîner et tester un modèle de classification avec scikit-learn

Introduction au traitement du langage naturel en Python

Katharine Jarmul

Founder, kjamistan

Classificateur Naive Bayes

  • Modèle Naive Bayes
    • Couramment utilisé pour tester des problèmes de classification en TALN
    • Fondé sur la probabilité
  • Pour une donnée donnée, quelle est la probabilité d'un résultat ?
  • Exemples :
    • Si le scénario contient un vaisseau spatial, quelle est la probabilité que ce soit de la sci-fi ?
    • Avec un vaisseau spatial et un extraterrestre, quelle est maintenant la probabilité que ce soit de la sci-fi ?
  • Chaque mot de CountVectorizer est une caractéristique
  • Naive Bayes : simple et efficace
Introduction au traitement du langage naturel en Python

Naive Bayes avec scikit-learn

from sklearn.naive_bayes import MultinomialNB

from sklearn import metrics

nb_classifier = MultinomialNB()

nb_classifier.fit(count_train, y_train)

pred = nb_classifier.predict(count_test)

metrics.accuracy_score(y_test, pred)

0.85841849389820424
Introduction au traitement du langage naturel en Python

Matrice de confusion

metrics.confusion_matrix(y_test, pred, labels=[0,1])

array([[6410,  563],
       [ 864, 2242]])
Action Sci-Fi
Action 6410 563
Sci-Fi 864 2242
Introduction au traitement du langage naturel en Python

Passons à la pratique !

Introduction au traitement du langage naturel en Python

Preparing Video For Download...