Créer des vecteurs de fréquence de mots avec scikit-learn

Introduction au traitement du langage naturel en Python

Katharine Jarmul

Founder, kjamistan

Prédire le genre d'un film

Ensemble de données : résumés de films et genre correspondant
Objectif : créer des vecteurs sac de mots pour les résumés
- Peut-on prédire le genre à partir des mots du résumé ?

CountVectorizer avec Python

import pandas as pd

from sklearn.model_selection import train_test_split

from sklearn.feature_extraction.text import CountVectorizer

df = ... # Load data into DataFrame

y = df['Sci-Fi']

X_train, X_test, y_train, y_test = train_test_split(
                                             df['plot'], y, 
                                             test_size=0.33, 
                                             random_state=53)

count_vectorizer = CountVectorizer(stop_words='english')

count_train = count_vectorizer.fit_transform(X_train.values)

count_test = count_vectorizer.transform(X_test.values)

Passons à la pratique !

Introduction au traitement du langage naturel en Python