Représentation Tf-Idf

Ingénierie des caractéristiques pour le Machine Learning en Python

Robert O'Callaghan

Director of Data Science, Ordergroove

Présentation de TF-IDF

print(speech_df['Counts_the'].head())

0    21
1    13
2    29
3    22
4    20
Ingénierie des caractéristiques pour le Machine Learning en Python

TF-IDF

Ingénierie des caractéristiques pour le Machine Learning en Python

Importer le vectoriseur

from sklearn.feature_extraction.text import TfidfVectorizer
tv = TfidfVectorizer()
print(tv)

TfidfVectorizer(analyzer=u'word', binary=False, decode_error=u'strict',
        dtype=<type 'numpy.float64'>, encoding=u'utf-8', input=u'content',
        lowercase=True, max_df=1.0, max_features=None, min_df=1,
        ngram_range=(1, 1), norm=u'l2', preprocessor=None, smooth_idf=True,
        stop_words=None, strip_accents=None, sublinear_tf=False,
        token_pattern=u'(?u)\\b\\w\\w+\\b', tokenizer=None, use_idf=True,
        vocabulary=None)
Ingénierie des caractéristiques pour le Machine Learning en Python

max_features et stopwords

tv = TfidfVectorizer(max_features=100, 
                     stop_words='english')

max_features : nombre maximal de colonnes créées à partir de TF-IDF

stop_words : liste de mots courants à exclure, p. ex. « and », « the », etc.

Ingénierie des caractéristiques pour le Machine Learning en Python

Ajuster votre texte

tv.fit(train_speech_df['text'])
train_tv_transformed = tv.transform(train_speech_df['text'])
Ingénierie des caractéristiques pour le Machine Learning en Python

Assembler le tout

train_tv_df = pd.DataFrame(train_tv_transformed.toarray(),
                           columns=tv.get_feature_names())\
                                 .add_prefix('TFIDF_')

train_speech_df = pd.concat([train_speech_df, train_tv_df], 
                            axis=1, sort=False)
Ingénierie des caractéristiques pour le Machine Learning en Python

Examiner vos transformations

examine_row = train_tv_df.iloc[0]

print(examine_row.sort_values(ascending=False))

TFIDF_government    0.367430
TFIDF_public        0.333237
TFIDF_present       0.315182
TFIDF_duty          0.238637
TFIDF_citizens      0.229644
Name: 0, dtype: float64
Ingénierie des caractéristiques pour le Machine Learning en Python

Appliquer le vectoriseur à de nouvelles données

test_tv_transformed = tv.transform(test_df['text_clean'])

test_tv_df = pd.DataFrame(test_tv_transformed.toarray(),
                          columns=tv.get_feature_names())\
                            .add_prefix('TFIDF_')

test_speech_df = pd.concat([test_speech_df, test_tv_df], 
                           axis=1, sort=False)
Ingénierie des caractéristiques pour le Machine Learning en Python

Passons à la pratique !

Ingénierie des caractéristiques pour le Machine Learning en Python

Preparing Video For Download...