Introduction à gensim

Introduction au traitement du langage naturel en Python

Katharine Jarmul

Founder, kjamistan

Qu'est-ce que gensim ?

Bibliothèque NLP libre et populaire
S'appuie sur les meilleurs modèles universitaires pour des tâches complexes
- Créer des vecteurs de documents ou de mots
- Repérer les sujets et comparer des documents

Qu'est-ce qu'un vecteur de mot ?

graphique word2vec

Exemple avec gensim

visualisation de données LDA

(Source : http://tlfvincent.github.io/2015/10/23/presidential-speech-topics)

from gensim.corpora.dictionary import Dictionary

from nltk.tokenize import word_tokenize

my_documents = ['The movie was about a spaceship and aliens.',
                'I really liked the movie!',
                'Awesome action scenes, but boring characters.',
                'The movie was awful! I hate alien films.',
                'Space is cool! I liked the movie.',
                'More space films, please!',]

tokenized_docs = [word_tokenize(doc.lower()) 
                  for doc in my_documents]

dictionary = Dictionary(tokenized_docs)

dictionary.token2id

{'!': 11,
 ',': 17,
 '.': 7,
 'a': 2,
 'about': 4,
...}

Créer un corpus gensim

corpus = [dictionary.doc2bow(doc) for doc in tokenized_docs]

corpus

[[(0, 1), (1, 1), (2, 1), (3, 1), (4, 1), (5, 1), (6, 1), (7, 1), (8, 1)],
 [(0, 1), (1, 1), (9, 1), (10, 1), (11, 1), (12, 1)],
...]

Les modèles gensim se sauvegardent, se mettent à jour et se réutilisent facilement
Notre dictionnaire peut aussi être mis à jour
Ce sac de mots, plus évolué et riche en fonctions, servira dans les prochains exercices

Passons à la pratique !

Introduction au traitement du langage naturel en Python