Notions de Natural Language Processing (NLP)

Traitement du langage naturel avec spaCy

Azadeh Mobasher

Principal Data Scientist

Natural Language Processing (NLP)

Un sous-domaine de l'intelligence artificielle (IA)
Aide les ordinateurs à comprendre le langage humain
Aide à tirer des insights de données non structurées
S'appuie sur les statistiques, des modèles de machine learning et des modèles d'apprentissage profond

Le NLP, un sous-domaine de l'IA

Analyse de sentiment

Exemples d'analyse de sentiment

Reconnaissance d'entités nommées (NER)

Repérer et classer, dans un texte non structuré, les entités nommées selon des catégories prédéfinies
Les entités nommées sont des objets réels, comme une personne ou un lieu

Exemples de NER

Clavardoirs (chatbots)

spaCy est une bibliothèque gratuite et ouverte pour le NLP en Python qui :

spaCy et le NLP

$ python3 pip install spacy

python3 -m spacy download en_core_web_sm
import spacy
nlp = spacy.load("en_core_web_sm")

Modèle spaCy en_core_web_sm chargé = objet nlp
L'objet nlp convertit le texte en objet Doc (contenant) qui stocke le texte traité

Traitement de texte avec spaCy

import spacy
nlp = spacy.load("en_core_web_sm")
text = "A spaCy pipeline object is created."
doc = nlp(text)

Tokenisation
- Un Token est la plus petite unité porteuse de sens du texte.
- Tokenisation : division d'un texte en une liste de jetons significatifs

print([token.text for token in doc])

['A', 'spaCy', 'pipeline', 'object', 'is', 'created', '.']

Traitement du langage naturel avec spaCy