Introduction au traitement du langage naturel

Natural Language Processing (NLP) en Python

Fouad Trad

Machine Learning Engineer

Faites connaissance avec l'instructeur…

 

Photo de l'instructeur.

 

Fouad Trad

  • Ingénieur en Machine Learning
  • Chercheur scientifique
  • NLP en cybersécurité et santé
Natural Language Processing (NLP) en Python

Qu'est-ce que le NLP ?

 

 

  • Le langage est notre principal moyen de communiquer
  • Les ordinateurs ne comprennent pas notre langue

Image montrant où se trouve le langage : livres, sites Web, publications sur les médias sociaux et courriels.

Natural Language Processing (NLP) en Python

Qu'est-ce que le NLP ?

Permet aux ordinateurs d'analyser le langage humain

Image montrant une personne qui parle à une machine et le traitement du langage naturel qui traduit pour que la machine comprenne.

Natural Language Processing (NLP) en Python

Flux de travail en NLP

Première étape du flux de travail : texte brut.

  • Texte brut : d'un gazouillis à un paragraphe de livre
Natural Language Processing (NLP) en Python

Flux de travail en NLP

Deuxième étape du flux de travail : prétraitement

  • Texte brut : d'un gazouillis à un paragraphe de livre
  • Prétraitement : nettoyer le texte et retirer les éléments inutiles
Natural Language Processing (NLP) en Python

Flux de travail en NLP

Troisième étape du flux de travail : extraction de caractéristiques.

  • Texte brut : d'un gazouillis à un paragraphe de livre
  • Prétraitement : nettoyer le texte et retirer les éléments inutiles
  • Extraction de caractéristiques : convertir le texte en nombres
Natural Language Processing (NLP) en Python

Flux de travail en NLP

Quatrième étape du flux de travail : modélisation

  • Texte brut : d'un gazouillis à un paragraphe de livre
  • Prétraitement : nettoyer le texte et retirer les éléments inutiles
  • Extraction de caractéristiques : convertir le texte en nombres
  • Modèle : analyser, prédire, classer, générer du nouveau contenu
Natural Language Processing (NLP) en Python

Plan du cours

Le diagramme complet du flux de travail indiquant que le chapitre 1 porte sur le prétraitement avec NLTK

Natural Language Processing (NLP) en Python

Plan du cours

Le diagramme complet du flux de travail indiquant que le chapitre 2 porte sur l'extraction de caractéristiques avec scikit-learn et Gensim.

Natural Language Processing (NLP) en Python

Plan du cours

Le diagramme complet du flux de travail indiquant que les chapitres 3 et 4 couvrent des chaînes de traitement qui masquent les trois étapes : prétraitement, extraction de caractéristiques et modélisation avec les bibliothèques transformers.

Natural Language Processing (NLP) en Python

Tokenisation

  • Scinde le texte en jetons (petites unités gérables)

Image montrant une personne qui coupe des carottes

Natural Language Processing (NLP) en Python

Tokenisation des phrases

  • Texte → phrases
  • Donne plus de clarté que d'analyser tout le texte
import nltk

nltk.download('punkt_tab')


text = "NLP is fun. Let's dive into it!"

sentences = nltk.sent_tokenize(text)

print(sentences)

["NLP is fun.", "Let's dive into it!"]

Image avec une icône représentant la traduction.

Natural Language Processing (NLP) en Python

Tokenisation des mots

  • Texte → mots et ponctuation
  • Utile pour :
    • Repérer les termes clés
    • Compter la fréquence des mots
text = "Claim your free prize now!"

words = nltk.word_tokenize(text)

print(words)

['Claim', 'your', 'free', 'prize', 'now', '!']

Image montrant une icône de pourriel.

Natural Language Processing (NLP) en Python

Passons à la pratique !

Natural Language Processing (NLP) en Python

Preparing Video For Download...