Classer les fausses nouvelles avec l'apprentissage supervisé et le TAL

Introduction au traitement du langage naturel en Python

Katharine Jarmul

Founder, kjamistan

Qu'est-ce que l'apprentissage supervisé ?

  • Forme de machine learning
    • Données d'entraînement prédéfinies
    • Ces données ont une étiquette (résultat) à apprendre par le modèle
    • Problème de classification
    • Objectif : formuler de bonnes hypothèses sur l'espèce à partir de caractéristiques géométriques
Longueur sépale Largeur sépale Longueur pétale Largeur pétale Espèce
5.1 3.5 1.4 0.2 I. setosa
7.0 3.2 4.77 1.4 I.versicolor
6.3 3.3 6.0 2.5 I.virginica
Introduction au traitement du langage naturel en Python

Apprentissage supervisé avec le TAL

  • Utiliser la langue plutôt que des caractéristiques géométriques
  • scikit-learn : bibliothèque libre puissante
  • Comment créer des données supervisées à partir de texte ?
    • Utiliser sac de mots ou tf-idf comme caractéristiques
Introduction au traitement du langage naturel en Python

Jeu de données IMDB

Synopsis Sci-Fi Action
Dans un monde postapocalyptique en déclin huma... 1 0
Mohei est un sabreur errant. Il arrive dans u... 0 1
#137 est un thriller SCI/FI sur une fille, Ma... 1 0

  • Objectif : prédire le genre d'un film à partir du résumé
  • Caractéristiques catégorielles générées au prétraitement
Introduction au traitement du langage naturel en Python

Étapes de l'apprentissage supervisé

  • Recueillir et prétraiter les données
  • Définir une étiquette (ex. : genre du film)
  • Scinder en ensembles d'entraînement et de test
  • Extraire des caractéristiques textuelles pour prédire l'étiquette
    • Vecteur sac de mots intégré à scikit-learn
  • Évaluer le modèle entraîné sur l'ensemble de test
Introduction au traitement du langage naturel en Python

Passons à la pratique !

Introduction au traitement du langage naturel en Python

Preparing Video For Download...