Répartition de Dirichlet latente

Introduction à l'analyse de texte en R

Maham Faisal Khan

Senior Data Science Content Developer

Apprentissage non supervisé

Un peu plus de vocabulaire en traitement automatique du langage (NLP) :

  • Latent Dirichlet allocation (LDA) est un modèle thématique standard
  • Un ensemble de documents s'appelle un corpus
  • Le sac de mots traite chaque mot d'un document séparément
  • Les modèles thématiques repèrent des mots qui apparaissent ensemble
  • Chercher des motifs plutôt que prédire correspond à l'apprentissage non supervisé
Introduction à l'analyse de texte en R

Probabilités des mots

Introduction à l'analyse de texte en R

Regroupement vs modélisation thématique

Regroupement

  • Les groupes sont découverts selon la distance, qui est continue.
  • Chaque objet est affecté à un seul groupe.

Modélisation thématique

  • Les thèmes sont découverts selon la fréquence des mots, qui est discrète.
  • Chaque document est un mélange (p. ex., membre partiel) de chaque thème.
Introduction à l'analyse de texte en R

Passons à la pratique !

Introduction à l'analyse de texte en R

Preparing Video For Download...