Latent Dirichlet allocation

Introdução à Análise de Texto em R

Maham Faisal Khan

Senior Data Science Content Developer

Aprendizado não supervisionado

Mais vocabulário de NLP (processamento de linguagem natural):

  • Latent Dirichlet allocation (LDA) é um modelo de tópicos padrão
  • Um conjunto de documentos é chamado de corpus
  • Bag-of-words trata cada palavra do documento separadamente
  • Modelos de tópicos encontram padrões de palavras que aparecem juntas
  • Buscar padrões em vez de prever é conhecido como aprendizado não supervisionado
Introdução à Análise de Texto em R

Probabilidades de palavras

Introdução à Análise de Texto em R

Clustering vs. modelagem de tópicos

Clustering

  • Clusters são descobertos com base em distância, que é contínua.
  • Cada objeto é atribuído a um único cluster.

Modelagem de tópicos

  • Tópicos são descobertos com base na frequência de palavras, que é discreta.
  • Cada documento é uma mistura (isto é, membro parcial) de cada tópico.
Introdução à Análise de Texto em R

Vamos praticar!

Introdução à Análise de Texto em R

Preparing Video For Download...