Latent Dirichlet allocation

Introduktion till textanalys i R

Maham Faisal Khan

Senior Data Science Content Developer

Oövervakad inlärning

Mer vokabulär inom naturlig språkbehandling (NLP):

  • Latent Dirichlet allocation (LDA) är en vanlig ämnesmodell
  • En samling dokument kallas korpus
  • Bag-of-words innebär att varje ord i ett dokument behandlas separat
  • Ämnesmodeller hittar mönster av ord som förekommer tillsammans
  • Att söka efter mönster snarare än att förutsäga kallas oövervakad inlärning
Introduktion till textanalys i R

Ordprobabiliteter

Introduktion till textanalys i R

Klustring vs. ämnesmodellering

Klustring

  • Kluster identifieras utifrån avstånd, som är kontinuerligt.
  • Varje objekt tilldelas ett enda kluster.

Ämnesmodellering

  • Ämnen identifieras utifrån ordfrekvens, som är diskret.
  • Varje dokument är en blandning (dvs. delvis medlem) av alla ämnen.
Introduktion till textanalys i R

Nu kör vi en övning!

Introduktion till textanalys i R

Preparing Video For Download...