Latentní Dirichletova alokace

Úvod do analýzy textu v R

Maham Faisal Khan

Senior Data Science Content Developer

Učení bez učitele

Další slovní zásoba pro zpracování přirozeného jazyka (NLP):

  • Latentní Dirichletova alokace (LDA) je standardní model témat
  • Kolekce dokumentů se nazývá korpus
  • Bag-of-words přistupuje ke každému slovu v dokumentu samostatně
  • Modely témat hledají vzory společně se vyskytujících slov
  • Hledání vzorů bez predikce se nazývá učení bez učitele
Úvod do analýzy textu v R

Pravděpodobnosti slov

Úvod do analýzy textu v R

Shlukování vs. modelování témat

Shlukování

  • Shluky jsou určovány na základě vzdálenosti, která je spojitá.
  • Každý objekt je přiřazen do jednoho shluku.

Modelování témat

  • Témata jsou určována na základě frekvence slov, která je diskrétní.
  • Každý dokument je směsí (tj. částečným členem) každého tématu.
Úvod do analýzy textu v R

Pojďme si procvičit!

Úvod do analýzy textu v R

Preparing Video For Download...