Latent Dirichlet allocation

Wprowadzenie do analizy tekstu w R

Maham Faisal Khan

Senior Data Science Content Developer

Uczenie nienadzorowane

Więcej słownictwa z zakresu NLP:

  • Latent Dirichlet allocation (LDA) to standardowy model tematyczny
  • Zbiór dokumentów nazywamy korpusem
  • Bag-of-words traktuje każde słowo w dokumencie osobno
  • Modele tematyczne wykrywają wzorce współwystępowania słów
  • Szukanie wzorców zamiast przewidywania to uczenie nienadzorowane
Wprowadzenie do analizy tekstu w R

Prawdopodobieństwa słów

Wprowadzenie do analizy tekstu w R

Klasteryzacja vs. modelowanie tematyczne

Klasteryzacja

  • Klastry są wykrywane na podstawie odległości, która jest ciągła.
  • Każdy obiekt jest przypisany do jednego klastra.

Modelowanie tematyczne

  • Tematy są wykrywane na podstawie częstości słów, która jest dyskretna.
  • Każdy dokument jest mieszaniną (tj. częściowym członkiem) każdego tematu.
Wprowadzenie do analizy tekstu w R

Czas na ćwiczenia!

Wprowadzenie do analizy tekstu w R

Preparing Video For Download...