Alocarea Latent Dirichlet

Introducere în analiza textului în R

Maham Faisal Khan

Senior Data Science Content Developer

Învățare nesupravegheată

Vocabular suplimentar de procesare a limbajului natural (NLP):

  • Alocarea Latent Dirichlet (LDA) este un model topic standard
  • O colecție de documente se numește corpus
  • Bag-of-words tratează fiecare cuvânt dintr-un document separat
  • Modelele topic identifică tipare de cuvinte care apar împreună
  • Căutarea tiparelor fără predicție este denumită învățare nesupravegheată
Introducere în analiza textului în R

Probabilități ale cuvintelor

Introducere în analiza textului în R

Clustering vs. modelarea topicelor

Clustering

  • Clusterele sunt identificate pe baza distanței, care este continuă.
  • Fiecare obiect este atribuit unui singur cluster.

Modelarea topicelor

  • Topicele sunt identificate pe baza frecvenței cuvintelor, care este discretă.
  • Fiecare document este un amestec (adică membru parțial) al fiecărui topic.
Introducere în analiza textului în R

Să exersăm!

Introducere în analiza textului în R

Preparing Video For Download...