Latent Dirichlet allocation

Вступ до аналізу тексту в R

Maham Faisal Khan

Senior Data Science Content Developer

Навчання без учителя

Ще трохи термінів оброблення природної мови (NLP):

  • Latent Dirichlet allocation (LDA) — стандартна тематична модель
  • Збірка документів називається корпусом
  • Bag-of-words — підхід, де кожне слово в документі розглядають окремо
  • Тематичні моделі знаходять шаблони спільної появи слів
  • Пошук шаблонів замість передбачення — це навчання без учителя
Вступ до аналізу тексту в R

Імовірності слів

Вступ до аналізу тексту в R

Кластеризація vs тематичне моделювання

Кластеризація

  • Кластери виявляють за відстанню, яка є неперервною.
  • Кожен об'єкт належить до одного кластера.

Тематичне моделювання

  • Теми виявляють за частотами слів, які є дискретними.
  • Кожен документ — це суміш (часткове членство) усіх тем.
Вступ до аналізу тексту в R

Давайте потренуємось!

Вступ до аналізу тексту в R

Preparing Video For Download...