Латентное размещение Дирихле

Введение в анализ текста на R

Maham Faisal Khan

Senior Data Science Content Developer

Обучение без учителя

Ещё немного терминологии из обработки естественного языка (NLP):

  • Латентное размещение Дирихле (LDA) — стандартная тематическая модель
  • Совокупность документов называется корпусом
  • Мешок слов — подход, при котором каждое слово рассматривается отдельно
  • Тематические модели выявляют закономерности совместного появления слов
  • Поиск закономерностей без предсказания называется обучением без учителя
Введение в анализ текста на R

Вероятности слов

Введение в анализ текста на R

Кластеризация vs. тематическое моделирование

Кластеризация

  • Кластеры выявляются на основе расстояния — величины непрерывной.
  • Каждый объект относится ровно к одному кластеру.

Тематическое моделирование

  • Темы выявляются на основе частоты слов — величины дискретной.
  • Каждый документ является смесью всех тем (то есть частично принадлежит каждой из них).
Введение в анализ текста на R

Давайте потренируемся!

Введение в анализ текста на R

Preparing Video For Download...