Подсчёт слов методом мешка слов

Введение в обработку естественного языка на Python

Katharine Jarmul

Founder, kjamistan

Мешок слов

Базовый метод выявления тем в тексте
Сначала нужно создать токены с помощью токенизации
... затем подсчитать все токены
Чем чаще встречается слово, тем оно важнее
Отличный способ определить ключевые слова в тексте

Пример мешка слов

Текст: «The cat is in the box. The cat likes the box. The box is over the cat.»
Мешок слов (без знаков препинания):
- «The»: 3, «box»: 3
- «cat»: 3, «the»: 3
- «is»: 2
- «in»: 1, «likes»: 1, «over»: 1

Мешок слов в Python

from nltk.tokenize import word_tokenize

from collections import Counter

Counter(word_tokenize("""The cat is in the box. The cat likes the box. 
                 The box is over the cat."""))

Counter({'.': 3,
         'The': 3,
         'box': 3,
         'cat': 3,
         'in': 1,
         ...
         'the': 3})

counter.most_common(2)

[('The', 3), ('box', 3)]

Давайте потренируемся!

Введение в обработку естественного языка на Python