Введение в языковые модели

Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

David Cecchini

Data Scientist

Вероятность предложения

Многообразие моделей

  • Вероятность предложения «I loved this movie».
  • Унiграмма
    • $$P(\text{sentence}) = P(\text{I})P(\text{loved})P(\text{this})P(\text{movie})$$
  • N-грамма
    • N = 2 (биграмма): $$P(\text{sentence}) = P(\text{I})P(\text{loved} | \text{I})P(\text{this} | \text{loved})P(\text{movie} | \text{this})$$
    • N = 3 (триграмма): $$P(\text{sentence}) = P(\text{I})P(\text{loved} | \text{I})P(\text{this} | \text{I loved})P(\text{movie} | \text{loved this})$$
Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Вероятность предложения (продолжение)

  • Skip-gram
    • $$P(\text{sentence}) = P(\text{context of I} | \text{I})P(\text{context of loved} | \text{loved}) \ $$ $$P(\text{context of this} | \text{this})P(\text{context of movie} | \text{movie})$$
  • Нейронные сети
    • Вероятность предложения вычисляется с помощью функции softmax на выходном слое сети
Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Связь с RNN

Языковые модели повсюду в RNN!

  • Сама сеть

Модели RNN можно рассматривать как языковые модели, поскольку они позволяют предсказывать следующее слово.

Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Связь с RNN (продолжение)

  • Слой эмбеддингов

Укрупнённая схема слоёв модели. Слой эмбеддингов должен идти первым после входного слоя и формирует плотное представление слов.

Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Создание словарей словарного запаса

# Get unique words
unique_words = list(set(text.split(' ')))

# Create dictionary: word is key, index is value
word_to_index = {k:v for (v,k) in enumerate(unique_words)}

# Create dictionary: index is key, word is value
index_to_word = {k:v for (k,v) in enumerate(unique_words)}
Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Предобработка входных данных

# Initialize variables X and y
X = []
y = []

# Loop over the text: length `sentence_size` per time with step equal to `step`
for i in range(0, len(text) - sentence_size, step):

    X.append(text[i:i + sentence_size])
    y.append(text[i + sentence_size])

# Example (numbers are numerical indexes of vocabulary):
# Sentence is: "i loved this movie" -> (["i", "loved", "this"], "movie")
X[0],y[0] = ([10, 444, 11], 17)
Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Преобразование новых текстов

# Create list to keep the sentences of indexes
new_text_split = []

# Loop and get the indexes from dictionary
for sentence in new_text:

    sent_split = []

    for wd in sentence.split(' '):

        ix = wd_to_index[wd]

        sent_split.append(ix)

    new_text_split.append(sent_split)
Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Давайте потренируемся!

Рекуррентные нейронные сети (RNN) для языкового моделирования с Keras

Preparing Video For Download...