Вступ до курсу

Recurrent Neural Networks (RNNs) для моделювання мови з Keras

David Cecchini

Data Scientist

Текстові дані доступні онлайн

Показує приклади текстових даних в інтернеті: новини, великі інтернет‑компанії тощо

Застосування машинного навчання до тексту

Чотири застосування:

Аналіз тональності
Багатокласова класифікація
Генерація тексту
Нейронний машинний переклад

Аналіз тональності

Показано два емодзі: усміхнене й невдоволене обличчя

Багатокласова класифікація

Містить приклади класів для жанрів фільмів: наукова фантастика, мелодрама тощо

Генерація тексту

Приклад машинної генерації тексту в застосунку для спілкування: після запиту застосунок пропонує відповіді

Нейронний машинний переклад

Показано приклад перекладу з португальської фрази "Vamos jogar futebol esse domingo?" на англійську "Let's play soccer this Sunday?"

Рекурентні нейронні мережі

Розгорнуте зображення RNN з підкресленням спільних ваг між словами. Слова подаються послідовно до останнього, де модель робить фінальний прогноз класу

Sequence to sequence моделі

Many to one: класифікація

Архітектура RNN для задач класифікації. Модель робить прогноз лише на останньому слові

Sequence to sequence моделі

Many to many: генерація тексту

Архітектура генерації тексту. Модель поділена на дві частини: вхідний і згенерований текст. На вході прогноз робиться лише на фінальному кроці, а під час генерації — на кожному кроці, використовуючи попередній прогноз як вхід

Sequence to sequence моделі

Many to many: нейронний машинний переклад

Архітектура Neural Machine Translation. Складається з encoder і decoder для вхідної та вихідної мов. Encoder навчає мовну модель для вхідної мови, decoder — для вихідної. Фінальний стан encoder передається decoder, інших входів немає

Sequence to sequence моделі

Many to many: мовна модель

Архітектура мовної моделі. На кожному кроці модель намагається передбачити наступне слово. Під час навчання вона коригує ваги, щоб краще прогнозувати наступне слово в послідовності

Давайте потренуємось!

Recurrent Neural Networks (RNNs) для моделювання мови з Keras