Wprowadzenie do kursu

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

David Cecchini

Data Scientist

Dane tekstowe są dostępne w sieci

Przykłady danych tekstowych dostępnych w Internecie: artykuły informacyjne, duże firmy internetowe itp.

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Zastosowania uczenia maszynowego w analizie tekstu

Cztery zastosowania:

  • Analiza sentymentu
  • Klasyfikacja wieloklasowa
  • Generowanie tekstu
  • Neuronowe tłumaczenie maszynowe
Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Analiza sentymentu

Dwa emotikony: uśmiechnięta twarz i twarz wyrażająca dezaprobatę

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Klasyfikacja wieloklasowa

Reprezentacje klas gatunków filmowych: science fiction, romans itp.

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Generowanie tekstu

Przykład tekstu wygenerowanego przez maszynę w aplikacji do konwersacji. Po otrzymaniu zapytania od użytkownika aplikacja sugeruje odpowiedzi.

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Neuronowe tłumaczenie maszynowe

Przykład tłumaczenia portugalskiego zdania "Vamos jogar futebol esse domingo?" na angielskie "Let's play soccer this Sunday?"

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Rekurencyjne sieci neuronowe

Rozwinięta reprezentacja modelu RNN z zaznaczeniem, że wagi między kolejnymi słowami są wspólne. Słowa są podawane do modelu sekwencyjnie, a predykcja klasy następuje po przetworzeniu ostatniego słowa.

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Modele sekwencja do sekwencji

Wiele do jednego: klasyfikacja

Architektura modelu RNN do klasyfikacji. Model dokonuje predykcji tylko na ostatnim słowie.

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Modele sekwencja do sekwencji

Wiele do wielu: generowanie tekstu

Architektura modelu do generowania tekstu. Model składa się z dwóch części: tekstu wejściowego i wygenerowanego. W części wejściowej predykcja następuje tylko w ostatnim kroku, natomiast w części generowanej — na każdym kroku, gdzie każda predykcja staje się wejściem dla kolejnej.

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Modele sekwencja do sekwencji

Wiele do wielu: neuronowe tłumaczenie maszynowe

Architektura neuronowego tłumaczenia maszynowego z enkoderem dla języka źródłowego i dekoderem dla języka docelowego. Enkoder uczy się modelu językowego dla języka wejściowego, a dekoder — dla wyjściowego. Ostatni stan enkodera jest przekazywany do dekodera, który nie otrzymuje żadnego innego wejścia.

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Modele sekwencja do sekwencji

Wiele do wielu: model językowy

Architektura modelu językowego. Model przewiduje następne słowo na każdym kroku. Podczas treningu dostosowuje wagi, aby poprawnie przewidywać kolejne słowo w sekwencji.

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Czas na ćwiczenia!

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

Preparing Video For Download...