Modele sekwencja do sekwencji

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras

David Cecchini

Instructor

Sekwencja do sekwencji

Możliwe architektury:

Wiele wejść, jedno wyjście
- Analiza sentymentu
- Klasyfikacja
Wiele wejść, wiele wyjść
- Generowanie tekstu
- Neuronowe tłumaczenie maszynowe (NMT)

# Pre-trained model
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Jak budować modele generowania tekstu:

Zdecyduj, czy tokenem będą znaki czy słowa
- Słowa wymagają bardzo dużych zbiorów danych (setki milionów zdań)
- Znaki trenują się szybciej, lecz mogą generować literówki
Przygotuj dane
- Zbuduj próbki treningowe w postaci (poprzednie tokeny, następny token)
Zaprojektuj architekturę modelu
- Warstwa osadzania, liczba warstw itp.
Trenuj i eksperymentuj

Neuronowe tłumaczenie maszynowe: przykład

# Pre-trained model
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Jak budować modele NMT:

Pobierz zestaw przetłumaczonych zdań
- Na przykład projekt Anki
Przygotuj dane
- Tokenizuj zdania języka wejściowego
- Tokenizuj zdania języka wyjściowego
Zaprojektuj architekturę modelu
- Koder i dekoder
Trenuj i eksperymentuj

W tym rozdziale:

Generowanie tekstu
- Użycie wytrenowanego modelu do generowania zdań
- Przygotowanie danych i budowa modelu
Neuronowe tłumaczenie maszynowe (NMT)
- Kompleksowy model NMT

Rekurencyjne sieci neuronowe (RNN) do modelowania języka w Keras