Modely sekvence na sekvenci

Rekurentní neuronové sítě (RNN) pro jazykové modelování s Keras

David Cecchini

Instructor

Sekvence na sekvenci

Možné architektury:

Mnoho vstupů, jeden výstup
- Analýza sentimentu
- Klasifikace
Mnoho vstupů, mnoho výstupů
- Generování textu
- Neuronový strojový překlad (NMT)

# Pre-trained model
model.generate_sheldon_phrase()

'knock knock. penny. do you have an epost is part in your expert, 
too bealie to play the tariment with last night.'

Tvorba modelů pro generování textu:

Volba tokenu: znaky nebo slova
- Slova vyžadují velmi velké datové sady (stovky milionů vět)
- Znaky se trénují rychleji, ale mohou generovat překlepy
Příprava dat
- Tvorba trénovacích vzorků ve formátu (minulé tokeny, další token)
Návrh architektury modelu
- Vrstva embeddingu, počet vrstev atd.
Trénování a experimentování

Neuronový strojový překlad: příklad

# Pre-trained model
model.translate("Vamos jogar futebol?")

'Let's go play soccer?'

Tvorba modelů NMT:

Získání vzorku přeložených vět
- Například projekt Anki
Příprava dat
- Tokenizace vět vstupního jazyka
- Tokenizace vět výstupního jazyka
Návrh architektury modelu
- Enkodér a dekodér
Trénování a experimentování

V této kapitole:

Generování textu
- Použití předtrénovaného modelu k vytvoření věty
- Příprava dat a tvorba modelu
Neuronový strojový překlad (NMT)
- Kompletní NMT model

Rekurentní neuronové sítě (RNN) pro jazykové modelování s Keras