Sekvens-till-sekvens-modeller
Återkommande neurala nätverk (RNN) för språkmodellering med Keras
David Cecchini
Instructor
Sekvens till sekvens
Möjliga arkitekturer:
- Många indata, ett utdata
- Sentimentanalys
- Klassificering
- Många indata, många utdata
- Textgenerering
- Neural maskinöversättning (NMT)
Textgenerering: exempel
Textgenerering: exempel
# Pre-trained model
model.generate_sheldon_phrase()
'knock knock. penny. do you have an epost is part in your expert,
too bealie to play the tariment with last night.'
Textgenerering: modellering
Så bygger du textgenereringsmodeller:
- Välj token-typ: tecken eller ord
- Ord kräver mycket stora datamängder (hundratals miljoner meningar)
- Tecken tränas snabbare, men kan ge stavfel
- Förbered data
- Bygg träningsurval med (tidigare tokens, nästa token)
- Designa modellarkitekturen
- Embeddingslager, antal lager, osv.
- Träna och experimentera
NMT: exempel
Neural maskinöversättning: exempel
# Pre-trained model
model.translate("Vamos jogar futebol?")
'Let's go play soccer?'
NMT: modellering
Så bygger du NMT-modeller:
- Hämta ett urval av översatta meningar
- Till exempel från Anki-projektet
- Förbered data
- Tokenisera meningar på källspråket
- Tokenisera meningar på målspråket
- Designa modellarkitekturen
- Kodare och avkodare
- Träna och experimentera
Kapitelöversikt
I det här kapitlet:
- Textgenerering
- Använd en förtränad modell för att generera meningar
- Lär dig förbereda data och bygga modellen
- Neural maskinöversättning (NMT)
- Komplett NMT-modell
Nu kör vi en övning!
Återkommande neurala nätverk (RNN) för språkmodellering med Keras
