Sequence-to-sequence-modellen
Recurrent Neural Networks (RNN's) voor taalmodellen met Keras
David Cecchini
Instructor
Sequence-to-sequence
Mogelijke architecturen:
- Veel inputs, één output
- Sentimentanalyse
- Classificatie
- Veel inputs, veel outputs
- Tekstgeneratie
- Neural Machine Translation (NMT)
Tekstgeneratie: voorbeeld
Tekstgeneratie: voorbeeld
# Voorgetraind model
model.generate_sheldon_phrase()
'knock knock. penny. do you have an epost is part in your expert,
too bealie to play the tariment with last night.'
Tekstgeneratie: modelleren
Zo bouw je tekstgeneratiemodellen:
- Kies tokens: karakters of woorden
- Woorden vereisen zeer grote datasets (honderden miljoenen zinnen)
- Karakters trainen sneller, maar geven vaker typos
- Data voorbereiden
- Trainingsparen maken met (vorige tokens, volgende token)
- Modelarchitectuur ontwerpen
- Embeddinglaag, aantal lagen, enz.
- Trainen en experimenteren
NMT: voorbeeld
Neural Machine Translation: voorbeeld
# Voorgetraind model
model.translate("Vamos jogar futebol?")
'Let's go play soccer?'
NMT: modelleren
Zo bouw je NMT‑modellen:
- Verzamel vertaalde zinnen
- Bijvoorbeeld het Anki‑project
- Data voorbereiden
- Invoertaal tokenizen
- Uitvoertaal tokenizen
- Modelarchitectuur ontwerpen
- Encoder en decoder
- Trainen en experimenteren
Hoofdstukoverzicht
In dit hoofdstuk:
- Tekstgeneratie
- Zin genereren met een voorgetraind model
- Data voorbereiden en het model bouwen
- Neural Machine Translation (NMT)
- Alles-in-één NMT‑model
Laten we oefenen!
Recurrent Neural Networks (RNN's) voor taalmodellen met Keras
