Introductie van de cursus

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

David Cecchini

Data Scientist

Tekstdata is online beschikbaar

Toont voorbeelden van tekstdata online: nieuwsartikelen, grote internetbedrijven, enz.

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Toepassingen van machine learning op tekst

Vier toepassingen:

  • Sentimentanalyse
  • Multiklassenclassificatie
  • Tekstgeneratie
  • Neurale machinale vertaling
Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Sentimentanalyse

Toont twee emoji’s: een lachend gezicht en een afkeurend gezicht

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Multiklassenclassificatie

Toont klassen voor filmgenres: sciencefiction, romantiek, enz.

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Tekstgeneratie

Voorbeeld van machinaal gegenereerde tekst in een chatapp. Bij een binnenkomende vraag stelt de app antwoorden voor.

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Neurale machinale vertaling

Toont een vertaalvoorbeeld van de Portugese zin "Vamos jogar futebol esse domingo?" naar de Engelse zin "Let's play soccer this Sunday?"

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Recurrent Neural Networks

Toont de uitgerolde RNN-weergave, met gedeelde gewichten tussen woorden. Woorden gaan sequentieel het model in tot de laatste stap, waar de uiteindelijke klasse-voorspelling gebeurt.

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Sequence-to-sequence-modellen

Many-to-one: classificatie

RNN-architectuur voor classificatie. Het model voorspelt alleen bij het laatste woord.

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Sequence-to-sequence-modellen

Many-to-many: tekstgeneratie

Architectuur voor tekstgeneratie. Het model heeft een invoer- en een gegenereerd deel. In de invoer voorspelt het alleen in de laatste stap; in het gegenereerde deel voorspelt het elke stap en voert de vorige voorspelling weer in.

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Sequence-to-sequence-modellen

Many-to-many: neurale vertaling

Architectuur voor neurale machinale vertaling. Bestaat uit een encoder voor de brontaal en een decoder voor de doeltaal. De encoder leert een taalmodel voor de input; de decoder voor de output. De eindtoestand van de encoder gaat naar de decoder, die verder geen input krijgt.

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Sequence-to-sequence-modellen

Many-to-many: taalmodel

Architectuur van een taalmodel. Het model voorspelt in elke stap het volgende woord. Tijdens training past het de gewichten aan om de volgende token in de reeks te voorspellen.

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Laten we oefenen!

Recurrent Neural Networks (RNN's) voor taalmodellen met Keras

Preparing Video For Download...