Introduktion till kursen

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

David Cecchini

Data Scientist

Textdata finns tillgänglig online

Visar exempel på textdata tillgänglig på internet, nyhetsartiklar, stora internetföretag m.m.

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Maskininlärning tillämpad på textdata

Fyra tillämpningar:

  • Sentimentanalys
  • Multiklassklassificering
  • Textgenerering
  • Neuralt maskinöversättning
Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Sentimentanalys

Visar två emojis, ett glatt ansikte och ett missnöjt ansikte

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Multiklassklassificering

Visar klasser för filmgenrer som science fiction, romantik m.m.

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Textgenerering

Exempel på maskingenerererad text i en chattapp. När en fråga tas emot föreslår appen möjliga svar.

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Neuralt maskinöversättning

Visar ett exempel på översättning av den portugisiska frasen "Vamos jogar futebol esse domingo?" till den engelska frasen "Let's play soccer this Sunday?"

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Återkommande neurala nätverk

Visar den utrullade representationen av RNN-modellen, där vikterna mellan varje ord är delade. I denna representation matas orden in i modellen i sekvens fram till det sista, där modellen gör sin slutliga klassprediction.

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Sekvens-till-sekvens-modeller

Många till en: klassificering

RNN-modellarkitektur för klassificeringsproblem. Modellen gör en prediktion enbart på det sista ordet.

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Sekvens-till-sekvens-modeller

Många till många: textgenerering

Arkitektur för textgenereringsmodell. Modellen är uppdelad i två delar: indatatext och genererad text. I indatatextdelen gör modellen prediktion enbart i det sista steget, medan den i den genererade delen gör prediktion i varje steg och använder den första prediktionen som indata till den andra osv.

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Sekvens-till-sekvens-modeller

Många till många: neuralt maskinöversättning

Arkitektur för neuralt maskinöversättning. Arkitekturen är uppdelad i en kodardel och en avkodardel för indata- respektive utdataspråket. Kodardelen lär sig en språkmodell för indataspråket och avkodardelen lär sig en språkmodell för utdataspråket. Kodarens slutläge skickas vidare till avkodaren, som inte har någon annan indata.

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Sekvens-till-sekvens-modeller

Många till många: språkmodell

Arkitektur för språkmodell. Modellen försöker prediktera nästa indataord i varje steg. Den gör alltså en prediktion i varje steg och justerar under träningen vikterna för att prediktera nästa ord i en sekvens.

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Nu kör vi en övning!

Återkommande neurala nätverk (RNN) för språkmodellering med Keras

Preparing Video For Download...