Úvod do kurzu

Rekurentní neuronové sítě (RNN) pro jazykové modelování s Keras

David Cecchini

Data Scientist

Textová data jsou dostupná online

Zobrazuje příklady textových dat dostupných na internetu: zpravodajské články, velké internetové společnosti atd.

Aplikace strojového učení na textová data

Čtyři aplikace:

Analýza sentimentu
Vícetřídní klasifikace
Generování textu
Neurální strojový překlad

Analýza sentimentu

Zobrazuje dva emoji: šťastný obličej a nesouhlasný obličej

Vícetřídní klasifikace

Zobrazuje reprezentace tříd filmových žánrů: sci-fi, romantika atd.

Generování textu

Příklad strojově generovaného textu v konverzační aplikaci. Při přijetí dotazu od kontaktu aplikace navrhuje odpovědi.

Neurální strojový překlad

Zobrazuje příklad překladu portugalské fráze „Vamos jogar futebol esse domingo?“ do anglické fráze „Let's play soccer this Sunday?“

Rekurentní neuronové sítě

Zobrazuje rozvinutou reprezentaci modelu RNN se sdílenými váhami mezi každým slovem. Slova vstupují do modelu postupně až do posledního, kde model provede konečnou predikci třídy.

Modely sekvence na sekvenci

Mnoho na jednoho: klasifikace

Architektura modelu RNN pro klasifikaci. Model provádí predikci pouze u posledního slova.

Modely sekvence na sekvenci

Mnoho na mnoho: generování textu

Architektura modelu pro generování textu. Model je rozdělen na část vstupního textu a část generovaného textu. Ve vstupní části model provádí predikci pouze v posledním kroku, v generované části predikuje v každém kroku a první predikci používá jako vstup pro druhou atd.

Modely sekvence na sekvenci

Mnoho na mnoho: neurální strojový překlad

Architektura neurálního strojového překladu rozdělená na enkodér a dekodér pro vstupní a výstupní jazyk. Enkodér se učí jazykový model vstupního jazyka, dekodér jazykový model výstupního jazyka. Finální stav enkodéru je předán dekodéru, který nemá žádný jiný vstup.

Modely sekvence na sekvenci

Mnoho na mnoho: jazykový model

Architektura jazykového modelu. Model se snaží v každém kroku předpovědět následující slovo. Predikuje v každém kroku a během tréninku upravuje váhy tak, aby správně předpověděl další slovo v sekvenci.

Pojďme si procvičit!

Rekurentní neuronové sítě (RNN) pro jazykové modelování s Keras