Introducere în curs

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

David Cecchini

Data Scientist

Date text disponibile online

Afișează exemple de date text disponibile pe Internet: articole de știri, companii mari de internet etc.

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Aplicații ale învățării automate pe date text

Patru aplicații:

  • Analiza sentimentelor
  • Clasificare multi-clasă
  • Generare de text
  • Traducere automată neuronală
Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Analiza sentimentelor

Afișează două emoji-uri: o față fericită și una dezaprobatoare

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Clasificare multi-clasă

Reprezintă clase pentru genuri de filme: science fiction, romantic etc.

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Generare de text

Exemplu de text generat automat într-o aplicație de conversație. La primirea unui mesaj, aplicația sugerează răspunsuri.

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Traducere automată neuronală

Afișează un exemplu de traducere a expresiei portugheze „Vamos jogar futebol esse domingo?" în expresia engleză „Let's play soccer this Sunday?"

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Rețele neuronale recurente

Afișează reprezentarea desfășurată a modelului RNN, evidențiind că ponderile dintre fiecare cuvânt sunt partajate. Cuvintele sunt introduse secvențial în model până la ultimul, unde se face predicția finală a clasei.

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Modele secvență la secvență

Mai multe la unul: clasificare

Arhitectura modelului RNN pentru clasificare. Modelul face o predicție doar la ultimul cuvânt.

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Modele secvență la secvență

Mai multe la mai multe: generare de text

Arhitectura modelului de generare de text. Modelul este împărțit în două părți: textul de intrare și textul generat. În partea de intrare, predicția se face doar la pasul final; în partea generată, se face la fiecare pas, folosind prima predicție ca intrare pentru a doua ș.a.m.d.

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Modele secvență la secvență

Mai multe la mai multe: traducere automată neuronală

Arhitectura de traducere automată neuronală. Este împărțită în encoder și decoder pentru limba sursă și, respectiv, limba țintă. Encoderoul învață un model de limbă pentru intrare, iar decodorul pentru ieșire. Starea finală a encoderului este transmisă decodorului, care nu primește altă intrare.

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Modele secvență la secvență

Mai multe la mai multe: model de limbă

Arhitectura modelului de limbă. Modelul încearcă să prezică următorul cuvânt la fiecare pas. În faza de antrenare, ponderile sunt ajustate pentru a prezice cuvântul următor dintr-o secvență.

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Să exersăm!

Rețele Neuronale Recurente (RNN) pentru Modelare a Limbajului cu Keras

Preparing Video For Download...