Procesarea limbajului natural

Înțelegerea Machine Learning-ului

Sara Billen

Curriculum Manager at DataCamp

Procesarea limbajului natural (NLP)

Capacitatea calculatoarelor de a înțelege sensul limbajului uman

Înțelegerea Machine Learning-ului

Bag of words

Bag of Words

Înțelegerea Machine Learning-ului

Bag of words

„U2 is a great band"

Cuvânt Număr
U2 1
Queen 0
is 1
a 1
great 1
band 1

„Queen is a great band"

Cuvânt Număr
U2 0
Queen 1
is 1
a 1
great 1
band 1
Înțelegerea Machine Learning-ului

Bag of words: n-grame

„That book is not great"

Cuvânt Număr
That 1
book 1
is 1
not 1
great 1

2-gram (bi-gram)

Cuvânt Număr
That book 1
book is 1
is not 1
not great 1
Înțelegerea Machine Learning-ului

Bag of words: limitări

  • Numărul de cuvinte nu ține cont de sinonime
  • Exemplu: „albastru"
    • „albastru-cer"
    • „aqua"
    • „cerulean"
  • Se dorește gruparea ca o singură caracteristică

albastru

Înțelegerea Machine Learning-ului

Embeddings de cuvinte

Embeddings de cuvinte

  • Creează caracteristici care grupează cuvinte similare
  • Caracteristicile au o semnificație matematică:

$$

king - man + woman = queen

Înțelegerea Machine Learning-ului

Traducere automată

Traducere cu rețea neuronală

Înțelegerea Machine Learning-ului

Aplicații

  • Traducere automată
  • Chatboți
  • Asistenți personali
  • Analiza sentimentelor
  • ...

Persoană care discută cu un chatbot pe smartphone

Înțelegerea Machine Learning-ului

Deep learning

  • Două tipuri de probleme
    • Vedere artificială
    • Procesarea limbajului natural
  • De ce deep learning?
    • Probleme complexe
    • Extragere automată de caracteristici
    • Volume mari de date

Înțelegerea Machine Learning-ului

Lass uns üben!

Înțelegerea Machine Learning-ului

Preparing Video For Download...