Przetwarzanie języka naturalnego

Wprowadzenie do uczenia maszynowego

Sara Billen

Curriculum Manager at DataCamp

Przetwarzanie języka naturalnego (NLP)

Zdolność komputerów do rozumienia znaczenia języka ludzkiego

Bag of words

Bag of words

"U2 is a great band"

Słowo	Liczba
U2	1
Queen	0
is	1
a	1
great	1
band	1

"Queen is a great band"

Słowo	Liczba
U2	0
Queen	1
is	1
a	1
great	1
band	1

Bag of words: n-gramy

"That book is not great"

Słowo	Liczba
That	1
book	1
is	1
not	1
great	1

2-gram (bi-gram)

Wyrażenie	Liczba
That book	1
book is	1
is not	1
not great	1

Bag of words: ograniczenia

• Liczba słów nie uwzględnia synonimów
• Przykład: "blue"
  • "sky-blue"
  • "aqua"
  • "cerulean"
• Cel: grupowanie jako jedna cecha

Osadzenia słów

Osadzenia słów

• Cechy grupujące podobne słowa
• Cechy mają znaczenie matematyczne:

$$

king - man + woman = queen

Tłumaczenie językowe

Zastosowania

• Tłumaczenie językowe
• Chatboty
• Asystenci osobisti
• Analiza sentymentu
• ...

Głębokie uczenie

• Dwa rodzaje problemów
  • Wizja komputerowa
  • Przetwarzanie języka naturalnego
• Dlaczego głębokie uczenie?
  • Złożone problemy
  • Automatyczna ekstrakcja cech
  • Duże ilości danych

Czas na ćwiczenia!

Wprowadzenie do uczenia maszynowego