Processamento de linguagem natural

Introdução ao aprendizado de máquina

Sara Billen

Curriculum Manager at DataCamp

Processamento de linguagem natural (NLP)

A capacidade dos computadores de entender o significado da linguagem humana

Introdução ao aprendizado de máquina

Saco de palavras

Saco de palavras

Introdução ao aprendizado de máquina

Saco de palavras

"U2 é uma ótima banda"

Palavra Contagem
U2 1
Queen 0
é 1
uma 1
muito bom 1
banda 1

"Queen é uma ótima banda"

Palavra Contagem
U2 0
Queen 1
não 1
uma 1
muito bom 1
banda 1
Introdução ao aprendizado de máquina

Saco de palavras: n-gramas

"Esse livro não é ótimo"

Palavra Contagem
Esse 1
livro 1
não 1
é 1
muito bom 1

2-grama (bi-grama)

Palavra Contagem
Esse livro 1
livro é 1
não é 1
não é muito bom 1
Introdução ao aprendizado de máquina

Saco de palavras: limitações

  • A contagem de palavras não ajuda a considerar sinônimos
  • Exemplo: azul
    • azul-celeste
    • aqua
    • cerúleo
  • Você deseja agrupar como um único atributo

azul

Introdução ao aprendizado de máquina

Vetores de palavras

Vetores de palavras

  • Criar atributos que agrupem palavras semelhantes
  • Os atributos têm um significado matemático:

$$

king - man + woman = queen

Introdução ao aprendizado de máquina

Tradução de idiomas

Tradução com rede neural

Introdução ao aprendizado de máquina

Aplicações

  • Tradução de idiomas
  • Chatbots
  • Assistentes pessoais
  • Análise de sentimento
  • ...

Homem conversando com um chatbot no smartphone

Introdução ao aprendizado de máquina

Aprendizado profundo

  • Dois tipos de problemas
    • Visão computacional
    • Processamento de linguagem natural
  • Por que aprendizado profundo?
    • Problemas complexos
    • Extração automática de atributos
    • Muitos dados

Introdução ao aprendizado de máquina

Vamos praticar!

Introdução ao aprendizado de máquina

Preparing Video For Download...