Análises adicionais de NLP

Introdução ao Processamento de Linguagem Natural em R

Kasey Jones

Research Data Scientist

BERT e ERNIE.

O que é:

  • BERT: Bidirectional Encoder Representations from Transformers
  • Um modelo usado em transfer learning para tarefas de NLP
  • é pré-treinado em dados sem rótulo para criar uma representação de linguagem
  • exige pouca quantidade de dados rotulados para treinar uma tarefa específica

Para que serve:

  • tarefas supervisionadas
  • criar features para modelos de NLP

ERNIE: Enhanced Representation through kNowledge IntEgration

Introdução ao Processamento de Linguagem Natural em R

Reconhecimento de Entidades Nomeadas

O que é:

  • classifica entidades nomeadas em texto
  • Exemplos: nomes, locais, organizações, valores

Para que serve:

  • extrair entidades de tweets
  • apoiar mecanismos de recomendação
  • algoritmos de busca
Introdução ao Processamento de Linguagem Natural em R

Tagging de classe gramatical (POS)

O que é:

  • marcar palavras com sua classe gramatical
    • substantivos, verbos, adjetivos etc.

Como é usado:

  • ajuda na análise de sentimento
  • cria features para modelos de NLP
  • amplia o que o modelo sabe sobre cada palavra no texto

Feature Engineering for NLP in Python

Introdução ao Processamento de Linguagem Natural em R

Vamos recapitular.

Introdução ao Processamento de Linguagem Natural em R

Preparing Video For Download...