Desafios da modelagem de linguagem

Conceitos de Grandes Modelos de Linguagem (LLMs)

Vidhi Chugh

AI strategist and ethicist

A sequência é importante!

 

  • Eu somente tenho um estilo de vida saudável.

 

 

  • Posições diferentes = significados diferentes

 

  • Somente eu tenho um estilo de vida saudável.

Ilustração de uma pessoa com duas setas em direções contrárias e um ponto de interrogação acima da cabeça.

1 Freepik
Conceitos de Grandes Modelos de Linguagem (LLMs)

Modelagem do contexto

Imagem mostrando que a palavra “Run” pode ter vários significados, dependendo do contexto.

Conceitos de Grandes Modelos de Linguagem (LLMs)

Modelagem do contexto

Imagem mostrando a palavra “Run” com o sentido de correr.

Conceitos de Grandes Modelos de Linguagem (LLMs)

Modelagem do contexto

Imagem mostrando a palavra “Run” com o sentido de administrar ou organizar.

Conceitos de Grandes Modelos de Linguagem (LLMs)

Modelagem do contexto

Imagem mostrando a palavra “Run” (Executar) para representar o funcionamento de uma máquina

Conceitos de Grandes Modelos de Linguagem (LLMs)

Modelagem do contexto

Contextualização da imagem anterior, com exemplos que mostram diferentes significados.

Conceitos de Grandes Modelos de Linguagem (LLMs)

Dependência de longo alcance

 

  • Reconhecer e interligar palavras distantes de uma frase
  • Desafio para os modelos tradicionais de linguagem

Exemplo de dependência de longo alcance: "O livro que a jovem, que acabara de voltar de suas férias, colocou cuidadosamente na prateleira, era bastante pesado."

Conceitos de Grandes Modelos de Linguagem (LLMs)

Aprendizado com uma única tarefa

Imagem mostrando três exemplos de aprendizado com uma única tarefa, como legendagem de imagens, resumo de textos e tradução de idiomas.

  • Demanda muito tempo e recursos
  • Menos flexível em comparação com LLMs modernos
Conceitos de Grandes Modelos de Linguagem (LLMs)

Aprendizado com várias tarefas

Imagem mostrando o aprendizado com várias tarefas, que combina diversos recursos em um único modelo.

  • Melhor desempenho em cada tarefa individual
  • Pode afetar a precisão e a eficiência
  • Precisa de menos dados de treinamento porque os dados são compartilhados
Conceitos de Grandes Modelos de Linguagem (LLMs)

Recapitulando

Desafios da modelagem de linguagem:

  • Sequências de palavras

 

  • Compreensão do contexto

 

  • Dependência de longo alcance

Single-task learning:

  • Específico para uma tarefa
  • Menos flexível
  • Modelos tradicionais e primeiros LLMs

 

Multi-task learning:

  • Versátil
  • Várias tarefas
  • LLMs mais desenvolvidos
Conceitos de Grandes Modelos de Linguagem (LLMs)

Vamos praticar!

Conceitos de Grandes Modelos de Linguagem (LLMs)

Preparing Video For Download...