Apresentando o transformador

Conceitos de Grandes Modelos de Linguagem (LLMs)

Vidhi Chugh

AI strategist and ethicist

Onde estamos?

Gráfico de andamento mostrando que estamos na fase de aprendizado do transformador

Conceitos de Grandes Modelos de Linguagem (LLMs)

O que é um transformador?

  • "Attention Is All You Need"
    • Revolucionou a modelagem de linguagem

 

  • Arquitetura dos transformadores
    • Relação entre palavras
    • Componentes: pré-processamento, codificação posicional, codificadores e decodificadores

Trecho do artigo "Attention is all you need"

1 arXiv: Attention Is All You Need
Conceitos de Grandes Modelos de Linguagem (LLMs)

Dentro do transformador

 

  • Entrada: Jane, que mora em Nova York e trabalha como engenheira

 

Componentes internos e fluxo de dados em um transformador

 

  • Saída: de software, adora conhecer novos restaurantes na cidade.
Conceitos de Grandes Modelos de Linguagem (LLMs)

Os transformadores são como uma orquestra

Imagem de uma orquestra

Conceitos de Grandes Modelos de Linguagem (LLMs)

Pré-processamento e representação de textos

  • Pré-processamento de textos: tokenização, remoção de palavras irrelevantes, lematização
  • Representação de textos: vetores de palavras (embeddings)

Destaques do primeiro componente de um transformador e algumas observações individuais

Conceitos de Grandes Modelos de Linguagem (LLMs)

Codificação posicional

  • Informações sobre a posição de cada palavra
  • Entender palavras distantes

Destaque ao segundo componente de um transformador e uma música

Conceitos de Grandes Modelos de Linguagem (LLMs)

Codificadores

  • Mecanismo de atenção: direciona a atenção para palavras e relações específicas
  • Rede neural: processa características específicas

Codificador no fluxo do transformador

Conceitos de Grandes Modelos de Linguagem (LLMs)

Decodificadores

  • Inclui atenção e redes neurais
  • Gera a saída

Componente decodificador de um transformador

Conceitos de Grandes Modelos de Linguagem (LLMs)

Transformadores e dependências de longo alcance

 

  • Desafio inicial: dependência de longo alcance
  • Atenção: foco em diferentes partes da entrada

 

  • Exemplo: “Jane, que mora em Nova York e trabalha como engenheira de software, adora conhecer novos restaurantes na cidade.”

  • “Jane” — “adora conhecer novos restaurantes”

Conceitos de Grandes Modelos de Linguagem (LLMs)

Processa várias partes ao mesmo tempo

  • Limitações dos modelos tradicionais de linguagem:
    • Sequenciais – uma palavra por vez

 

  • Transformadores:
    • Processam várias partes ao mesmo tempo
    • Processamento mais rápido

 

  • Exemplo:
    • “O gato sentou-se no tapete.”
    • Processa “gato”, “sentou-se”, “no” e “tapete” ao mesmo tempo
Conceitos de Grandes Modelos de Linguagem (LLMs)

Vamos praticar!

Conceitos de Grandes Modelos de Linguagem (LLMs)

Preparing Video For Download...