Mecanismos de atenção

Conceitos de Grandes Modelos de Linguagem (LLMs)

Vidhi Chugh

AI strategist and ethicist

Mecanismos de atenção

  • Entender estruturas complexas
  • Concentrar-se nas palavras importantes

 

  • Analogia com a leitura de livros:
    • Pistas em um livro de mistério
    • Manter o foco no conteúdo relevante
    • Concentrar-se nos dados de entrada importantes

Livro aberto com uma lupa

Conceitos de Grandes Modelos de Linguagem (LLMs)

Autoatenção e atenção com várias cabeças

Autoatenção

  • Avalia a importância de cada palavra

 

  • Capta dependências de longo alcance

Atenção com várias cabeças

  • Próximo nível de autoatenção

 

  • Divide a entrada em várias cabeças, e cada uma se concentra em diferentes aspectos
Conceitos de Grandes Modelos de Linguagem (LLMs)

Atenção em uma festa

  • Atenção: autoatenção e atenção com várias cabeças

 

  • Exemplo:
    • Conversa em grupo em uma festa
    • Atenção seletiva ao falante de interesse
    • Filtrar ruído
    • Concentrar-se nos pontos principais

 

pessoas sentadas e conversando em grupo

1 Freepik
Conceitos de Grandes Modelos de Linguagem (LLMs)

A festa continua

Autoatenção

  • Concentrar-se nas palavras de cada pessoa
  • Avaliar e comparar a importância delas
  • Pesar a contribuição de cada falante
  • Combiná-las para uma compreensão abrangente

Atenção com várias cabeças

  • Dividir a atenção em “vários” canais
  • Concentrar-se em diferentes aspectos da conversa
  • Emoções do falante, tema principal e temas secundários relacionados
  • Processar cada aspecto e combiná-los
Conceitos de Grandes Modelos de Linguagem (LLMs)

Vantagens da atenção com várias cabeças

  • "O garoto foi ao mercado comprar mantimentos e ele encontrou seu cereal favorito em promoção.”

 

  • Atenção: “garoto”, “mercado”, “mantimentos” e “cereal”
  • Autoatenção: “garoto” e “ele” -> a mesma pessoa
  • Atenção com várias cabeças: diversos canais
    • Personagem (“garoto”)
    • Ação (“foi ao mercado”, “encontrou seu cereal”)
    • Coisas envolvidas (“mantimentos”, “promoção”)
Conceitos de Grandes Modelos de Linguagem (LLMs)

Vamos praticar!

Conceitos de Grandes Modelos de Linguagem (LLMs)

Preparing Video For Download...