Ajuste fino

Conceitos de Grandes Modelos de Linguagem (LLMs)

Vidhi Chugh

AI strategist and ethicist

Onde estamos?

Gráfico de andamento mostrando que chegamos à fase de ajuste fino

Conceitos de Grandes Modelos de Linguagem (LLMs)

 

  • Pré-treinamento

Imagem que mostra crianças em idade escolar como analogia ao pré-treinamento

          School education

 

  • Ajuste fino

Imagem que mostra estudantes universitários como analogia ao ajuste fino

        University specialization
1 Freepik
Conceitos de Grandes Modelos de Linguagem (LLMs)

Desafios ligados ao tamanho

  • O ajuste fino pode ajudar
  • Computadores avançados
  • Métodos eficientes de treinamento de modelos
  • Muitos dados de treinamento

Imagem que mostra a disponibilidade de dados, o tempo de treinamento e a capacidade de computação como desafios no desenvolvimento de LLMs

Conceitos de Grandes Modelos de Linguagem (LLMs)

Capacidade de computação

  • Memória

  • Capacidade de processamento

  • Infraestrutura

  • Alto custo

  • LLM:
    • 100.000 CPUs
    • 10.000 GPUs
  • Um computador pessoal: 4–8 CPUs e 1–2 GPUs

Homem trabalhando em um computador conectado a um servidor grande

1 Freepik
Conceitos de Grandes Modelos de Linguagem (LLMs)

Treinamento eficiente de modelos

Ilustração que simboliza um modelo de aprendizado profundo

  • O tempo de treinamento é enorme

 

  • Pode demorar semanas ou meses

 

  • Treinamento eficiente de modelos = menos tempo de treinamento

 

  • Tempo de processamento de 355 anos em uma única GPU
Conceitos de Grandes Modelos de Linguagem (LLMs)

Disponibilidade de dados

 

  • São necessários dados de alta qualidade
  • Para aprender a complexidade e as sutilezas da linguagem

  • Centenas de gigabytes (GBs) de dados de textos

    • Mais de um milhão de livros

  • Uma quantidade enorme de dados

  Duas pilhas de pastas cheias para simbolizar uma grande quantidade de dados

Conceitos de Grandes Modelos de Linguagem (LLMs)

Como enfrentar os desafios

  • Ajuste fino
    • Lida com alguns desses desafios
    • Adapta um modelo pré-treinado

 

  • Modelo pré-treinado
    • Aprendeu com conjuntos de dados genéricos
    • Não otimizado para tarefas específicas
    • Pode ser ajustado para um problema específico

Pessoas trabalhando em um notebook gigante com ferramentas e engrenagens para simbolizar o ajuste fino

Conceitos de Grandes Modelos de Linguagem (LLMs)

Ajuste fino x Pré-treinamento

  • Ajuste fino

  • Computação

    • 1 ou 2 CPUs e GPUs

 

  • Tempo de treinamento
    • De horas a dias

 

  • Dados
    • ~1 gigabyte

  • Pré-treinamento

  • Computação

    • Milhares de CPUs e GPUs

 

  • Tempo de treinamento
    • De semanas a meses

 

  • Dados
    • Centenas de gigabytes
Conceitos de Grandes Modelos de Linguagem (LLMs)

Vamos praticar!

Conceitos de Grandes Modelos de Linguagem (LLMs)

Preparing Video For Download...