Fase de ideação

Conceitos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: fase de ideação

Visão geral das fases do ciclo de vida de apps com LLM

Conceitos de LLMOps

Origem dos dados

 

Imagem lúdica de um desenho segurando diferentes fontes de dados

 

  • Identificar necessidades

 

  • Encontrar fontes

 

  • Garantir acessibilidade
Conceitos de LLMOps

Origem dos dados

 

Imagem lúdica de um desenho segurando diferentes fontes de dados

  1. Os dados são relevantes?
  2. Os dados estão disponíveis?
    • Transformar dados
    • Criar bases extras
    • Avaliar custos
    • Considerar outras limitações de acesso
  3. Os dados atendem aos padrões?
    • Envolve qualidade e governança
Conceitos de LLMOps

Escolhendo o modelo base

  • Modelos pré-treinados:

Imagem de um modelo pré-treinado

  • Proprietário ou open source?
Conceitos de LLMOps

Modelos proprietários (privados)

Vantagens:

  • Fácil de configurar e usar
  • Garantia de qualidade
  • Confiabilidade, velocidade e disponibilidade

 

Limitações:

  • Exige expor dados
  • Personalização

Exemplos:

Logotipos de modelos LLM proprietários

Conceitos de LLMOps

Código aberto (acesso público)

Vantagens:

  • Hospedagem interna
  • Transparência
  • Totalmente personalizável

 

Limitações:

  • Suporte
  • Uso comercial

 

Exemplo: Logotipo do Meta Llama 3

 

Disponível para download em: Logotipo do Hugging Face

Conceitos de LLMOps

Fatores para escolher o modelo

1. Desempenho ⭐

  • Qualidade das respostas
  • Velocidade

Ícones relacionados a desempenho

2. Características do modelo ⭐

  • Dados usados no treino
  • Tamanho da janela de contexto
  • Possibilidade de fine-tuning

Ícones relacionados a características do modelo

Conceitos de LLMOps

Fatores para escolher o modelo

3. Aspectos práticos ⭐

  • Licença
  • Custo
  • Impacto ambiental

Ícones relacionados a aspectos práticos

4. Fatores secundários

  • Número de parâmetros
  • Popularidade

Ícones relacionados a fatores secundários

Conceitos de LLMOps

Vamos praticar!

Conceitos de LLMOps

Preparing Video For Download...