Implantação

Conceitos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: Implantação

Visão geral das fases do ciclo de vida de apps com LLM

Conceitos de LLMOps

Indo para a implantação

 

 

Imagem divertida de personagens de desenho arrastando uma caixa

 

 

  • Não existe solução única!
  • Um app pode incluir cadeia/agente, base vetorial, LLM e mais
  • Cada parte precisa ser implantada e funcionar em conjunto
Conceitos de LLMOps

Etapa 1: Escolha da hospedagem

  • Nuvem privada/pública ou hospedagem on‑premises
  • Muitos provedores oferecem soluções para hospedar e implantar LLMs

Hospedagem

Conceitos de LLMOps

Etapa 2: Design de API

  • APIs permitem que softwares conversem entre si
  • O design impacta escalabilidade, custo e infraestrutura
  • Segurança é crucial, controlada com chaves de API!

Design de API

Conceitos de LLMOps

Etapa 3: Como executar

  • Opções:

    1. Contêineres
    2. Funções serverless
    3. Serviços gerenciados na nuvem

  • Prós/contras: custo, escalabilidade, eficiência e flexibilidade

Logo do Docker

Arquitetura de execução

Conceitos de LLMOps

CI/CD

Integração Contínua (CI):

  1. Código-fonte: Obter o código
  2. Build: Criar a imagem de contêiner com o código
  3. Testes: Rodar testes de integração
  4. Registro: Armazenar o contêiner no registry

Entrega/Implantação Contínua (CD):

  1. Recuperar: Baixar o contêiner do registry
  2. Testar: Rodar testes de implantação
  3. Implantar: Enviar o contêiner para:
    • Staging
    • Produção
Conceitos de LLMOps

Escalonamento

 

Imagem divertida de personagens de desenho construindo um robô em grande escala

 

  • LLMs podem exigir GPUs especializadas.

  • Estratégias de escala:

    1. Horizontal: Adicionar máquinas
    2. Vertical: Potencializar uma máquina

  • Horizontal para tráfego; vertical para confiabilidade e velocidade

Conceitos de LLMOps

Vamos praticar!

Conceitos de LLMOps

Preparing Video For Download...