Despliegue

Conceptos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

Ciclo de vida de LLM: Despliegue

Resumen de las fases del ciclo de vida de una app LLM

Conceptos de LLMOps

Pasar a despliegue

 

 

Imagen lúdica de personajes de dibujos arrastrando una caja

 

 

  • ¡No hay una única solución!
  • Una app puede incluir lógica de cadenas/agentes, base vectorial, LLM y más
  • Cada parte debe desplegarse y funcionar en conjunto
Conceptos de LLMOps

Paso 1: Elección de hosting

  • Nube privada/pública o on‑premise
  • Muchos proveedores cloud ofrecen hosting y despliegue de LLM

Alojamiento

Conceptos de LLMOps

Paso 2: Diseño de API

  • Las APIs permiten que distintos softwares se comuniquen
  • El diseño afecta escalabilidad, coste e infraestructura
  • La seguridad es clave; se controla con API keys

Diseño de API

Conceptos de LLMOps

Paso 3: Cómo ejecutar

  • Opciones:

    1. Contenedores
    2. Funciones serverless
    3. Servicios gestionados en la nube

  • Pros/contras: costes, escalabilidad, eficiencia y flexibilidad

Logotipo de Docker

Arquitectura de ejecución

Conceptos de LLMOps

CI/CD

Integración continua (CI):

  1. Código: Recuperar el código fuente
  2. Build: Crear una imagen de contenedor con el código
  3. Test: Hacer tests de integración
  4. Registro: Guardar el contenedor en un registry

Despliegue continuo (CD):

  1. Retrieve: Obtener el contenedor del registry
  2. Test: Hacer tests de despliegue
  3. Deploy: Desplegar el contenedor en:
    • Staging
    • Producción
Conceptos de LLMOps

Escalado

 

Imagen lúdica de personajes de dibujos construyendo un robot a gran escala

 

  • Los LLM pueden requerir GPU especializadas.

  • Estrategias de escalado:

    1. Horizontal: Añadir más máquinas
    2. Vertical: Potenciar una máquina

  • Horizontal para tráfico; vertical para fiabilidad y velocidad

Conceptos de LLMOps

¡Vamos a practicar!

Conceptos de LLMOps

Preparing Video For Download...