Visão geral de LLMOps

Conceitos de LLMOps

Max Knobbout, PhD

Applied Scientist, Uber

O que vamos aprender no curso

LLMOps ajuda a gerenciar, implantar e manter apps de modelos de linguagem
Vamos ver:
- Fundamentos
- Ciclo de vida de apps de LLM
- Desafios e pontos de atenção

¹ Ilustrações de Manfred Steger @ Pixabay

Um pipeline simples mostrando uma consulta entrando em um LLM e gerando uma saída

Resultando no que chamamos de aplicativos de LLM ao longo do curso

Ilustração de um pipeline complexo de LLM

Integração sem atritos

Transições suaves no ciclo de vida

Gestão eficiente e escalável

Algumas diferenças:

	LLMOps	MLOps
Tamanho do modelo	Grande	Geralmente menor
Dados	Texto	Qualquer dado
Modelos pré-treinados	Normalmente sim	Normalmente não
Melhoria do modelo	Prompt engineering e fine-tuning	Engenharia de features e seleção de modelo
Generalização	Uso geral	Escopo fixo
Imprevisibilidade	Alta	Baixa
Saída	Principalmente texto	Específica da tarefa

Conceitos de LLMOps