Modos de serving

Implantação e ciclo de vida em MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Serving e modo de serving

• Oferecer serviço de previsão == Model serving
• Implementação de um tipo específico de serving == Modo de serving

 

Escolha com cuidado!

Previsão em lote: mantenha simples

• Previsão em lote é a mais simples
• Se o caso de uso permitir, use
• Bom encaixe: geração mensal de previsões de vendas

Latência aceitável

O que é aceitável?

• < 1 hora?
• < 1 minuto?
• < 1 segundo?
• < 1 milissegundo?

Previsão quase em tempo real, ou Stream processing

Latência aceitável ~= X minutos

Também chamado de stream processing (requisições e respostas formam "fluxos de dados")

Previsão em tempo real

Latência aceitável < 1 s

Exemplo:

• Detecção de fraude em cartão de crédito
• Previsão atrasada é praticamente inútil

Quando latência é prioridade

• Modelo mais fraco porém mais rápido vale mais que um mais forte porém lento
• Modelos no dispositivo do usuário final para reduzir latência => "edge deployment"
  • Apps de smartphone com ML:
    • apps de navegação
    • desbloqueio por reconhecimento facial
    • filtros de imagem

Vamos praticar!

Implantação e ciclo de vida em MLOps