Servindo o modelo

Machine Learning de ponta a ponta

Joshua Stapleton

Machine Learning Engineer

Modelo como serviço

  • Stakeholders/usuários acessam o modelo pela internet

  • Exponha o modelo via portal

    • Usuários enviam consultas/dados
    • Recebem diagnósticos/previsões

  • Preocupações:

    • Clínica rural/sem internet
    • Ambiente muito seguro/dados sensíveis

Símbolo de portal mostrando modelo como serviço

Machine Learning de ponta a ponta

Serving no dispositivo

Arquiteturas integradas de serving

  • Computação de borda
  • Útil para internet instável

Engrenagens na cabeça mostrando computação no dispositivo

Machine Learning de ponta a ponta

Prós e contras do serving no dispositivo

Prós:

  • Menor latência
  • Segurança
  • Aplicações em áreas remotas/desconectadas

Contras:

  • Restrições de recursos
  • Atualizações de modelo
  • Monitoramento
Machine Learning de ponta a ponta

Estratégias de implementação

  • Poda
  • Transfer Learning
  • Use frameworks dedicados

Ícone mostrando estratégia

Machine Learning de ponta a ponta

Vamos praticar!

Machine Learning de ponta a ponta

Preparing Video For Download...