Como empresas podem ficar totalmente prontas para MLOps

MLOps para Negócios

Arne Jonas Warnke

Head of Emerging Curriculum

Onde estamos em relação a MLOps?

$$

Para melhorar nossas capacidades de MLOps, precisamos de:

  • Avaliar
  • Medir

Como fazer isso?

$$

Usando uma lupa para analisar documentos

MLOps para Negócios

Modelos de maturidade em MLOps

Microsoft:

  • 5 níveis

relacionados a

  • Processos, tecnologia, pessoas

Google:

  • 3 níveis

relacionados ao

  • Nível de automação

$$

Logo da Microsoft

$$

Logo do Google

MLOps para Negócios

Modelo de maturidade MLOps da Microsoft - nível 0

$$

Nível Descrição Destaques
0 Sem MLOps Equipes em silos, processos manuais
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps para Negócios

Modelo de maturidade MLOps da Microsoft - nível 1

$$

Nível Descrição Destaques
0 Sem MLOps Equipes em silos, processos manuais
1 DevOps sem MLOps Equipes em silos, coleta automática de dados, primeiros testes automáticos
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps para Negócios

Modelo de maturidade MLOps da Microsoft - nível 2

$$

Nível Descrição Destaques
0 Sem MLOps Equipes em silos, processos manuais
1 DevOps sem MLOps Equipes em silos, coleta automática de dados, primeiros testes automáticos
2 Treinamento automatizado Melhor colaboração, reprodutibilidade, implantação mais fácil
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps para Negócios

Modelo de maturidade MLOps da Microsoft - nível 3

$$

Nível Descrição Destaques
0 Sem MLOps Equipes em silos, processos manuais
1 DevOps sem MLOps Equipes em silos, coleta automática de dados, primeiros testes automáticos
2 Treinamento automatizado Melhor colaboração, reprodutibilidade, implantação mais fácil
3 Implantação automatizada Boa colaboração, reprodutibilidade total, rastreabilidade, testes automatizados
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps para Negócios

Modelo de maturidade MLOps da Microsoft - nível 4

$$

Nível Descrição Destaques
0 Sem MLOps Equipes em silos, processos manuais
1 DevOps sem MLOps Equipes em silos, coleta automática de dados, primeiros testes automáticos
2 Treinamento automatizado Melhor colaboração, reprodutibilidade, implantação mais fácil
3 Implantação automatizada Boa colaboração, reprodutibilidade total, rastreabilidade, testes automatizados
4 Re-treinamento automatizado Colaboração plena, domínio das operações, pouquíssimas indisponibilidades
1 https://learn.microsoft.com/en-us/azure/architecture/example-scenario/mlops/mlops-maturity-model
MLOps para Negócios

Medindo nosso progresso rumo a MLOps

$$

Um modelo de maturidade é ótimo

  • Mas como medir o progresso continuamente?
  • Um KPI de MLOps?

Imagem de um processo de KPI

MLOps para Negócios

Possíveis KPIs de MLOps

$$

  • Frequência de implantação
    • Quantas releases implantamos por semana?
  • Tempo para responder a incidentes
    • Se ocorrer um erro, em quanto tempo restauramos a aplicação?
  • Lead time para mudanças
    • Ex.: tempo para adicionar um novo recurso.
1 https://cloud.google.com/blog/products/devops-sre/using-the-four-keys-to-measure-your-devops-performance
MLOps para Negócios

Vamos praticar!

MLOps para Negócios

Preparing Video For Download...