O que é NannyML?

Monitoramento de Machine Learning em Python

Hakim Elakhrass

Co-founder and CEO of NannyML

Pré-requisitos

  • Tópicos de Monitoramento de Machine Learning:
    • O fluxo de monitoramento ideal
    • Desafios de monitorar modelos de ML em produção
    • Dois erros silenciosos: covariate shift e concept drift
    • Seis métodos para detectar covariate shift
    • Conceitos teóricos por trás dos métodos de estimativa de desempenho CBPE e DLE
Monitoramento de Machine Learning em Python

O que este curso vai cobrir?

  • Construir um sistema robusto de monitoramento com NannyML
  • Implementar algoritmos de estimativa de desempenho
  • Usar a calculadora de negócios para estimar o valor monetário do seu modelo de Machine Learning
  • Rodar métodos univariados e multivariados de detecção de covariate shift
Monitoramento de Machine Learning em Python

Desafios de monitoramento

$$

Sem acesso ao ground truth

O gráfico mostra a métrica ROC AUC ao longo do tempo; após o deploy, fica vazio por não haver acesso ao ground truth.

$$

Fadiga de alertas

A imagem mostra mudanças na distribuição dos dados ao longo do tempo; algumas em vermelho indicam mudança, com anotações. É hora de se preocupar ou é falso alarme?

Monitoramento de Machine Learning em Python

Solução open source

A imagem mostra o logo do NannyML e empresas que usam NannyML, como Walmart, Allianz, UBS e DeepMind. Também informa que o NannyML funciona com qualquer framework.

Monitoramento de Machine Learning em Python

Principais recursos

  1. Monitorar o que importa
    • Estimativa e cálculo de desempenho
    • Estimativa e cálculo de valor de negócio
  2. Encontrar o que quebrou
    • Univariado
    • Multivariado
    • Qualidade de dados
  3. Corrigir
    • Disparos de re-treinamento
Monitoramento de Machine Learning em Python

Como usar o NannyML?

A imagem mostra os dados de teste e produção chegando ao NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()
Monitoramento de Machine Learning em Python

Vamos praticar!

Monitoramento de Machine Learning em Python

Preparing Video For Download...