Ciclo de feedback, re-treinamento e rotulagem

Machine Learning de ponta a ponta

Joshua Stapleton

Machine Learning Engineer

Ciclo de feedback

  • Saída do modelo usada como entrada do sistema:
    • Usar métricas/previsões para guiar a evolução do sistema
    • Pode usar monitoramento do modelo

 

  • Parte essencial de ML:
    • Permite aprendizado e ajuste rápidos
    • Melhora a adaptação a mudanças

Duas setas cíclicas mostrando o princípio de um ciclo de feedback

Machine Learning de ponta a ponta

Implementação do ciclo de feedback

Detecção de drift de dados

  • A distribuição dos dados de entrada muda com o tempo
  • Ciclo de feedback: re-treinar com dados recentes

Aprendizado online

  • Re-treinar periodicamente conforme os dados mudam
  • Além do drift: adapta mudanças na estrutura dos dados

Drift de dados

Aprendizado online

Machine Learning de ponta a ponta

Perigos dos ciclos de feedback

Perigos...

  • As saídas do modelo afetam as entradas
  • Ex.: recomendação em redes sociais:
    • Maximizar engajamento
    • Aprende a entregar certo tipo de conteúdo
    • Faz o usuário ver mais desse conteúdo
    • etc.
  • Desenvolve padrões de comportamento indesejados
  • Mais perigoso quando automatizado

Um grande X vermelho para perigo

Machine Learning de ponta a ponta

Melhor uso do ciclo de feedback

  • Reativo:

    • Humano no loop
    • As previsões do modelo não mudam os dados de entrada

  • Cuidado e supervisão são essenciais!

Um grande check verde para melhor uso

Machine Learning de ponta a ponta

Vamos praticar!

Machine Learning de ponta a ponta

Preparing Video For Download...