Progressão de deploy e testes

Implantação e ciclo de vida em MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Calma lá!

 

speed limit

 

 

 

  • Não faça deploy sem testar a fundo!
Implantação e ciclo de vida em MLOps

Agenda

TIPOS DE TESTE

  • Testes de unidade
  • Testes de integração
  • Smoke tests
  • Testes de carga
  • Testes de aceitação

AMBIENTES: DEV, DEPLOY, TESTE

  • Desenvolvimento
  • Teste
  • Staging
  • Produção

 

FORA DO ESCOPO: desempenho do modelo preditivo

DENTRO DO ESCOPO: testar o app de ML como um todo

Implantação e ciclo de vida em MLOps

env def

Implantação e ciclo de vida em MLOps

Testes de unidade

Verificando se unidades de código independentes se comportam como esperado

EXEMPLO

Função a testar:

def add_two_numbers(x, y):
    return x + y

Teste de unidade:

add_two_numbers(1, 1) == 2
add_two_numbers(2, 3) == 5
Implantação e ciclo de vida em MLOps

dev changing

Implantação e ciclo de vida em MLOps

constantly changing

Implantação e ciclo de vida em MLOps

Implantação e ciclo de vida em MLOps

Implantação e ciclo de vida em MLOps

test env 1

Implantação e ciclo de vida em MLOps

free resources

Implantação e ciclo de vida em MLOps

integration tests 1

Implantação e ciclo de vida em MLOps

api testing

Implantação e ciclo de vida em MLOps

integration testing

Implantação e ciclo de vida em MLOps

staging env

Implantação e ciclo de vida em MLOps

copy of prod

Implantação e ciclo de vida em MLOps

copy of prod 2

Implantação e ciclo de vida em MLOps

exact versions

Implantação e ciclo de vida em MLOps

prod copy data

Implantação e ciclo de vida em MLOps

smoke tests

Implantação e ciclo de vida em MLOps

load tests

Implantação e ciclo de vida em MLOps

stress tests

Implantação e ciclo de vida em MLOps

uat

Implantação e ciclo de vida em MLOps

Um elo fraco quebra o sistema

Devemos ter cuidado com o que colocamos em produção.

oring

 

 

 

O desastre do ônibus espacial Challenger, em 1986, foi causado pela falha de um anel de vedação de borracha

Implantação e ciclo de vida em MLOps

priorities

Implantação e ciclo de vida em MLOps

Vamos praticar!

Implantação e ciclo de vida em MLOps

Preparing Video For Download...