Model deployment strategies

Deployment e ciclo di vita in MLOps

Nemanja Radojkovic

Senior Machine Learning Engineer

Deployment successful!

  • ML app is running
  • API handles 1000s of requests/hour
  • One month later:
    • New, better features found
    • Collected new batch of training data
    • Ran the model build pipeline
    • New model package created
Deployment e ciclo di vita in MLOps

swapping

Deployment e ciclo di vita in MLOps

offline prediction

Deployment e ciclo di vita in MLOps

change window

Deployment e ciclo di vita in MLOps

real time downtime

Deployment e ciclo di vita in MLOps

expensive downtime

Deployment e ciclo di vita in MLOps

blue green setup

Deployment e ciclo di vita in MLOps

click of a button

Deployment e ciclo di vita in MLOps

blue green term

Deployment e ciclo di vita in MLOps

advantage disadvantage

Deployment e ciclo di vita in MLOps

rollback

Deployment e ciclo di vita in MLOps

canary deployment

Deployment e ciclo di vita in MLOps

request splitting

Deployment e ciclo di vita in MLOps

step two

Deployment e ciclo di vita in MLOps

final result

Deployment e ciclo di vita in MLOps

Deployment e ciclo di vita in MLOps

validation

Deployment e ciclo di vita in MLOps

disadvantage

Deployment e ciclo di vita in MLOps

risk mitigation

Deployment e ciclo di vita in MLOps

Let's practice!

Deployment e ciclo di vita in MLOps

Preparing Video For Download...