Driftsättningsprocessen och testning

MLOps-driftsättning och livscykelhantering

Nemanja Radojkovic

Senior Machine Learning Engineer

Inte så fort!

 

hastighetsgräns

 

 

 

  • Rusa inte till driftsättning utan grundlig testning!
MLOps-driftsättning och livscykelhantering

Agenda

TESTTYPER

  • Enhetstester
  • Integrationstester
  • Röktest
  • Lasttester
  • Acceptanstester

UTVECKLINGS-, DRIFTSÄTTNINGS- OCH TESTMILJÖER

  • Utveckling
  • Test
  • Staging
  • Produktion

 

UTANFÖR SCOPE: Prediktiv modellprestanda

INOM SCOPE: Testning av ML-applikationen som helhet

MLOps-driftsättning och livscykelhantering

env def

MLOps-driftsättning och livscykelhantering

Enhetstestning

Kontrollerar att oberoende kodenheter beter sig som förväntat

EXEMPEL

Funktion att testa:

def add_two_numbers(x, y):
    return x + y

Enhetstest:

add_two_numbers(1, 1) == 2
add_two_numbers(2, 3) == 5
MLOps-driftsättning och livscykelhantering

dev i ständig förändring

MLOps-driftsättning och livscykelhantering

i ständig förändring

MLOps-driftsättning och livscykelhantering

MLOps-driftsättning och livscykelhantering

MLOps-driftsättning och livscykelhantering

testmiljö 1

MLOps-driftsättning och livscykelhantering

lediga resurser

MLOps-driftsättning och livscykelhantering

integrationstester 1

MLOps-driftsättning och livscykelhantering

api-testning

MLOps-driftsättning och livscykelhantering

integrationstestning

MLOps-driftsättning och livscykelhantering

stagingmiljö

MLOps-driftsättning och livscykelhantering

kopia av prod

MLOps-driftsättning och livscykelhantering

kopia av prod 2

MLOps-driftsättning och livscykelhantering

exakta versioner

MLOps-driftsättning och livscykelhantering

prod-kopia med data

MLOps-driftsättning och livscykelhantering

röktest

MLOps-driftsättning och livscykelhantering

lasttester

MLOps-driftsättning och livscykelhantering

stresstester

MLOps-driftsättning och livscykelhantering

uat

MLOps-driftsättning och livscykelhantering

En enda svag länk bryter systemet

Vi måste vara noggranna med vad vi introducerar i produktion.

o-ring

 

 

 

Challengerkatastrofen 1986 orsakades av en sprucken gummitätningsring

MLOps-driftsättning och livscykelhantering

prioriteringar

MLOps-driftsättning och livscykelhantering

Nu kör vi en övning!

MLOps-driftsättning och livscykelhantering

Preparing Video For Download...