Servicemodi

MLOps-deployments en levenscyclus

Nemanja Radojkovic

Senior Machine Learning Engineer

Serving en servingmodus

• Voorspellingen aanbieden == model serving
• Implementatie van een specifiek type serving == servingmodus

 

Kies zorgvuldig!

Batchvoorspelling: houd het simpel

• Batchvoorspelling is het simpelst
• Kan het voor je usecase? Doe het dan
• Goed voorbeeld: maandelijks verkoopprognoses genereren

Acceptabele latency

Wat is acceptabel?

• < 1 uur?
• < 1 minuut?
• < 1 seconde?
• < 1 milliseconde?

Near‑realtime voorspelling, aka stream processing

Acceptabele latency ~= X minuten

Ook wel stream processing genoemd (requests en responses vormen „datastromen”)

Realtime voorspelling

Acceptabele latency < 1 sec

Voorbeeld:

• Creditcardfraude-detectie
• Te late voorspelling is vrijwel nutteloos

Als latency prioriteit heeft

• Zwakker maar sneller model kan waardevoller zijn dan een sterker maar trager model
• Modellen op eindapparaten om latency te verlagen => „edge‑deployment”
  • ML‑apps op smartphones:
    • navigatieapps
    • ontgrendelen met gezichtsherkenning
    • afbeeldingsfilters

Laten we oefenen!

MLOps-deployments en levenscyclus