Serveringslägen

MLOps-driftsättning och livscykelhantering

Nemanja Radojkovic

Senior Machine Learning Engineer

Servering och serveringsläge

• Tillhandahålla prediktion som tjänst == Modellservering
• En specifik typ av servering == Serveringsläge

 

Välj med omsorg!

Batchprediktion: håll det enkelt

• Batchprediktion är enklast
• Om användningsfallet tillåter det, välj det
• Passar bra: månatlig generering av försäljningsprognoser

Acceptabel latens

Vad är acceptabelt?

• < 1 timme?
• < 1 minut?
• < 1 sekund?
• < 1 millisekund?

Nästan realtidsprediktion a.k.a. strömbearbetning

Acceptabel latens ~= X minuter

Även känt som strömbearbetning (förfrågningar och svar bildar "dataströmmar")

Realtidsprediktion

Acceptabel latens < 1 sek

Exempel:

• Bedrägeridetektering för kreditkort
• Sen prediktion är lika med ingen prediktion

När latens är avgörande

• En svagare men snabbare modell är mer värdefull än en starkare men långsammare
• Modeller driftsätts på slutanvändarens enhet för att minska latens => "edge-driftsättning"
  • ML-integrerade smartphoneappar:
    • navigationsappar
    • upplåsning via ansiktsigenkänning
    • bildfilter

Nu kör vi en övning!

MLOps-driftsättning och livscykelhantering