Režimy nasazení

MLOps: nasazení a životní cyklus modelů

Nemanja Radojkovic

Senior Machine Learning Engineer

Nasazení a režim nasazení

• Poskytování predikční služby == Nasazení modelu
• Implementace konkrétního typu nasazení == Režim nasazení

 

Volte pečlivě!

Dávková predikce: Jednoduchost se vyplácí

• Dávková predikce je nejjednodušší
• Pokud to případ použití umožňuje, zvolte ji
• Vhodné použití: měsíční generování predikcí prodeje

Přijatelná latence

Co je přijatelné?

• < 1 hodina?
• < 1 minuta?
• < 1 sekunda?
• < 1 milisekunda?

Predikce téměř v reálném čase a.k.a. Stream processing

Přijatelná latence ~= X minut

Též označováno jako stream processing (požadavky a odpovědi tvoří „datové proudy")

Predikce v reálném čase

Přijatelná latence < 1 s

Příklad:

• Detekce podvodů s platební kartou
• Pozdní predikce je prakticky bezcenná

Když je latence prioritou

• Slabší, ale rychlejší model je cennější než silnější, ale pomalejší
• Modely nasazené na zařízení koncového uživatele pro snížení latence => „edge deployment"
  • Aplikace pro smartphony s ML:
    • navigační aplikace
    • odemykání pomocí rozpoznání obličeje
    • obrazové filtry

Pojďme cvičit!

MLOps: nasazení a životní cyklus modelů