Údržba modelu

MLOps: nasazení a životní cyklus modelů

Nemanja Radojkovic

Senior Machine Learning Engineer

Rekapitulace...

  • Jak zachytit anomálie a narušení?

 

Téma této lekce: selhání modelu ML

MLOps: nasazení a životní cyklus modelů

zhoršený model

MLOps: nasazení a životní cyklus modelů

zlepšení modelu

MLOps: nasazení a životní cyklus modelů

zlepšení datové sady

MLOps: nasazení a životní cyklus modelů

modelově orientovaný přístup

MLOps: nasazení a životní cyklus modelů

datově orientovaný přístup

1 https://datacentricai.org/
MLOps: nasazení a životní cyklus modelů

Kvalita nad množství

  • Získejte více relevantních příznaků
  • Získejte kvalitnější štítky

 

Štítek == hodnota cílové proměnné v trénovací sadě

Kvalita štítku == blízkost štítku ke skutečné hodnotě

MLOps: nasazení a životní cyklus modelů

špatné štítky

MLOps: nasazení a životní cyklus modelů

špatná predikce

MLOps: nasazení a životní cyklus modelů

Výhody nástrojů pro štítkování

Ruční štítkování je složité, zdlouhavé a chybové

Používejte kvalitní nástroje pro štítkování!

  • Efektivnější štítkování
  • Vyšší přesnost
  • Uživatelské rozhraní přizpůsobené účelu
  • "Označte nejprve tyto příklady pro maximální dopad"
  • "Zdá se, že jste zde udělali chybu"

nástroj pro štítkování

Příklad: Nástroj pro štítkování obrázků, pro tvorbu klasifikátorů

MLOps: nasazení a životní cyklus modelů

člověk ve smyčce

MLOps: nasazení a životní cyklus modelů

HIL 2

MLOps: nasazení a životní cyklus modelů

vstup odborníka

MLOps: nasazení a životní cyklus modelů

MLOps: nasazení a životní cyklus modelů

Když přijdou štítky

  • Spuštění pipeline => Nový model
  • Ověřte, zda je nový model lepší než stávající
    • ANO => testovat a nasadit
    • NE => pokračovat v hledání
MLOps: nasazení a životní cyklus modelů

Pokračujte v hledání

  • Vyzkoušejte nové modely
  • Vyzkoušejte nové příznaky
  • Vyzkoušejte nové zdroje dat

 

Velmi užitečné: úložiště metadat (MLFlow Tracking apod.)

  • Dokumentujte průběh výběru modelu
  • Zabraňte opakování stejných experimentů

 

V každém případě: MLOps pomáhá udržovat model nejrychlejším a nejefektivnějším způsobem

MLOps: nasazení a životní cyklus modelů

Pojďme si procvičit!

MLOps: nasazení a životní cyklus modelů

Preparing Video For Download...