Automatizace

Developing Machine Learning Models for Production

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Úvod do automatizace ML

  • Automatizace zajišťuje spolehlivost a efektivitu ML pipeline
  • Snižuje riziko lidské chyby
  • Zjednodušuje vývoj a nasazení
  • Čtyři hlavní principy MLOps:
    • Průběžná integrace (CI)
    • Průběžné nasazení (CD)
    • Průběžné trénování (CT)
    • Průběžné monitorování (CM)
Developing Machine Learning Models for Production

Čtyři principy automatizace

Průběžná integrace (CI) Pravidelné začleňování změn kódu do sdíleného repozitáře kódování

Průběžné nasazení (CD) Automatické sestavení, testování a nasazení změn kódu balíček

Průběžné trénování (CT) Průběžné trénování a aktualizace modelu na nových datech

mozek

Průběžné monitorování (CM) Průběžné sledování výkonu a přesnosti modelu monitor

Developing Machine Learning Models for Production

Průběžná integrace a nasazení

Průběžná integrace (CI)

  • Zajišťuje funkční stav kódu
  • Snižuje riziko lidské chyby
  • Včasné odhalení problémů

Průběžné nasazení (CD)

  • Rychlé a konzistentní nasazení modelů
  • Zkracuje dobu uvedení modelů do produkce
  • Snižuje riziko lidské chyby

Nástroje CI/CD: Git, AWS CodePipeline, Jenkins, Travis CI

jenkins

Developing Machine Learning Models for Production

Průběžné trénování a monitorování

Průběžné trénování (CT)

  • Zajišťuje přesnost a aktuálnost modelu
  • Snižuje riziko degradace modelu
  • Zkracuje dobu opětovného trénování

Průběžné monitorování (CM)

  • Snižuje riziko degradace modelu
  • Zlepšuje celkovou přesnost
  • Přístup ke konzistentním metrikám ML
  • Včasné odhalení problémů

monitor

Developing Machine Learning Models for Production

Příklad automatizace ML ve velkém měřítku

  1. CI: Kód modelu je uložen do Gitu.

  2. CD: Kód je sestaven a otestován nástrojem jako Jenkins. Po úspěchu se nasadí.

    • Model je serializován.
    • Závislosti jsou nastaveny pomocí Dockeru.
    • Docker image je nasazen.

  3. CM: Výkon modelu je průběžně monitorován.

    • Monitoring informuje rozhodnutí o modelu.
    • Nástroje CM: Prometheus & Grafana

  4. CT: Model je trénován na nových datech.

  5. Nový kód je napsán / modely aktualizovány … zpět ke kroku 1

Developing Machine Learning Models for Production

Pojďme si procvičit!

Developing Machine Learning Models for Production

Preparing Video For Download...