Automatisering

Att utveckla maskininlärningsmodeller för produktion

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Introduktion till ML-automatisering

  • Automatisering säkerställer tillförlitlighet och effektivitet i ML-pipelines
  • Minskar risken för mänskliga fel
  • Effektiviserar utvecklings- och driftsättningsprocessen
  • De fyra huvudprinciperna inom MLOps är:
    • Continuous Integration (CI)
    • Continuous Deployment (CD)
    • Continuous Training (CT)
    • Continuous Monitoring (CM)
Att utveckla maskininlärningsmodeller för produktion

Fyra principer för automatisering

Continuous Integration (CI) Integrerar kodändringar i ett delat repository regelbundet kodning

Continuous Delivery (CD) Bygger, testar och driftsätter kodändringar automatiskt paket

Continuous Training (CT) Tränar och uppdaterar modellen kontinuerligt med ny data

hjärna

Continuous Monitoring (CM) Övervakar modellens prestanda och noggrannhet löpande monitor

Att utveckla maskininlärningsmodeller för produktion

Kontinuerlig integration och leverans

Continuous Integration (CI)

  • Säkerställer att koden alltid fungerar
  • Minskar risken för mänskliga fel
  • Fångar problem tidigt

Continuous Delivery (CD)

  • Snabb och konsekvent modelldriftsättning
  • Kortare tid till produktionssättning
  • Minskar risken för mänskliga fel

CI/CD-verktyg: Git, AWS CodePipeline, Jenkins, Travis CI

jenkins

Att utveckla maskininlärningsmodeller för produktion

Kontinuerlig träning och övervakning

Continuous Training (CT)

  • Säkerställer modellens noggrannhet och aktualitet
  • Minskar risken för modelldegenerering
  • Kortare tid för omträning

Continuous Monitoring (CM)

  • Minskar risken för modelldegenerering
  • Förbättrar den övergripande noggrannheten
  • Tillgång till konsekventa och tillförlitliga ML-mätvärden
  • Identifierar problem tidigt

monitor

Att utveckla maskininlärningsmodeller för produktion

Exempel på ML-automatisering i stor skala

  1. CI: Modellkoden sparas i Git.

  2. CD: Den incheckade koden byggs och testas med ett CI/CD-verktyg som Jenkins. Vid godkänt resultat driftsätts den.

    • Modellen serialiseras.
    • Beroenden hanteras med Docker.
    • Docker-imagen driftsätts.

  3. CM: Modellens prestanda övervakas kontinuerligt.

    • Övervakningen styr beslut om modellen.
    • CM-verktyg inkluderar Prometheus & Grafana

  4. CT: Modellen tränas på ny data.

  5. Ny kod skrivs / modeller uppdateras ... tillbaka till steg 1

Att utveckla maskininlärningsmodeller för produktion

Nu kör vi en övning!

Att utveckla maskininlärningsmodeller för produktion

Preparing Video For Download...