Automatizare

Dezvoltarea modelelor de Machine Learning pentru producție

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Introducere în automatizarea ML

  • Automatizarea asigură fiabilitatea și eficiența pipeline-urilor ML
  • Reduce riscul erorilor umane
  • Simplifică procesul de dezvoltare și implementare
  • Cele patru principii MLOps principale sunt:
    • Integrare Continuă (CI)
    • Implementare Continuă (CD)
    • Antrenare Continuă (CT)
    • Monitorizare Continuă (CM)
Dezvoltarea modelelor de Machine Learning pentru producție

Patru principii ale automatizării

Integrare Continuă (CI) Integrarea regulată a modificărilor de cod într-un depozit partajat programare

Implementare Continuă (CD) Compilarea, testarea și implementarea automată a modificărilor de cod pachet

Antrenare Continuă (CT) Antrenarea și actualizarea continuă a modelului cu date noi

creier

Monitorizare Continuă (CM) Monitorizarea continuă a performanței și acurateței modelului monitorizare

Dezvoltarea modelelor de Machine Learning pentru producție

Integrare și implementare continuă

Integrare Continuă (CI)

  • Asigură că codul este întotdeauna funcțional
  • Reduce riscul erorilor umane
  • Identifică problemele timpuriu

Implementare Continuă (CD)

  • Implementare rapidă și consistentă a modelelor
  • Reduce timpul până la producție
  • Reduce riscul erorilor umane

Instrumente CI/CD: Git, AWS CodePipeline, Jenkins, Travis CI

jenkins

Dezvoltarea modelelor de Machine Learning pentru producție

Antrenare și monitorizare continuă

Antrenare Continuă (CT)

  • Asigură acuratețea și actualitatea modelului
  • Reduce riscul degradării modelului
  • Reduce timpul de re-antrenare

Monitorizare Continuă (CM)

  • Reduce riscul degradării modelului
  • Îmbunătățește acuratețea generală
  • Acces la metrici ML consistente și fiabile
  • Identifică problemele timpuriu

monitorizare

Dezvoltarea modelelor de Machine Learning pentru producție

Exemplu de automatizare ML la scară

  1. CI: Codul modelului este trimis în Git.

  2. CD: Codul este compilat și testat cu un instrument CI/CD precum Jenkins. Dacă trece testele, se face deploy.

    • Modelul este serializat.
    • Dependențele sunt configurate cu Docker.
    • Imaginea Docker este implementată.

  3. CM: Performanța modelului este monitorizată continuu.

    • Monitorizarea informează deciziile despre model.
    • Instrumente CM: Prometheus & Grafana

  4. CT: Modelul este antrenat pe date noi.

  5. Se scrie cod nou / modelele sunt actualizate ... înapoi la pasul 1

Dezvoltarea modelelor de Machine Learning pentru producție

Să exersăm!

Dezvoltarea modelelor de Machine Learning pentru producție

Preparing Video For Download...