Automatyzacja

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Sinan Ozdemir

Data Scientist, Entrepreneur, and Author

Wprowadzenie do automatyzacji ML

  • Automatyzacja zapewnia niezawodność i efektywność potoków ML
  • Zmniejsza ryzyko błędu ludzkiego
  • Usprawnia proces tworzenia i wdrażania
  • Cztery główne zasady MLOps:
    • Ciągła integracja (CI)
    • Ciągłe dostarczanie (CD)
    • Ciągłe uczenie (CT)
    • Ciągłe monitorowanie (CM)
Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Cztery zasady automatyzacji

Ciągła integracja (CI) Regularne integrowanie zmian kodu we wspólnym repozytorium kodowanie

Ciągłe dostarczanie (CD) Automatyczne budowanie, testowanie i wdrażanie zmian kodu pakiet

Ciągłe uczenie (CT) Ciągłe uczenie i aktualizowanie modelu na nowych danych

mózg

Ciągłe monitorowanie (CM) Bieżące monitorowanie wydajności i dokładności modelu monitor

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Ciągła integracja i dostarczanie

Ciągła integracja (CI)

  • Zapewnia stałą sprawność kodu
  • Zmniejsza ryzyko błędu ludzkiego
  • Wczesne wykrywanie problemów

Ciągłe dostarczanie (CD)

  • Szybkie i spójne wdrażanie modeli
  • Skraca czas wdrożenia modeli na produkcję
  • Zmniejsza ryzyko błędu ludzkiego

Narzędzia CI/CD: Git, AWS CodePipeline, Jenkins, Travis CI

jenkins

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Ciągłe uczenie i monitorowanie

Ciągłe uczenie (CT)

  • Zapewnia aktualność i dokładność modelu
  • Zmniejsza ryzyko degradacji modelu
  • Skraca czas ponownego uczenia

Ciągłe monitorowanie (CM)

  • Zmniejsza ryzyko degradacji modelu
  • Poprawia ogólną dokładność
  • Dostęp do spójnych i niezawodnych metryk ML
  • Wczesne wykrywanie problemów

monitor

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Przykład automatyzacji ML w skali

  1. CI: Kod modelu jest zatwierdzany do repozytorium Git.

  2. CD: Zatwierdzony kod jest budowany i testowany narzędziem CI/CD, np. Jenkins. Po pomyślnych testach następuje wdrożenie.

    • Model jest serializowany.
    • Zależności są konfigurowane za pomocą Docker.
    • Obraz Docker jest wdrażany.

  3. CM: Wydajność modelu jest stale monitorowana.

    • Monitorowanie wspiera decyzje dotyczące modelu.
    • Narzędzia CM: Prometheus i Grafana

  4. CT: Model jest uczony na nowych danych.

  5. Pisany jest nowy kod / aktualizowane modele ... powrót do kroku 1

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Czas na ćwiczenia!

Tworzenie modeli uczenia maszynowego na potrzeby produkcji

Preparing Video For Download...