Architektura referencyjna: w pełni zautomatyzowany MLOps

W pełni zautomatyzowany MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Czym jest architektura referencyjna?

Architektura referencyjna to szablon służący do projektowania rozwiązań w różnych domenach IT.

Zbiór dokumentów zawierający:

Struktury i integracje elementów IT
Wzorce powszechnie występujące w systemach IT, w tym systemach ML
Wykorzystuje doświadczenia i najlepsze praktyki branżowe

W pełni zautomatyzowana architektura MLOps

Ogólny widok w pełni zautomatyzowanej architektury referencyjnej MLOps.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Architektura referencyjna – zorkiestrowane eksperymenty

Ogólny widok w pełni zautomatyzowanej architektury referencyjnej MLOps. Obraz przybliża się do zestawu połączonych bloków. Od lewej do prawej: analiza danych, zorkiestrowany eksperyment, kod źródłowy, repozytorium kodu źródłowego.

Architektura referencyjna – kod źródłowy i CI

Obraz przesuwa się w lewo. Po repozytorium kodu źródłowego widoczny jest blok ciągłej integracji z modułem budowania, który produkuje pakiety jako dane wyjściowe.

Architektura referencyjna – artefakty i CD

Obraz przesuwa się w dół, ukazując blok ciągłego dostarczania.

Architektura referencyjna – wdrożenie potoku ML

Obraz przesuwa się w lewo, ukazując zautomatyzowany potok ML z krokami: ekstrakcja danych, walidacja danych, przygotowanie danych, trenowanie modelu, ewaluacja modelu, walidacja modelu.

Architektura referencyjna – magazyn metadanych

Obraz przesuwa się w dół, ukazując magazyn metadanych zbierający logi generowane przez potok ML.

Architektura referencyjna – rejestr modeli

Obraz przesuwa się w górę i w prawo, ukazując modele trenowane przez potok ML przekazywane do rejestru modeli.

Architektura referencyjna – usługi predykcyjne

Obraz przesuwa się w dół, ukazując ciągłe dostarczanie modeli do modułu usług predykcyjnych w architekturze.

Architektura referencyjna – ciągłe monitorowanie

Obraz przesuwa się w lewo, ukazując komponent monitorowania wydajności śledzący jakość predykcji dostarczanych przez usługę predykcyjną.

Architektura referencyjna – automatyczny wyzwalacz

Obraz przesuwa się dalej w lewo, ukazując komponent wyzwalacza połączony z modułem monitorowania wydajności.

Architektura referencyjna – automatyczne ponowne trenowanie

Obraz przesuwa się w górę, ukazując wyzwalacz aktywujący zautomatyzowany potok ML w systemie.