Magazyn metadanych

W pełni zautomatyzowany MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Czym są metadane w MLOps?

Metadane to informacje o artefaktach
- tworzonych podczas wykonywania komponentów potoku ML

Schemat potoku ML z krokami: ekstrakcja danych, walidacja danych, trenowanie modelu, ocena modelu i walidacja modelu.

Przykłady metadanych:

Wersjonowanie danych: przechowywanie różnych wersji tych samych danych
Metadane artefaktów trenowania, np. hiperparametry
Logi wykonania potoku

¹ https://datacentricai.org/

Kluczowe aspekty metadanych w ML

Rodowód danych
Reprodukowalność
Monitorowanie
Regulacje prawne

Znaczenie metadanych – rodowód danych

Metadane rodowodu danych śledzą informacje o danych:
- od momentu ich powstania
- do punktów ich wykorzystania

Ilustracja koncepcji rodowodu danych. Pokazuje, jak dane mogą być transformowane przez różne procesy między źródłem a punktem użycia.

Znaczenie metadanych – reprodukowalność

Metadane eksperymentów ML:
- Umożliwiają innym odtworzenie wyników
- Zwiększają zaufanie do systemów ML
- Wprowadzają rygor naukowy do procesu ML

Ilustracja koncepcji reprodukowalności. Przedstawia naukowców obserwujących się nawzajem przez teleskopy, chcących odtworzyć wyniki swoich badań.

Znaczenie metadanych – monitorowanie

Umożliwia inżynierom ML:
- Śledzenie wykonania poszczególnych części potoku MLOps
- Sprawdzanie stanu systemu ML w dowolnym momencie

Przykładowe narzędzie monitorowania

Przykładowy pulpit monitorowania z różnymi metrykami działającego systemu MLOps.

¹ https://cloud.google.com/stackdriver/docs/solutions/gke/observing

Magazyn metadanych

Centralne miejsce do zarządzania metadanymi MLOps:
- eksperymenty (logi)
- artefakty
- modele
- potoki
Interfejs użytkownika umożliwia:
- odczyt i zapis wszystkich metadanych dotyczących modeli

Ilustracja magazynu metadanych. Przedstawia scentralizowany magazyn, do którego dostęp mają różne podmioty i procesy.

¹ https://cloud.google.com/architecture/mlops-continuous-delivery-and-automation-pipelines-in-machine-learning

Magazyn metadanych w architekturze MLOps

Schemat w pełni zautomatyzowanej architektury MLOps. Przedstawia centralną rolę magazynu metadanych w procesie MLOps.

Magazyn metadanych w pełni zautomatyzowanym MLOps

Umożliwia automatyczne monitorowanie w pełni zautomatyzowanego potoku MLOps

Wspiera automatyczną reakcję na incydenty, np.:
- Automatyczne ponowne trenowanie modelu
- Automatyczne wycofanie zmian (rollback)

Wykres ponownego trenowania modelu wywołanego dryftem. Oś X to czas, oś Y to wydajność. Trzy krzywe z zaznaczonymi punktami dryfu i momentami uruchomienia nowych modeli.

Czas na ćwiczenia!

W pełni zautomatyzowany MLOps