Automatyczne śledzenie eksperymentów

W pełni zautomatyzowany MLOps

Arturo Opsetmoen Amador

Senior Consultant - Machine Learning

Uczenie maszynowe ma charakter eksperymentalny

Wiele „dźwigni" do eksperymentowania:

Transformacje danych
- Używane cechy
Algorytmy trenowania
- Strojenie hiperparametrów
Metryki ewaluacji
- Precyzja, czułość itd.

Ogromna przestrzeń możliwości!

Zdjęcie kilku anten skierowanych ku gwiaździstemu niebu. Obraz ilustruje ogromną przestrzeń, trudną do pełnego zbadania.

Problemy ręcznych przepływów pracy ML

Brak automatyzacji = problemy w ręcznych przepływach pracy ML

Trudne śledzenie eksperymentów i wyników
Marnowanie czasu i zasobów
Trudna reprodukcja i udostępnianie wyników

Sfrustrowany data scientist przed laptopem.

Automatyczne logowanie w ML

Ważne elementy do rejestrowania:

Kod
Środowisko
Dane
Parametry
Metryki

Znaczenie logowania

Logowanie jest niezbędne do:

Zapewnienia odtwarzalności eksperymentów w systemach ML.
Monitorowania wydajności i podejmowania świadomych decyzji.
Identyfikowania obszarów wymagających poprawy.

Odtwarzalność zapewnia przejrzystość i jest kluczowa dla wiarygodności systemów.

Automatyczny system śledzenia eksperymentów

Organizuj logi według przebiegu lub eksperymentu, aby:

Przeglądać metadane trenowania modelu
Porównywać przebiegi trenowania
Odtwarzać przebiegi trenowania

Schemat architektury IT. System śledzenia eksperymentów składa się z dwóch komponentów: interfejsu użytkownika (dashboard) oraz interfejsu dostępu programowego. Dashboard jest dostępny dla użytkowników systemu. Dostęp programowy jest używany przez inne komponenty architektury. System śledzenia eksperymentów zapisuje i odczytuje dane z komponentu odpowiedzialnego za przechowywanie logów.

Automatyczne śledzenie eksperymentów – rynek

Narzędzia automatyzujące śledzenie eksperymentów:

TensorBoard

MLFlow

Weights & Biases

Neptune

Logo TensorFlow.

$$ Logo Weights & Biases.

Logo Neptune.AI.

Czas na ćwiczenia!

W pełni zautomatyzowany MLOps