Czym jest NannyML?

Monitorowanie uczenia maszynowego w Pythonie

Hakim Elakhrass

Co-founder and CEO of NannyML

Wymagania wstępne

Wymagana wiedza z zakresu monitorowania ML:
- Idealny przepływ pracy w monitorowaniu
- Wyzwania monitorowania modeli ML w produkcji
- Dwa ciche błędy modeli: przesunięcie kowariancji i dryfowanie konceptu
- Sześć metod wykrywania przesunięcia kowariancji
- Podstawy teoretyczne metod estymacji CBPE i DLE

Co obejmuje ten kurs?

Budowa solidnego systemu monitorowania z NannyML
Implementacja algorytmów estymacji wydajności
Użycie kalkulatora biznesowego do określenia wartości pieniężnej modelu ML
Uruchamianie jedno- i wielowymiarowych metod wykrywania przesunięcia kowariancji

Wyzwania monitorowania

Brak dostępu do danych ground truth

Wykres przedstawia metrykę ROC AUC w czasie; po wdrożeniu wykres jest pusty z powodu braku danych ground truth.

Zmęczenie alertami

Obraz pokazuje zmiany rozkładu danych w czasie; niektóre zaznaczone na czerwono sygnalizują przesunięcie, z komentarzami: czy to powód do niepokoju, czy fałszywy alarm?

Rozwiązanie open-source

Obraz przedstawia logo NannyML oraz firmy używające NannyML, takie jak Walmart, Allianz, UBS czy DeepMind. Pokazuje również, że NannyML działa z dowolnym frameworkiem.

Kluczowe funkcje

Monitoruj to, co ważne
- Estymacja i obliczanie wydajności
- Estymacja i obliczanie wartości biznesowej
Znajdź przyczynę problemu
- Jednowymiarowa
- Wielowymiarowa
- Jakość danych
Napraw to
- Wyzwalacze ponownego trenowania

Jak używać NannyML?

Obraz przedstawia dane testowe i produkcyjne trafiające do NannyML.

import nannyml

# Load the dataset
reference, analysis, analysis_gt = nannyml.load_us_census_ma_employment_data()

Czas na ćwiczenia!

Monitorowanie uczenia maszynowego w Pythonie