Dostępność danych referencyjnych

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Natychmiastowe dane referencyjne

Obraz taksówki ilustrujący przewidywanie czasu przyjazdu.

Mierzy rzeczywistą wydajność
Łatwa ewaluacja
Dokładne

Dane produkcyjne – natychmiastowe

Wykres wydajności dla problemu klasyfikacji: „okres referencyjny" to zbiór testowy, „okres analizy" to strumień danych produkcyjnych. Widoczny jest również tabelaryczny zbiór danych z wyróżnionymi wartościami referencyjnymi.

Opóźnione dane referencyjne

Obraz pustego portfela ilustrujący przewidywanie niespłacenia kredytu.

Opóźnienie zależy od zastosowania
Przykładowy scenariusz: przewidywanie niespłacenia kredytu
Wydajność w tym czasie jest nieznana
Wymaga estymacji wydajności

Dane produkcyjne – opóźnione

Brak danych referencyjnych

Obraz polisy ubezpieczeniowej ilustrujący przypadek wyceny ubezpieczeń.

Obecne w pełni zautomatyzowanych procesach
Przykładowy scenariusz: wycena ubezpieczeń
Rzeczywista wydajność jest nieznana
Wymaga estymacji wydajności

Dane produkcyjne – brak

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje