Dlaczego warto monitorować model

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Hakim Elakhrass

Co-founder and CEO of NannyML

Uczenie maszynowe w produkcji

Typowy proces tworzenia

Schemat przepływu składa się z czterech elementów: definiowania projektu, przygotowania danych, trenowania modelu i jego wdrożenia.

Po wdrożeniu

Zaktualizowany schemat procesu data science z dodanym etapem monitorowania po wdrożeniu. Strzałki łączą monitorowanie z wcześniejszymi etapami: przygotowaniem danych, trenowaniem modelu i wdrożeniem, umożliwiając iteracyjne ulepszenia.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Ograniczanie ryzyka awarii

Przypadek Zillow

Tablica „Na sprzedaż" przed domem.

Przyczyny awarii modelu:

  • Problemy z oprogramowaniem
  • Dryft danych wejściowych
  • Zmiany relacji między cechami a zmiennymi docelowymi
Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Maksymalizacja wpływu biznesowego

 

  • Optymalizacja modelu pod kątem celów biznesowych

 

  • Redukcja kosztów chmurowych

 

Obraz przedstawia piramidę z sześciu drewnianych bloków. Podstawa zawiera wskaźniki KPI, a kolejne warstwy symbolizują wzrost, osiąganie celów i zwiększenie efektywności.

Obraz przedstawia logo chmury złożone z dziewięciu drewnianych bloków.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Poprawa bezpieczeństwa AI

Trzy problemy bezpieczeństwa:

  • Stronniczość – sprawiedliwe wyniki dla różnych grup użytkowników

 

  • Ataki adversarialne – wykrywanie złośliwej manipulacji danymi wejściowymi

 

  • Brak wyjaśnialności – zrozumienie sposobu podejmowania decyzji przez model

 

Obraz przedstawia drewniany blok z wagą, symbolizujący większą sprawiedliwość w systemie i redukcję stronniczości.

Obraz przedstawia drewniany blok z kłódką, symbolizujący zwiększone bezpieczeństwo.

Obraz przedstawia drewniany blok z liniami wychodzącymi z głowy, symbolizujący lepsze rozumienie systemu inteligentnego.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Zmienianie świata za pomocą danych

Proces automatyzacji

Obraz przedstawia zautomatyzowaną linię produkcyjną.

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Czas na ćwiczenia!

Monitorowanie modeli uczenia maszynowego – podstawowe koncepcje

Preparing Video For Download...