Czy wdrożony system AI jest skuteczny?

Wprowadzenie do sztucznej inteligencji

Maarten Van den Broeck

Senior Content Developer at DataCamp

Kiedy mierzyć sukces?

Cykl życia metodologii MLOps

Wprowadzenie do sztucznej inteligencji

Kiedy mierzyć sukces?

Mierzenie sukcesu w cyklu życia MLOps

Wprowadzenie do sztucznej inteligencji

Pomiar wydajności offline – dokładność

Dane treningowe i walidacyjne

Wprowadzenie do sztucznej inteligencji

Pomiar wydajności offline – dokładność

Trenowanie modelu

Wprowadzenie do sztucznej inteligencji

Pomiar wydajności offline – dokładność

Walidacja modelu na przykładach testowych

Wprowadzenie do sztucznej inteligencji

Pomiar wydajności offline – dokładność

Porównanie prognoz z rzeczywistymi etykietami

Wprowadzenie do sztucznej inteligencji

Pomiar wydajności offline – dokładność

Obliczanie dokładności

Wprowadzenie do sztucznej inteligencji

Poza dokładnością – błąd i inne metryki

Metryki błędu w modelach regresji

Metryki dla wyszukiwarek i systemów rekomendacji: jakość rankingu – trafność wyników dla użytkownika – różnorodność wyników itp.

Ranking rekomendowanych produktów

Wprowadzenie do sztucznej inteligencji

Mierzenie sukcesu w środowisku produkcyjnym

  • Degradacja modelu: mierzona wartość metryki pogarsza się z czasem

Degradacja modelu

  • Metryki biznesowe: kluczowe wskaźniki efektywności (KPI)
    • Wskaźnik wydajności i postępu w realizacji celów organizacji
Wprowadzenie do sztucznej inteligencji

Ryzyka: co może pójść nie tak?

Możliwe ryzyka:

  • Stronniczość danych
  • Brak przejrzystości
  • Kwestie etyczne
  • Wątpliwa niezawodność systemu
  • Podatność na cyberzagrożenia

Proof-of-Concept (PoC):

  • Demonstrator pilotażowy weryfikujący wykonalność i potencjalną wartość + wczesna identyfikacja ryzyka
Wprowadzenie do sztucznej inteligencji

Czas na ćwiczenia!

Wprowadzenie do sztucznej inteligencji

Preparing Video For Download...