Dostupnost skutečných hodnot

Monitoring Machine Learning Concepts

Hakim Elakhrass

Co-founder and CEO of NannyML

Okamžité skutečné hodnoty

Obrázek taxíku vztahující se k předpovědi příjezdu taxíku.

  • Měří skutečný výkon

  • Snadné vyhodnocení

  • Přesné

Monitoring Machine Learning Concepts

Produkční data – okamžitá

Graf výkonu klasifikačního modelu, kde „referenční období" představuje testovací datovou sadu a „analytické období" proud produkčních dat. Součástí je také tabulková datová sada se zvýrazněnými skutečnými hodnotami.

Monitoring Machine Learning Concepts

Zpožděné skutečné hodnoty

Obrázek prázdné peněženky vztahující se k předpovědi nesplácení úvěru.

  • Zpoždění závisí na aplikaci
  • Příkladem může být předpověď nesplácení úvěru
  • Mezitím je výkon neznámý
  • Vyžaduje odhad výkonu
Monitoring Machine Learning Concepts

Produkční data – zpožděná

Graf výkonu klasifikačního modelu, kde „referenční období" představuje testovací datovou sadu a „analytické období" proud produkčních dat. Součástí je také tabulková datová sada se zvýrazněnými skutečnými hodnotami.

Monitoring Machine Learning Concepts

Chybějící skutečné hodnoty

Obrázek pojistné smlouvy vztahující se k případu oceňování pojištění.

  • Vyskytuje se v plně automatizovaných procesech
  • Příkladem může být oceňování pojištění
  • Skutečný výkon je neznámý
  • Vyžaduje odhad výkonu
Monitoring Machine Learning Concepts

Produkční data – chybějící

Graf výkonu klasifikačního modelu, kde „referenční období" představuje testovací datovou sadu a „analytické období" proud produkčních dat. Součástí je také tabulková datová sada se zvýrazněnými skutečnými hodnotami.

Monitoring Machine Learning Concepts

Pojďme procvičovat!

Monitoring Machine Learning Concepts

Preparing Video For Download...