Je váš nasazený systém AI úspěšný?

Porozumění umělé inteligenci

Maarten Van den Broeck

Senior Content Developer at DataCamp

Kdy měřit úspěch?

Životní cyklus metodologie MLOps

Porozumění umělé inteligenci

Kdy měřit úspěch?

Měření úspěchu v průběhu životního cyklu MLOps

Porozumění umělé inteligenci

Měření výkonu offline – přesnost

Trénovací a validační data

Porozumění umělé inteligenci

Měření výkonu offline – přesnost

Trénování modelu

Porozumění umělé inteligenci

Měření výkonu offline – přesnost

Validace modelu na testovacích příkladech

Porozumění umělé inteligenci

Měření výkonu offline – přesnost

Porovnání předpovědí se skutečnými štítky

Porozumění umělé inteligenci

Měření výkonu offline – přesnost

Výpočet přesnosti

Porozumění umělé inteligenci

Nad rámec přesnosti – chyba a další metriky

Chybová metrika v regresních modelech

Metriky pro vyhledávání a doporučení: kvalita řazení – relevance výsledků pro uživatele –, rozmanitost výsledků vyhledávání nebo doporučení apod.

Řazení doporučených produktů

Porozumění umělé inteligenci

Měření úspěchu v produkci

  • Degradace modelu: naměřená hodnota metriky se v čase zhoršuje

Degradace modelu

  • Obchodní metriky: klíčové ukazatele výkonnosti (KPI)
    • Ukazatel výkonnosti a plnění cílů organizace
Porozumění umělé inteligenci

Rizika: co by mohlo selhat?

Možná rizika zahrnují:

  • Datová zaujatost
  • Nedostatek transparentnosti
  • Etické otázky
  • Pochybná spolehlivost systému
  • Zranitelnost vůči kybernetickým hrozbám

Proof-of-Concept (PoC):

  • Pilotní demonstrátor k ověření proveditelnosti a potenciální hodnoty + včasná identifikace rizik
Porozumění umělé inteligenci

Pojďme si procvičit!

Porozumění umělé inteligenci

Preparing Video For Download...