Hodnocení modelu

Generative AI Concepts

Daniel Tedesco

Data Lead, Google

Proč vlastně hodnotit?

Posouzení výkonu a efektivity modelu:

  • Měření pokroku
  • Důkladné srovnání modelů
  • Srovnání s lidským výkonem
Generative AI Concepts

Hodnocení generativních AI

Kvantitativní metriky

Čísla reprezentující kvantitativní metriky

  • Metriky hodnocení diskriminačních modelů
  • Metriky specifické pro generativní modely

Metriky zaměřené na člověka

Bubliny konverzace reprezentující metriky zaměřené na člověka

  • Srovnání s lidským výkonem
  • Inteligentní hodnocení
Generative AI Concepts

Techniky hodnocení diskriminačních modelů

Měření výkonu na jasně definovaných úlohách

Výhody:

  • Široce přijímané a srozumitelné
  • Snadno vypočitatelné a porovnatelné

Nevýhody:

  • Nezachycují subjektivní povahu generovaného obsahu

Terč se šipkami u středu.

Generative AI Concepts

Metriky specifické pro generativní modely

Přizpůsobené konkrétním generativním úlohám

Výhody:

  • Podrobná kritéria: realismus, diverzita a novost
  • Mnoho uznávaných metrik

Nevýhody:

  • Nezachycují mnoho subjektivních aspektů
  • Často se negeneralizují

Ilustrace krav.

Generative AI Concepts

Srovnání s lidským výkonem

 

Výhody:

  • Srovnání s lidskými schopnostmi
  • Demonstruje praktickou použitelnost

Nevýhody:

  • Nerovné srovnání

AI soutěží s člověkem.

Generative AI Concepts

AI s oceněními

Lidské soutěže

Oceněné umělecké dílo vytvořené AI s vítěznou modrou stuhou

Standardizované lidské testy

Graf výkonu GPT-4 v několika standardizovaných testech. Překonává většinu studentů v testech jako Uniform Bar Exam a GRE.

1 https://twitter.com/colostatefair/status/1565486317839863809, OpenAI
Generative AI Concepts

Zlatý standard

Inteligentní hodnocení lidmi nebo jinými AI

Výhody:

  • Zachycuje subjektivní aspekty

Nevýhody:

  • Pomalé, nákladné a obtížně standardizovatelné
  • Podléhá lidským předsudkům a nepravidelnostem
Generative AI Concepts

Turingův klasický test

 

  • Navrhl informatik Alan Turing
  • Lidský hodnotitel posuzuje obsah vygenerovaný AI
  • Úspěšný, pokud hodnotitel nerozezná AI od člověka
  • Lidské chování však není vždy správným standardem

Schéma Turingova testu s lidským hodnotitelem, obrazovkou s obsahem AI a obsahem vytvořeným člověkem.

Generative AI Concepts

Lass uns üben!

Generative AI Concepts

Preparing Video For Download...