Validace dat

Zodpovědná správa dat v AI

Maria Prokofieva

Lead ML engineer

Co probereme

  • Validace dat
  • Odpovědné dimenze
  • Finanční poradce AI

validace

Zodpovědná správa dat v AI

Validace dat

  • Podrobnější přístup
  • Kontrola technické integrity dat
  • Kontrola spravedlnosti

validace dat

Zodpovědná správa dat v AI

Technická integrita

  • Úplná data
  • Žádné duplicity, chyby ani zastaralá data
  • Právně v souladu
  • Kontrola přesnosti, konzistence, úplnosti a aktuálnosti

Odpovědné dimenze dat

Zodpovědná správa dat v AI

Finanční poradce: technická integrita

  • Nesrovnalosti a anomálie v datech
  • Nesprávně přiřazená pole
  • Odhalit a opravit včas

příklad nesprávných kategorií

Zodpovědná správa dat v AI

Finanční poradce: technická integrita

  • Anomálie v obdobích a metodách sběru dat
  • Regionální ekonomické rozdíly
  • Není optimalizováno pro všechny skupiny uživatelů

anomálie v metodách sběru dat

Zodpovědná správa dat v AI

Hodnocení spravedlnosti

  • Rovné příležitosti
  • Disparátní dopad
  • Demografická parita
  • Uplatňováno ve všech fázích projektu

 

Finanční poradce:

  • Všichni jednotlivci dostávají relevantní a přínosné rady
  • Jednotná doporučení napříč demografickými skupinami
  • Žádná skupina není nepřiměřeně znevýhodněna
Zodpovědná správa dat v AI

Přístupy k validaci dat

  • Identifikovat klíčové proměnné
  • Analyzovat distribuci dat
  • Vyčistit data a provést statistické testy
  • Vyvážit data
  • Zkontrolovat metriky spravedlnosti
  • Testovat modely s různorodými datovými sadami
Zodpovědná správa dat v AI

Finanční poradce

logo poradce

  • Odebrat odlehlé hodnoty a doplnit chybějící hodnoty
  • Ověřit popisnou statistikou před a po
  • Převzorkovat skupinu s nízkými příjmy
  • Zkontrolovat výkon modelu a metriky spravedlnosti
  • Křížová validace se stratifikací
  • Testovat na „neviděných" datech
Zodpovědná správa dat v AI

Pojďme si procvičit!

Zodpovědná správa dat v AI

Preparing Video For Download...