Datavalidering

Ansvarsfull AI-datahantering

Maria Prokofieva

Lead ML engineer

Det här tar vi upp

  • Datavalidering
  • Ansvarsfulla dimensioner
  • AI-finansrådgivare

validation

Ansvarsfull AI-datahantering

Datavalidering

  • Mer detaljerad metod
  • Kontrollera datats tekniska integritet
  • Kontrollera rättvisa

data validation

Ansvarsfull AI-datahantering

Teknisk integritet

  • Fullständiga data
  • Inga dubbletter, fel eller inaktuella data
  • Juridiskt korrekt
  • Kontroller för noggrannhet, konsistens, fullständighet och aktualitet

Responsible data dimensions

Ansvarsfull AI-datahantering

Finansrådgivare: teknisk integritet

  • Avvikelser och anomalier i data
  • Felaktigt tilldelade fält
  • Identifiera och korrigera tidigt

incorrect categories example

Ansvarsfull AI-datahantering

Finansrådgivare: teknisk integritet

  • Anomalier i insamlingsperioder och -metoder
  • Regionala ekonomiska skillnader
  • Inte optimerad för alla användargrupper

anomalies in data collection methods

Ansvarsfull AI-datahantering

Rättvisebedömning

  • Lika möjligheter
  • Disparat utfall
  • Demografisk paritet
  • Tillämpas i alla projektfaser

 

Finansrådgivare:

  • Alla individer får relevant och värdefull rådgivning
  • Enhetliga rekommendationer för alla demografiska grupper
  • Ingen grupp påverkas oproportionerligt
Ansvarsfull AI-datahantering

Metoder för datavalidering

  • Identifiera nyckelvariabler
  • Analysera datafördelning
  • Rensa data och tillämpa statistiska tester
  • Balansera data
  • Kontrollera rättvisemått
  • Testa modeller med varierade datamängder
Ansvarsfull AI-datahantering

Finansrådgivare

advisor logo

  • Ta bort outliers och imputera saknade värden
  • Validera med deskriptiv statistik före och efter
  • Översampling för låginkomstgruppen
  • Kontrollera modellprestanda och rättvisemått
  • Korsvalidering med stratifiering
  • Testa på "osedd" data
Ansvarsfull AI-datahantering

Nu kör vi en övning!

Ansvarsfull AI-datahantering

Preparing Video For Download...