Begränsningar i datakällor

Ansvarsfull AI-datahantering

Maria Prokofieva

Lead ML Engineer

Datakällor och vanliga begränsningar

  • Juridisk efterlevnad
  • Bias
  • Metodik
  • Domänkunskapens roll
Ansvarsfull AI-datahantering

Juridiska och åtkomstbaserade begränsningar

  • Begränsad användning för vissa projekttyper
  • Ytterligare efterlevnadskrav
  • Oöverkomliga kostnader

 

Dataefterlevnad

1 Bild av Streamline HQ
Ansvarsfull AI-datahantering

Bias i datakällor

  • Systematiska fel
  • Snedvridna uppfattningar
  • Ojämna utfall
  • Missgynnar vissa grupper
Ansvarsfull AI-datahantering

Typer av bias

  • Historisk bias:
    • Irrelevanta mönster och utfall
  • Urvalsbias:
    • Val av vilka datapunkter som inkluderas
  • Samplingsbias
    • Metod som används för sampling

Biasvåg

1 Bild av Streamline HQ
Ansvarsfull AI-datahantering

Bias och ursprungsbaserade begränsningar

  • Begränsad datatäckning
  • Kulturella och geografiska begränsningar
  • Snävt omfång och inkludering

   

Grupp av människor

Ansvarsfull AI-datahantering

Bias och metodikbaserade begränsningar

  • Val av datainsamlingsmetoder
  • Samplingsstrategi

Flerfärgade händer med öppna handflator, lyfta uppåt

Ansvarsfull AI-datahantering

Domänkunskap

  • Begränsningar eller dolda biaser
  • Involvera domänexperter tidigt
  • Åtgärda begränsningar innan modellering
Ansvarsfull AI-datahantering

Projekt för stadstrafikflöde

Datakällor:

  • Trafikräkningsdata
  • Protokoll från kommunfullmäktige
  • GPS-spårningsdata

Projekt för stadstrafikflöde

1 Bilder av Streamline HQ
Ansvarsfull AI-datahantering

Projekt för stadstrafikflöde

Historisk trafikräkningsdata:

  • Historisk bias
  • Tidigare stadsplanering

Mötesprotokoll:

  • Urvalsbias
  • Oproportionerlig representation av vissa samhällsmedlemmar

trafikdata

1 Bilder av Streamline HQ
Ansvarsfull AI-datahantering

Projekt för stadstrafikflöde

GPS-spårningsdata:

  • Samplings- och urvalsbias
  • Representerar kanske inte alla pendlare

gps

1 Bild av Streamline HQ
Ansvarsfull AI-datahantering

Nu kör vi en övning!

Ansvarsfull AI-datahantering

Preparing Video For Download...