Dataintegratie

Verantwoord AI-gegevensbeheer

Maria Prokofieva

Lead ML engineer

Wat behandelen we

• Waarom integratie nodig is
• De voordelen en de valkuilen
• Stappen voor dataintegratie

Waarom meerdere bronnen?

• Compleet, gedetailleerd beeld
• Veiligheidsnet
• Datadiversiteit en eerlijkheid
• Verklaarbaarheid, transparantie en verantwoordelijkheid

Let op valkuilen

• Kwaliteit kan dalen
• Inconsistenties ontstaan
• Bias kan toenemen
• Minder representatie
• Complexer model
• Minder transparant en verklaarbaar

¹ Afbeelding door Streamline HQ

Stap 1. Selectie van databronnen

• Volg de evaluatiestappen
• Beoordeel de databronnen
• Meer gebalanceerde, complete dataset

Stap 2. Datatypen uitlijnen

• Bepaal gemeenschappelijke variabelen
• Standaardiseer namen en formats
• Normaliseer numerieke data
• Consolideer categorische data
• Stem datagranulariteit af

Stap 3. Bias en representatie verbeteren

• Weging
  • Domeinkennis
  • Weeg onder- of overgerepresenteerde groepen
• Balanceren
  • Gelijke vertegenwoordiging
  • Over- of onderbemonstering
• Algorithmische checks
• Gap-analyse

Stap 4. Documenteer

• Gedetailleerde logs:
  • Stappen in dataintegratie
  • Gemaakte keuzes
• Gedetailleerde metadata:
  • Databronnen
  • Verzamelmethode
  • Toegepaste transformatie

Project stedelijke verkeersstromen

• Kies databronnen
• Bepaal gemeenschappelijke kenmerken
• Ontwikkel een Unified Data Model

¹ Afbeeldingen door Streamline HQ

Project stedelijke verkeersstromen

• Gebruik statistische technieken voor bias en representatie
• Pas weegcorrecties toe
• Gap-analyse en herweging
• Documenteer

Laten we oefenen!

Verantwoord AI-gegevensbeheer