Geautomatiseerde besluitvorming en profilering

Inzicht in de GDPR

Shalini Kurapati, CIPP/E

Co-founder and CEO, Clearbox AI

AI: Rechtmatigheid, fairness en transparantie

  • Rechtsgrond
  • Fairness en discriminatie — inferentie over personen
  • Transparantie
  • Bijzondere bepaling — artikel 22
Inzicht in de GDPR

Artikel 22

Illustratie van een geautomatiseerd proces

  • Verplichtingen rond fairness en non-discriminatie
  • Artikel 22 — geautomatiseerde individuele besluitvorming, incl. profilering
  • Recht op menselijke tussenkomst en uitleg
1 Beeldbron: flaticon.com
Inzicht in de GDPR

Profilering

Illustratie van iemands profiel.

  • Gedrag analyseren/voorspellen, grootschalige verwerking, met AI/machine learning
  • Gedrag en kenmerken herkennen en koppelen
  • Profielen maken en gedrag voorspellen op basis daarvan
  • Voorbeelden:
    • Behandelingssucces
    • Risico op recidive
1 Information Commissioner's Office
Inzicht in de GDPR

Ethische zorgen bij profilering

Schermafbeeldingen van nieuwswebsites over AI-bias op basis van gender, ras en prestatiescores.

  • Bias versterken of bestendigen
  • Ontwerp, data, en hun complexiteit/black box
  • Gender- en rassendiscriminatie
1 Beeldbron: bbc.com, propublica.com en techcrunch.com
Inzicht in de GDPR

Het bekende profileringsexample

Schermafbeelding van een kranteninfographic over het Cambridge Analytica-schandaal

  • 320.000 gebruikers deden een online persoonlijkheidstest voor ‘academisch onderzoek’
  • Persoonsgegevens van vrienden verzameld; tot 50 mln gebruikers zonder toestemming
  • Persoonlijk/politiek profileren, gerichte ads voor wie te overtuigen is
  • Ingezet bij veel verkiezingen in de VS, VK en wereldwijd
1 Beeldbron: The Guardian
Inzicht in de GDPR

Geautomatiseerde besluitvorming

Illustratie van een geautomatiseerd besluit waarbij de computer de uitkomst bepaalt.

  • Besluiten via geautomatiseerde middelen zonder menselijk ingrijpen
  • Kan met of zonder profilering
  • Elk type data: enquête, locatie, profilering
  • Voorbeeld: geautomatiseerde cv-screening
1 ARTICLE 29 WORKING PARTY Guidelines on Automated individual decision-making and Profiling for the purposes of Regulation 2016/679
Inzicht in de GDPR

Bankvoorbeeld

Illustratie van een bankmedewerker die niet kan uitleggen waarom een lening is goedgekeurd of afgewezen.

  • Geautomatiseerd hypotheekbesluit
  • AI geeft vaak ja/nee; behoefte aan uitleg en menselijke tussenkomst
  • Mechanismen om bias te voorkomen en AI-besluiten te corrigeren/verbeteren
Inzicht in de GDPR

Laten we oefenen!

Inzicht in de GDPR

Preparing Video For Download...