Zorgpunten en overwegingen rond data

Concepten van Large Language Models (LLM's)

Vidhi Chugh

AI strategist and ethicist

Data-overwegingen

 

Data-overwegingen

 

  • Datavolume en rekenkracht
  • Datakwaliteit
  • Labelen
  • Bias
  • Privacy
Concepten van Large Language Models (LLM's)

Datavolume en rekenkracht

  • LLM's hebben veel data nodig
    • Vergelijkbaar met een kind dat leert praten
    • 570 GB, ~1,3 miljoen boeken

 

Kind leert praten

1 Freepik
Concepten van Large Language Models (LLM's)

Datavolume en rekenkracht

  • LLM's hebben veel data nodig
    • Vergelijkbaar met een kind dat leert praten
    • 570 GB, ~1,3 miljoen boeken

 

  • Enorme rekenkracht; denk aan het energieverbruik

 

  • Kan miljoenen dollars kosten!

Man werkt op een computer aangesloten op grote server

Concepten van Large Language Models (LLM's)

Datakwaliteit

  • Kwalitatieve data is cruciaal

 

  • Nauwkeurige data = beter leren = betere antwoorden = meer vertrouwen

 

  • Een kind dat leert praten
    • Onzin erin -> onzin eruit

lage kwaliteit outputs als we LLM's trainen met data vol fouten of slechte grammatica

Concepten van Large Language Models (LLM's)

Gelabelde data

  • Juiste datalabel: nauwkeurig leren, patronen generaliseren, precieze antwoorden

  • Arbeidsintensief: elk artikel correct labelen

Team dat data labelt achter computers

  • Foute labels schaden de modelprestaties
  • Fouten aanpakken: vinden -> analyseren -> itereren
Concepten van Large Language Models (LLM's)

Databias

  • Beïnvloed door maatschappelijke stereotypen
  • Gebrek aan diversiteit in trainingsdata
  • Discriminatie en oneerlijke uitkomsten

 

  • Herken en pak bevooroordeelde data aan
    • Beoordeel databalans
    • Stimuleer diversiteit
    • Bias-mitigatie: meer diverse voorbeelden

Databias

  • Voorbeeld:

    • "The nurse said that..." -> "she" of "her"
Concepten van Large Language Models (LLM's)

Dataprivacy

  • Voldoen aan regels voor gegevensbescherming en privacy

 

  • Privacy is een aandachtspunt
    • Trainen op data zonder toestemming kan een inbreuk zijn
    • Juridische, financiële en reputatieschade
  • Gevoelige of tot personen herleidbare informatie (PII)

 

  • Vraag toestemming

Dataprivacy

Concepten van Large Language Models (LLM's)

Laten we oefenen!

Concepten van Large Language Models (LLM's)

Preparing Video For Download...