Veelvoorkomende dataproblemen

Introductie tot datageletterdheid

Anneleen Rummens

Data Scientist

Vuile data

  • Vuile data is:

    • Onjuiste
    • Onvolledige
    • Inconsistente

  • Veroorzaakt door menselijke fout, technische issues of problemen in het verzamelproces

  • Garbage in, garbage out: vuile data leidt tot verkeerde conclusies

Vuil raam

Introductie tot datageletterdheid

Datafouten

  • Data is onjuist of inconsistent
  • Vaak door menselijke of technische fout bij het vastleggen van waarde of formaat
  • Aanpakken met:
    • Als oorspronkelijke waarde of geldig formaat bekend is: corrigeer data
    • Zo niet: verwijder data

Puzzel met verkeerd stukje

Introductie tot datageletterdheid

Ontbrekende data

  • Data is onvolledig
  • Problematisch als:
    • Veel datapunten ontbreken
    • Er patronen zitten in de ontbrekende data
  • Aanpakken met:
    • Data verwijderen
    • Imputatie

Puzzel met ontbrekend stukje

Introductie tot datageletterdheid

Databias

  • Maatschappelijke bias kan in data terugkomen als databias
  • Leidt tot niet-representatieve data en dus resultaten
  • Moeilijk te detecteren en op te lossen
  • Aanpakken met:
    • Degelijk verzamelproces
    • Bewustzijn in conclusies
    • Explainable AI-modellen

Grijze puzzel met witte stukken weggelaten

Introductie tot datageletterdheid

Data opschonen

  • Verzameling technieken om dataproblemen aan te pakken
  • Belangrijke voorbereiding voor elke data-analyse
  • Niet elk dataprobleem is (volledig) oplosbaar
  • Je kunt altijd wel een vorm van analyse doen

Hand met handschoen en spuitfles

Introductie tot datageletterdheid

Laten we oefenen!

Introductie tot datageletterdheid

Preparing Video For Download...