Typowe problemy z danymi

Wprowadzenie do kultury danych

Anneleen Rummens

Data Scientist

Brudne dane

  • Brudne dane są:

    • Niepoprawne
    • Niekompletne
    • Niespójne

  • Spowodowane błędem ludzkim, problemami technicznymi lub błędami w procesie zbierania danych

  • Zasada „złe dane, złe wyniki": brudne dane mogą prowadzić do błędnych wniosków

Brudna szyba

Wprowadzenie do kultury danych

Błędy w danych

  • Dane są niepoprawne lub niespójne
  • Zazwyczaj spowodowane błędem ludzkim lub technicznym przy zapisie wartości lub formatu
  • Techniki zapobiegania:
    • Jeśli znana jest prawidłowa wartość lub format: korekta danych
    • Jeśli nieznana: usunięcie danych

Puzzle z niepasującym elementem

Wprowadzenie do kultury danych

Brakujące dane

  • Dane są niekompletne
  • Problemowe, jeśli:
    • Brakuje wielu punktów danych
    • W brakujących danych występują wzorce
  • Techniki zapobiegania:
    • Usuwanie danych
    • Imputacja

Puzzle z brakującym elementem

Wprowadzenie do kultury danych

Stronniczość danych

  • Uprzedzenia społeczne mogą przejawiać się jako błędy w danych
  • Prowadzą do niereprezentatywnych danych i wyników
  • Trudne do wykrycia i usunięcia
  • Techniki zapobiegania:
    • Rzetelny proces zbierania danych
    • Świadomość przy formułowaniu wniosków
    • Wyjaśnialne modele AI

Szare puzzle z brakującymi białymi elementami

Wprowadzenie do kultury danych

Czyszczenie danych

  • Zbiór technik rozwiązywania problemów z danymi
  • Ważny etap przygotowania do każdej analizy danych
  • Nie wszystkie problemy z danymi są (w pełni) rozwiązywalne
  • Zawsze można przeprowadzić pewien rodzaj analizy

Ręka w rękawiczce z butelką ze spryskiwaczem

Wprowadzenie do kultury danych

Czas na ćwiczenia!

Wprowadzenie do kultury danych

Preparing Video For Download...