Bazy danych i kontrola jakości

Odczarowanie nauki o decyzjach

Howard Friedman

Adjunct Professor at Columbia University

Selekcja źródeł danych

Nie wszystkie dane są równie użyteczne

  • Niektóre zestawy danych wymagają intensywnego czyszczenia lub brakuje im istotnych cech
  • Inne mogą nie być warte poświęconego czasu

 

Selekcja danych pomaga ustalić priorytety

  • Oceń, czy zestaw danych nadaje się do użycia, zanim zainwestujesz czas i zasoby

Zacznij od dostępności

  • Czy dane są łatwo dostępne, czy wymagają opłaty
  • Czy istnieją bariery związane z uprawnieniami lub bezpieczeństwem
  • Wyjaśnienie tych kwestii na wczesnym etapie pozwala uniknąć straty czasu

triage.png

Odczarowanie nauki o decyzjach

Kluczowe kontrole

Koszty

  • Czy obowiązują opłaty licencyjne lub za dostęp
  • Czy konieczne jest płacenie za przechowywanie lub specjalistyczne narzędzia

Przydatność

  • Czy zestaw danych zawiera to, czego potrzebujesz do analizy
  • Sprawdź zakres, szczegółowość, kompletność i trafność cech

Częstotliwość aktualizacji

  • Prognozy w czasie rzeczywistym wymagają danych aktualizowanych na bieżąco
  • Niezgodne cykle aktualizacji mogą uniemożliwić wykorzystanie danych

Rozdzielczość geograficzna

  • Czy dane odpowiadają poziomowi przestrzennemu wymaganemu w analizie
  • Dane krajowe nie wystarczą, gdy potrzebna jest szczegółowość na poziomie kodu pocztowego
Odczarowanie nauki o decyzjach

Kontrola jakości danych

Jakość danych ma znaczenie

  • Złe dane mogą zepsuć modele i prowadzić do błędnych decyzji
  • Zasada „garbage in, garbage out" to realne ryzyko w data science

GIGO.png

Brakujące wartości

  • Odsetek brakujących wartości w każdej kolumnie
  • Wzorce sugerujące głębsze problemy z gromadzeniem danych

Podstawowe kontrole zakresu

  • Czy w danych występują wartości niezgodne z kontekstem
  • Przykłady: wiek = 450 lub cena = -10 zł
  • Kontrole pozwalają wcześnie wykryć poważne problemy
Odczarowanie nauki o decyzjach

Dodatkowe kontrole

Analiza wartości odstających

  • Użyj histogramów lub wykresów pudełkowych do wizualizacji
  • Przed wykluczeniem danych skonsultuj się z interesariuszami

Ocena aktualności

  • Sprawdź, czy dane są wystarczająco aktualne
  • Szybko zmieniające się konteksty wymagają częstych aktualizacji

Spójność formatowania

  • Szukaj niespójnych formatów dat, błędów pisowni lub niezgodności nazw kolumn
  • Oczyść i ustandaryzuj dane, aby uniknąć problemów podczas analizy

QA.png

Odczarowanie nauki o decyzjach

Czas na ćwiczenia!

Odczarowanie nauki o decyzjach

Preparing Video For Download...