Czym jest czyszczenie i przygotowanie danych?

Przygotowanie danych w Alteryx

Deanna Sanchez

Alteryx ACE and Owner, Nova Geographica LLC

Dlaczego czyste dane są ważne?

GIGO: „Śmieci na wejściu, śmieci na wyjściu"

  • Czyszczenie i przygotowanie danych pozwala:
    • Unikać błędów i zapobiegać pomyłkom
    • Standaryzować dane i formaty
    • Zwiększać produktywność
    • Szybciej uzyskiwać wnioski

Ilustracja przedstawiająca śmieci wchodzące i wychodzące z bazy danych

Przygotowanie danych w Alteryx

Czyszczenie danych jest jak...

Przegląd samochodu – Optymalizacja auta dzięki czystym komponentom i świeżym płynom poprawia jego działanie.

 

Mechanik wykonujący przegląd samochodu

Przygotowanie danych w Alteryx

Przykłady brudnych danych

  • Brakujące lub niekompletne dane

Tabela danych z zaznaczonymi brakującymi komórkami

Przygotowanie danych w Alteryx

Przykłady brudnych danych

  • Brakujące lub niekompletne dane
  • Niestandardowe lub niespójne dane

Tabela danych z zaznaczonymi niespójnymi danymi, np. wielkimi i małymi literami

Przygotowanie danych w Alteryx

Przykłady brudnych danych

  • Brakujące lub niekompletne dane
  • Niestandardowe lub niespójne dane
  • Błędy wprowadzania danych

Tabela danych z zaznaczonymi błędami wprowadzania, np. zbyt dużą liczbą cyfr

Przygotowanie danych w Alteryx

Przykłady brudnych danych

  • Brakujące lub niekompletne dane
  • Niestandardowe lub niespójne dane
  • Błędy wprowadzania danych
  • Wiodące/końcowe spacje oraz zbędne znaki i interpunkcja

Tabela danych z zaznaczoną zbędną interpunkcją, np. znakami dolara w danych numerycznych

Przygotowanie danych w Alteryx

Techniki czyszczenia danych

Zarządzanie brakującymi danymi

  • Oznacz brakujące dane przez imputację wartości, np.:
    • Zamień wartości null na puste dla typów tekstowych
    • Imputuj wartości null jako 0 dla typów numerycznych
  • Filtruj brakujące dane ze strumienia danych

Analitycy czyszczący pliki danych z lupą i miotłą

Przygotowanie danych w Alteryx

Techniki czyszczenia danych

Standaryzacja danych

  • Zapewnij poprawne formatowanie
    • Dodaj $ do wartości walutowych
    • 000123456
  • Sprawdź konwencje nazw pól i plików
    • "filename_01012004.csv"
  • Modyfikuj wielkość liter w polu
    • LOCATION
  • Modyfikuj typy danych

Analityk porządkujący dane w folderach

Przygotowanie danych w Alteryx

Techniki czyszczenia danych

Usuwanie zbędnych elementów

  • Wiodące/końcowe spacje
  • Tabulatory i znaki nowej linii
  • Niepotrzebne wiersze lub kolumny
  • Zbędna interpunkcja, litery i cyfry

Pracownicy budowlani czyszczący pliki danych

Przygotowanie danych w Alteryx

Profil z kodowaniem kolorami

Kodowanie kolorami w oknie Wyniki i Profilu ułatwia stosowanie technik czyszczenia danych.

  • Zielony = OK

Profil koloru OK

Przygotowanie danych w Alteryx

Profil z kodowaniem kolorami

Kodowanie kolorami w oknie Wyniki i Profilu ułatwia stosowanie technik czyszczenia danych.

  • Zielony = OK
  • Biały = Unikatowy

Profile kolorów OK i Unikatowy

Przygotowanie danych w Alteryx

Profil z kodowaniem kolorami

Kodowanie kolorami w oknie Wyniki i Profilu ułatwia stosowanie technik czyszczenia danych.

  • Zielony = OK
  • Biały = Unikatowy
  • Żółty = Null

Profile kolorów OK, Unikatowy i Null

Przygotowanie danych w Alteryx

Profil z kodowaniem kolorami

Kodowanie kolorami w oknie Wyniki i Profilu ułatwia stosowanie technik czyszczenia danych.

  • Zielony = OK
  • Biały = Unikatowy
  • Żółty = Null
  • Czerwony = Nieprawidłowy (np. końcowa spacja)

Profile kolorów OK, Unikatowy, Null i Nieprawidłowy

Przygotowanie danych w Alteryx

Profil z kodowaniem kolorami

Kodowanie kolorami w oknie Wyniki i Profilu ułatwia stosowanie technik czyszczenia danych.

  • Zielony = OK
  • Biały = Unikatowy
  • Żółty = Null
  • Czerwony = Nieprawidłowy (np. końcowa spacja)
  • Szary = Pusty

Wszystkie profile kolorów

Przygotowanie danych w Alteryx

Typy danych w Alteryx

Tabela z wyświetlonym typem danych Boolean

  • Ważna jest znajomość różnych typów danych
    • Jak i kiedy ich używać
  • Pięć głównych kategorii danych
    • Boolean – formaty binarne
Przygotowanie danych w Alteryx

Typy danych w Alteryx

Tabela z wyświetlonymi typami Boolean i Numeric

  • Ważna jest znajomość różnych typów danych
    • Jak i kiedy ich używać
  • Pięć głównych kategorii danych
    • Boolean – formaty binarne
    • Numeric – dane liczbowe, w tym Double
Przygotowanie danych w Alteryx

Typy danych w Alteryx

Tabela z wyświetlonymi typami Boolean, Numeric i String

  • Ważna jest znajomość różnych typów danych
    • Jak i kiedy ich używać
  • Pięć głównych kategorii danych
    • Boolean – formaty binarne
    • Numeric – dane liczbowe, w tym Double
    • String – dane tekstowe
1 String – obejmuje typy od String do V_W String.
Przygotowanie danych w Alteryx

Typy danych w Alteryx

Tabela z czterema typami danych: Boolean, Numeric, String i DateTime

  • Ważna jest znajomość różnych typów danych
    • Jak i kiedy ich używać
  • Pięć głównych kategorii danych
    • Boolean – formaty binarne
    • Numeric – dane liczbowe, w tym Double
    • String – dane tekstowe
    • DateTime – dane dotyczące dat i czasu
Przygotowanie danych w Alteryx

Typy danych w Alteryx

Tabela ze wszystkimi pięcioma głównymi typami danych

  • Ważna jest znajomość różnych typów danych
    • Jak i kiedy ich używać
  • Pięć głównych kategorii danych
    • Boolean – formaty binarne
    • Numeric – dane liczbowe, w tym Double
    • String – dane tekstowe
    • DateTime – dane dotyczące dat i czasu
    • Spatial – obiekty i punkty przestrzenne
Przygotowanie danych w Alteryx

Szczegóły zestawu danych

  • Ćwiczenia praktyczne w Alteryx:
    • Sprzedaż nieruchomości w Nowym Jorku
    • Jeden zestaw danych do wszystkich ćwiczeń
    • Analiza najwyższych wartości sprzedaży

Panorama Nowego Jorku

Przygotowanie danych w Alteryx

Czas na ćwiczenia!

Przygotowanie danych w Alteryx

Preparing Video For Download...