Czyszczenie danych

Koncepcje hurtowni danych

Aaren Stubberfield

Data Scientist

Program lekcji

  • Standaryzacja formatu danych
  • Parsowanie adresów
  • Walidacja danych
  • Deduplikacja
Koncepcje hurtowni danych

Czyszczenie formatu danych

  • Aktualizacja wartości do oczekiwanego formatu
    • Daty
    • Nazwy opcji
    • Wielkość liter
  • Zapewnia spójność danych wyjściowych

Przykład: dane taksówkowe

Dwie tabele połączone w jedną

Koncepcje hurtowni danych

Parsowanie adresów

  • Podział adresu ulicy na składowe
  • Możliwość walidacji adresów za pomocą narzędzi
Adres
1234 S Normal St, Cleveland, OH 44102
Adres Miasto Stan Kod pocztowy
1234 S Normal St Cleveland OH 44102
Koncepcje hurtowni danych

Walidacja danych

  • Sprawdzenie zakresu
    • Czy wartość mieści się w oczekiwanym zakresie?
    • Przykład: wiek osoby
  • Sprawdzenie typu
    • Czy wartość ma właściwy typ danych?
    • Przykład: wiek jako ciąg znaków lub liczba

Tabela z kolumną Wiek, w której pierwszy wiersz zawiera wartość 300 oznaczoną jako nieprawidłową.

Tabela z trzema kolumnami, gdzie kolumna Wiek ma typ danych string, oznaczony jako nieprawidłowy.

Koncepcje hurtowni danych

Eliminacja duplikatów

  • Ten proces usuwa zduplikowane wpisy

Dwie tabele z dwiema kolumnami do połączenia

Połączona tabela bez zduplikowanego wiersza

Koncepcje hurtowni danych

Zarządzanie danymi

Ilustracja zgodności z przepisami

Koncepcje hurtowni danych

Czas na ćwiczenia!

Koncepcje hurtowni danych

Preparing Video For Download...