Profile danych

Wprowadzenie do jakości danych

Chrissy Bloom

Head of Enterprise Data Strategy & Governance

Czym jest profilowanie danych?

Profilowanie danych: Analiza statystyczna zbioru danych w celu lepszego zrozumienia danych i zależności między polami

Przykłady:

  • Ile rekordów zawiera zbiór danych?
  • Jakie są wartości minimalne i maksymalne danego elementu?
  • Ile rekordów ma wypełniony dany element?
  • Gdy kolumna A jest wypełniona, które inne kolumny też są wypełnione?

przykłady profilów danych: min, max, liczba wartości null

Wprowadzenie do jakości danych

Znaczenie profilowania danych

Profilowanie danych:

  • Potwierdza to, co już wiadomo
  • Ujawnia to, czego się nie wie
  • Identyfikuje problemy z jakością danych
  • Pomaga tworzyć lepsze reguły jakości danych

tabela danych z latarką skierowaną na nią

Wprowadzenie do jakości danych

Jak wygląda profil danych?

![tabela danych]

Wprowadzenie do jakości danych

Profil danych: ID klienta

przykłady profilów danych

Wprowadzenie do jakości danych

Profil danych: Imię i nazwisko klienta

przykłady profilów danych

Wprowadzenie do jakości danych

Profil danych: Data urodzenia klienta

przykłady profilów danych

Wprowadzenie do jakości danych

Profil danych: Typ konta klienta

przykłady profilów danych

Wprowadzenie do jakości danych

Profil danych w kontroli jakości danych

przykłady profilów danych

  • Wszystkie wartości CustomerID muszą składać się z 11 cyfr.
  • Wszystkie wartości CustomerFirstName muszą być ciągiem 1–20 znaków.
  • Wszystkie wartości CustomerLastName muszą być ciągiem 1–30 znaków.

przykłady profilów danych

  • Wszystkie wartości CustomerBirthDate muszą być w formacie MM/DD/RRRR i mieścić się w przedziale 01/01/1900–99/99/9999.
  • Wszystkie wartości CustomerAccountType muszą być: Loan, Deposit, Loan and Deposit lub Credit Card.
Wprowadzenie do jakości danych

Czas na ćwiczenia!

Wprowadzenie do jakości danych

Preparing Video For Download...