Tworzenie Data Context

Wprowadzenie do jakości danych z Great Expectations

Davina Moossazadeh

Data Scientist

Czym jest jakość danych?

Stopień, w jakim zbiór danych nadaje się do zamierzonego celu

Kompletność
Dokładność
Poprawność
Unikalność
Aktualność
Integralność
Spójność
itd.

Wykres rozrzutu przedstawiający skupisko wartości i wartość odstającą,

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

Dlaczego jakość danych jest ważna?

Wchodzące śmieci.

Zaawansowany model otrzymujący śmieci jako dane wejściowe.

Wychodzące śmieci.

Model jest tylko tak dobry, jak dane, które do niego trafiają!

Czym jest Great Expectations?

Logo Great Expectations.

Great Expectations (GX) - Platforma do zarządzania jakością danych

GX Cloud - interfejs webowy
GX Core - pakiet Pythona

Oczekiwania

Expectation - Weryfikowalne twierdzenie o danych

Kształt zbioru danych
Wartości null
Duplikaty
Zbiory/zakresy wartości
Format ciągów znaków
Rozkłady danych
Problemy z jakością danych
itd.

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

Data Contexts

Data Context - Główny punkt wejścia wdrożenia GX

Konfiguracje i metody wszystkich komponentów GX
- Źródła danych
- Zestawy oczekiwań
- Checkpointy
- Data Docs
- Wyniki walidacji
- Metryki

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

Importowanie GX

Importuj Great Expectations z aliasem gx:

import great_expectations as gx

Tworzenie Data Context

Użyj get_context(), aby utworzyć Data Context:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

Czas na ćwiczenia!

Wprowadzenie do jakości danych z Great Expectations