Vytvoření datového kontextu

Úvod do kvality dat s Great Expectations

Davina Moossazadeh

Data Scientist

Co je kvalita dat?

Vhodnost datové sady pro zamýšlený účel

Úplnost
Přesnost
Platnost
Jedinečnost
Aktuálnost
Integrita
Konzistence
atd.

Bodový graf zobrazující shluk hodnot a odlehlou hodnotu,

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

Proč je kvalita dat důležitá?

Vstupující odpad.

Skvělý model přijímající odpad jako vstup.

Vystupující odpad.

Model může být pouze tak dobrý jako data, která do něj vstupují!

Co je Great Expectations?

Logo Great Expectations.

Great Expectations (GX) – platforma pro správu kvality dat

GX Cloud – webové uživatelské rozhraní
GX Core – balíček pro Python

Očekávání

Očekávání – ověřitelné tvrzení o datech

Tvar datové sady
Hodnoty null
Duplicity
Množiny/rozsahy hodnot
Formátování řetězců
Distribuce dat
Problémy s kvalitou dat
atd.

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

Datové kontexty

Datový kontext – hlavní vstupní bod nasazení GX

Konfigurace a metody pro všechny komponenty GX
- Zdroje dat
- Sady očekávání
- Checkpointy
- Data Docs
- Výsledky validace
- Metriky

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

Import GX

Importujte Great Expectations s aliasem gx:

import great_expectations as gx

Vytvoření datového kontextu

Pomocí get_context() vytvořte datový kontext:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

Pojďme si procvičit!

Úvod do kvality dat s Great Expectations