Bir Veri Bağlamı (Data Context) Oluşturun

Great Expectations ile Veri Kalitesine Giriş

Davina Moossazadeh

Data Scientist

Veri kalitesi nedir?

Bir veri kümesinin amaca uygunluğu

Tamlık
Doğruluk
Geçerlilik
Benzersizlik
Zamanlılık
Bütünlük
Tutarlılık
vb.

Bir saçılım grafiğinde bir değer kümesi ve bir aykırı değer görülüyor,

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

Veri kalitesi neden önemlidir?

Çöp içeri giriyor.

Harika bir model, girdisi olarak çöp alıyor.

Çöp dışarı çıkıyor.

Bir model, yalnızca aldığı veri kadar iyidir!

Great Expectations nedir?

Great Expectations logosu.

Great Expectations (GX) - Veri kalitesi yönetim platformu

GX Cloud - web tabanlı arayüz
GX Core - Python paketi

Expectations

Expectation - Veriye dair doğrulanabilir ifade

Veri kümesi şekli
Boş değerler
Yinelemeler
Değer kümeleri/aralıkları
Dize biçimi
Veri dağılımları
Veri kalitesi sorunları
vb.

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

Data Context'ler

Data Context - Bir GX kurulumunun ana giriş noktası

Tüm GX bileşenleri için yapılandırmalar ve yöntemler
- Veri Kaynakları
- Expectation Suite'leri
- Checkpoint'ler
- Data Docs
- Doğrulama Sonuçları
- Metrikler

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

GX'i içe aktarma

Great Expectations'ı gx takma adıyla içe aktarın:

import great_expectations as gx

Bir Data Context Oluşturma

Data Context oluşturmak için get_context() kullanın:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

Hadi pratik yapalım!

Great Expectations ile Veri Kalitesine Giriş