एक Data Context बनाएँ

Great Expectations के साथ Data Quality परिचय

Davina Moossazadeh

Data Scientist

डेटा क्वालिटी क्या है?

किसी डेटासेट की अपने उद्देश्य के लिए उपयुक्तता

Completeness
Accuracy
Validity
Uniqueness
Timeliness
Integrity
Consistency
आदि

एक स्कैटर प्लॉट जिसमें मानों का एक क्लस्टर और एक आउटलाईयर दिख रहा है,

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

डेटा क्वालिटी क्यों महत्त्वपूर्ण है?

कचरा अंदर जा रहा है.

एक शानदार मॉडल जिसे इनपुट में कचरा मिल रहा है.

कचरा बाहर आ रहा है.

मॉडल उतना ही अच्छा होगा जितना अच्छा डेटा आप अंदर देंगे!

Great Expectations क्या है?

Great Expectations लोगो.

Great Expectations (GX) - डेटा क्वालिटी मैनेज करने का प्लेटफ़ॉर्म

GX Cloud - वेब-आधारित UI
GX Core - Python पैकेज

Expectations

Expectation - डेटा के बारे में सत्यापनीय कथन

डेटासेट का आकार/आकृति
Null मान
डुप्लिकेट्स
मानों के सेट/रेंज
स्ट्रिंग फ़ॉर्मैटिंग
डेटा डिस्ट्रीब्यूशंस
डेटा क्वालिटी इश्यूज़
आदि

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

Data Contexts

Data Context - GX डिप्लॉयमेंट का मुख्य एंट्री पॉइंट

सभी सपोर्टिंग GX कॉम्पोनेंट्स की कॉन्फ़िग्स और मेथड्स
- Data Sources
- Expectation Suites
- Checkpoints
- Data Docs
- Validation Results
- Metrics

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

GX इम्पोर्ट करना

gx उपनाम के साथ Great Expectations इम्पोर्ट करें:

import great_expectations as gx

Data Context बनाना

get_context() का उपयोग कर Data Context बनाएँ:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

अभ्यास करते हैं!

Great Expectations के साथ Data Quality परिचय