डेटा से कनेक्ट करें

Great Expectations के साथ Data Quality परिचय

Davina Moossazadeh

Data Scientist

कॉम्पोनेंट्स

GX components - Python क्लासेज़ जो डेटा और डेटा वैलिडेशन एंटिटीज़ को दर्शाती हैं

  • Data Context ✅
  • Data Sources और Data Assets (✔)
  • Batch Definitions और Batches ☐
  • Expectations ☐
  • Expectation Suites ☐
  • Validation Definitions ☐
  • Checkpoints और Actions ☐
  • Data Docs ☐
1 https://docs.greatexpectations.io/docs/core/introduction/gx_overview
Great Expectations के साथ Data Quality परिचय

Data Sources

Data Source - एक ऑब्जेक्ट जो GX को किसी बाहरी डेटा स्रोत से कनेक्ट करना सिखाता है

SQL लोगो.

Spark लोगो.

Pandas लोगो.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Great Expectations के साथ Data Quality परिचय

Data Sources

Data Source - एक ऑब्जेक्ट जो GX को किसी बाहरी डेटा स्रोत से कनेक्ट करना सिखाता है

SQL लोगो.

Spark लोगो.

Pandas लोगो — इसके चारों ओर बॉक्स से पहचाना गया.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Great Expectations के साथ Data Quality परिचय

Data Source बनाना

.data_sources एट्रिब्यूट से Data Sources मैनेज करें, .add_pandas() मेथड उपयोग करें:

data_source = context.data_sources.add_pandas(

name="my_pandas_datasource" )

नोट: GX में name पैरामीटर Python वैरिएबल नाम से अलग होता है

  • आप अलग मान दे सकते हैं, जैसे "my_pandas_datasource" बनाम data_source
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Great Expectations के साथ Data Quality परिचय

Data Assets

Data Asset - किसी Data Source के भीतर रिकॉर्ड्स का संग्रह

data_asset = data_source.add_dataframe_asset(

name="my_dataframe_asset" )
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Great Expectations के साथ Data Quality परिचय

चीट शीट

Data Context से Data Source बनाएँ:

data_source = context.data_sources.add_pandas(
    name: str
)

Data Source से Data Asset बनाएँ:

data_asset = data_source.add_dataframe_asset(
    name: str
)
Great Expectations के साथ Data Quality परिचय

अभ्यास करते हैं!

Great Expectations के साथ Data Quality परिचय

Preparing Video For Download...