डेटा को बैच में पढ़ें

Great Expectations के साथ Data Quality परिचय

Davina Moossazadeh

Data Scientist

Kaggle Weather Data

एक pandas DataFrame जिसमें Kaggle Weather Data है, और कॉलम: "Location", "Date_Time", "Temperature_C", "Humidity_pct", "Precipitation_mm", और "Wind_Speed_kmh". DataFrame में 87,118 पंक्तियाँ हैं.

बैच डेफिनिशन

बैच डेफिनिशन - यह सेटिंग बताती है कि किसी Data Asset को टेस्टिंग के लिए कैसे बाँटा जाए

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

बैच

बैच - रिकॉर्ड्स का समूह जिस पर validations चलाए जा सकते हैं

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

बैच

Batch ऑब्जेक्ट

हम .head() वैसे ही इस्तेमाल कर सकते हैं जैसे pandas में:

print(batch.head())

Screenshot 2024-07-16 at 11.49.00.png

¹ Table adapted from https://www.kaggle.com/datasets/prasad22/weather-data

Batch ऑब्जेक्ट

print(batch.head(fetch_all=True))

Screenshot 2024-07-22 at 14.02.00.png

Batch ऑब्जेक्ट

.columns() सभी DataFrame कॉलम दिखाता है (ध्यान दें ())

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

चीट शीट

Data Asset से Batch Definition बनाएँ:

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

Batch Definition से Batch बनाएँ:

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

Batch DataFrame की पंक्तियाँ लें:

batch.head(fetch_all: bool)

Batch DataFrame के कॉलम नाम लें:

batch.columns()

अभ्यास करते हैं!

Great Expectations के साथ Data Quality परिचय