バッチでデータを読む

Great Expectationsで始めるデータ品質入門

Davina Moossazadeh

Data Scientist

Kaggle 天気データ

Kaggle の天気データを含む pandas DataFrame。列は「Location」「Date_Time」「Temperature_C」「Humidity_pct」「Precipitation_mm」「Wind_Speed_kmh」。行数は 87,118。

「Batch 定義」— データ資産を検証用にどのように分割するかの設定

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

「Batch」— 検証を実行できるレコードの集合

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

その他のデータソース.jpg

pandas のデータソース.jpg

pandas と同様に .head() を使えます:

print(batch.head())

スクリーンショット 2024-07-16 11.49.00.png

¹ 表は https://www.kaggle.com/datasets/prasad22/weather-data を基に作成

print(batch.head(fetch_all=True))

スクリーンショット 2024-07-22 14.02.00.png

.columns() はすべての DataFrame 列を表示します（() に注意）

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

データ資産から Batch 定義を作成:

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

Batch 定義から Batch を作成:

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

Batch の DataFrame 行を取得:

batch.head(fetch_all: bool)

Batch の DataFrame 列リストを取得:

batch.columns()

Great Expectationsで始めるデータ品質入門