分批读取数据

使用 Great Expectations 的数据质量入门

Davina Moossazadeh

Data Scientist

Kaggle 天气数据

一个包含 Kaggle 天气数据的 pandas DataFrame，列为："Location"、"Date_Time"、"Temperature_C"、"Humidity_pct"、"Precipitation_mm"和"Wind_Speed_kmh"。该 DataFrame 有 87,118 行。

Batch 定义

"Batch 定义"——将数据资产划分用于测试的配置

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Batches（批次）

"Batch"——可运行验证的一组记录

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

Batches（批次）

Batch 对象

我们可像在 pandas 中一样使用 .head()：

print(batch.head())

2024-07-16 11.49.00 的截图.png

¹ 表格改编自 https://www.kaggle.com/datasets/prasad22/weather-data

Batch 对象

print(batch.head(fetch_all=True))

2024-07-22 14.02.00 的截图.png

Batch 对象

.columns() 显示所有 DataFrame 列（注意 ()）

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

速查表

从数据资产创建 Batch 定义：

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

从 Batch 定义创建 Batch：

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

获取 Batch 的 DataFrame 行：

batch.head(fetch_all: bool)

获取 Batch 的 DataFrame 列名列表：

batch.columns()

开始练习吧！

使用 Great Expectations 的数据质量入门