Đọc dữ liệu theo lô

Nhập môn Data Quality với Great Expectations

Davina Moossazadeh

Data Scientist

Dữ liệu thời tiết Kaggle

Một pandas DataFrame chứa Kaggle Weather Data, với các cột: "Location", "Date_Time", "Temperature_C", "Humidity_pct", "Precipitation_mm" và "Wind_Speed_kmh". DataFrame có 87.118 hàng.

Batch Definition

Batch Definition - Cấu hình cách chia nhỏ Data Asset để kiểm thử

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Batch

Batch - Nhóm bản ghi để chạy kiểm định

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

Batch

Đối tượng Batch

Có thể dùng .head() như với pandas:

print(batch.head())

Ảnh chụp màn hình 2024-07-16 lúc 11.49.00.png

¹ Bảng được điều chỉnh từ https://www.kaggle.com/datasets/prasad22/weather-data

Đối tượng Batch

print(batch.head(fetch_all=True))

Ảnh chụp màn hình 2024-07-22 lúc 14.02.00.png

Đối tượng Batch

.columns() hiển thị toàn bộ cột của DataFrame (lưu ý có ())

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

Ghi nhớ nhanh

Tạo Batch Definition từ Data Asset:

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

Tạo Batch từ Batch Definition:

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

Lấy các hàng của DataFrame trong Batch:

batch.head(fetch_all: bool)

Lấy danh sách cột của DataFrame trong Batch:

batch.columns()

Ayo berlatih!

Nhập môn Data Quality với Great Expectations