배치로 데이터 읽기

Great Expectations로 배우는 데이터 품질 입문

Davina Moossazadeh

Data Scientist

Kaggle 날씨 데이터

Kaggle 날씨 데이터가 담긴 pandas DataFrame. 열: "Location", "Date_Time", "Temperature_C", "Humidity_pct", "Precipitation_mm", "Wind_Speed_kmh". 행 수: 87,118.

Batch Definition - 테스트를 위해 Data Asset을 분할하는 방법의 구성

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Batch - 검증을 수행할 수 있는 레코드 집합

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

기타 데이터 소스

pandas 데이터 소스

pandas처럼 .head()를 사용할 수 있습니다:

print(batch.head())

2024-07-16 11:49:00 스크린샷.png

¹ Table adapted from https://www.kaggle.com/datasets/prasad22/weather-data

print(batch.head(fetch_all=True))

2024-07-22 14:02:00 스크린샷.png

.columns()는 모든 DataFrame 열을 표시합니다(()에 유의).

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

데이터 자산에서 Batch Definition 생성:

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

Batch Definition에서 Batch 생성:

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

Batch DataFrame 행 조회:

batch.head(fetch_all: bool)

Batch DataFrame 열 목록 조회:

batch.columns()

Great Expectations로 배우는 데이터 품질 입문