Čtení dat po dávkách

Úvod do kvality dat s Great Expectations

Davina Moossazadeh

Data Scientist

Data o počasí z Kaggle

DataFrame v pandas obsahující data o počasí z Kaggle se sloupci: „Location", „Date_Time", „Temperature_C", „Humidity_pct", „Precipitation_mm" a „Wind_Speed_kmh". DataFrame má 87 118 řádků.

Batch Definitions

Batch Definition – konfigurace způsobu rozdělení Data Asset pro testování

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Batches

Batch – skupina záznamů, na níž lze spouštět validace

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

Batches

Objekt Batch

Lze použít .head() jako v pandas:

print(batch.head())

Snímek obrazovky 2024-07-16 v 11.49.00

¹ Table adapted from https://www.kaggle.com/datasets/prasad22/weather-data

Objekt Batch

print(batch.head(fetch_all=True))

Snímek obrazovky 2024-07-22 v 14.02.00

Objekt Batch

.columns() zobrazí všechny sloupce DataFrame (pozor na ())

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

Přehled

Vytvoření Batch Definition z Data Asset:

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

Vytvoření Batch z Batch Definition:

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

Získání řádků DataFrame z Batch:

batch.head(fetch_all: bool)

Získání seznamu sloupců DataFrame z Batch:

batch.columns()

Pojďme si to procvičit!

Úvod do kvality dat s Great Expectations