Daten in Batches einlesen

Einführung in Data Quality mit Great Expectations

Davina Moossazadeh

Data Scientist

Kaggle-Wetterdaten

Ein pandas-DataFrame mit den Kaggle-Wetterdaten und den Spalten: „Location“, „Date_Time“, „Temperature_C“, „Humidity_pct“, „Precipitation_mm“ und „Wind_Speed_kmh“. Der DataFrame hat 87.118 Zeilen.

Batch-Definitionen

Batch-Definition – Konfiguration, wie ein Data Asset für Tests aufgeteilt wird

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Batches

Batch – Eine Gruppe von Datensätzen, auf die Validierungen ausgeführt werden können

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

Batches

Das Batch-Objekt

Wir können .head() wie in pandas nutzen:

print(batch.head())

Screenshot 2024-07-16 at 11.49.00.png

¹ Tabelle adaptiert von https://www.kaggle.com/datasets/prasad22/weather-data

Das Batch-Objekt

print(batch.head(fetch_all=True))

Screenshot 2024-07-22 at 14.02.00.png

Das Batch-Objekt

.columns() zeigt alle DataFrame-Spalten (achte auf ())

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

Spickzettel

Batch-Definition aus Data Asset erstellen:

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

Batch aus Batch-Definition erstellen:

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

Zeilen des Batch-DataFrames abrufen:

batch.head(fetch_all: bool)

Spaltenliste des Batch-DataFrames abrufen:

batch.columns()

Lass uns üben!

Einführung in Data Quality mit Great Expectations