Odczytywanie danych w partiach

Wprowadzenie do jakości danych z Great Expectations

Davina Moossazadeh

Data Scientist

Dane pogodowe z Kaggle

DataFrame pandas zawierający dane pogodowe z Kaggle, z kolumnami: "Location", "Date_Time", "Temperature_C", "Humidity_pct", "Precipitation_mm" i "Wind_Speed_kmh". DataFrame zawiera 87 118 wierszy.

Batch Definitions

Batch Definition – Konfiguracja określająca, jak podzielić Data Asset do testowania

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Batches

Batch – Grupa rekordów, na której można uruchamiać walidacje

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

Batches

Obiekt Batch

Można użyć .head() jak w pandas:

print(batch.head())

Zrzut ekranu przedstawiający wynik działania batch.head().

¹ Table adapted from https://www.kaggle.com/datasets/prasad22/weather-data

Obiekt Batch

print(batch.head(fetch_all=True))

Zrzut ekranu przedstawiający wynik działania batch.head(fetch_all=True).

Obiekt Batch

.columns() wyświetla wszystkie kolumny DataFrame (uwaga na ())

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

Ściągawka

Tworzenie Batch Definition z Data Asset:

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

Tworzenie Batch z Batch Definition:

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

Pobieranie wierszy DataFrame z Batch:

batch.head(fetch_all: bool)

Pobieranie listy kolumn DataFrame z Batch:

batch.columns()

Czas na ćwiczenia!

Wprowadzenie do jakości danych z Great Expectations