Чтение данных пакетами

Введение в качество данных с Great Expectations

Davina Moossazadeh

Data Scientist

Данные о погоде Kaggle

DataFrame pandas с данными о погоде из Kaggle: столбцы «Location», «Date_Time», «Temperature_C», «Humidity_pct», «Precipitation_mm» и «Wind_Speed_kmh». Всего 87 118 строк.

Batch Definitions

Batch Definition — конфигурация того, как Data Asset должен разбиваться для тестирования

batch_definition = data_asset.add_batch_definition_whole_dataframe(

    name="my_batch_definition"
)

print(batch_definition)

id='69e2a81d-1c28-4d1a-b66e-52cdc1198266' 
name='my_batch_definition' 
partitioner=None

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Пакеты (Batches)

Batch — группа записей, над которой выполняются проверки

batch = batch_definition.get_batch(

    batch_parameters={"dataframe": dataframe}
)

Пакеты (Batches)

Объект Batch

Можно использовать .head(), как в pandas:

print(batch.head())

Screenshot 2024-07-16 at 11.49.00.png

¹ Таблица адаптирована из https://www.kaggle.com/datasets/prasad22/weather-data

Объект Batch

print(batch.head(fetch_all=True))

Screenshot 2024-07-22 at 14.02.00.png

Объект Batch

.columns() показывает все столбцы DataFrame (обратите внимание на ())

print(batch.columns())

['Location',
 'Date_Time',
 'Temperature_C',
 'Humidity_pct',
 'Precipitation_mm',
 'Wind_Speed_kmh']

Шпаргалка

Создание Batch Definition из Data Asset:

batch_definition = data_asset. \
add_batch_definition_whole_dataframe(
  name: str
)

Создание Batch из Batch Definition:

batch = batch_definition.get_batch(
  batch_parameters={"dataframe": dataframe}
)

Получение строк DataFrame пакета:

batch.head(fetch_all: bool)

Получение списка столбцов DataFrame пакета:

batch.columns()

Давайте потренируемся!

Введение в качество данных с Great Expectations