Під'єднання до даних

Вступ до контролю якості даних із Great Expectations

Davina Moossazadeh

Data Scientist

Компоненти

Компоненти GX — класи Python, що представляють дані та сутності валідації даних

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Data Source — об'єкт, що вказує GX, як під'єднатися до конкретного зовнішнього джерела даних

Логотип SQL.

Логотип Spark.

Логотип pandas.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Source — об'єкт, що вказує GX, як під'єднатися до конкретного зовнішнього джерела даних

Логотип SQL.

Логотип Spark.

Логотип pandas — з рамкою навколо.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Керуйте джерелами даних через атрибут .data_sources, використовуючи метод .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Примітка: Параметр name у GX відрізняється від назви змінної в Python

Ви можете надати різні значення, напр., "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Asset — набір записів у межах Data Source

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Створіть Data Source із Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Створіть Data Asset із Data Source:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Вступ до контролю якості даних із Great Expectations