Подключение к данным

Введение в качество данных с Great Expectations

Davina Moossazadeh

Data Scientist

Компоненты

Компоненты GX — классы Python, представляющие данные и сущности валидации данных

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Data Source — объект, который указывает GX, как подключиться к внешнему источнику данных

Логотип SQL.

Логотип Spark.

Логотип Pandas.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Source — объект, который указывает GX, как подключиться к внешнему источнику данных

Логотип SQL.

Логотип Spark.

Логотип Pandas — выделен рамкой.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Управляйте источниками данных через атрибут .data_sources, используя метод .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Примечание: параметр name в GX не зависит от имени переменной Python

Им можно задать разные значения, например "my_pandas_datasource" и data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Asset — набор записей внутри Data Source

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Создание Data Source из Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Создание Data Asset из Data Source:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Введение в качество данных с Great Expectations