连接数据

使用 Great Expectations 的数据质量入门

Davina Moossazadeh

Data Scientist

组件

GX 组件——表示数据与数据校验实体的 Python 类

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

数据源（Data Source）——指示 GX 如何连接到特定外部数据源的对象

SQL 标志。

Spark 标志。

Pandas 标志。

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

数据源（Data Source）——指示 GX 如何连接到特定外部数据源的对象

SQL 标志。

Spark 标志。

Pandas 标志——外面有边框。

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

使用 .data_sources 属性管理数据源，并用 .add_pandas() 方法：

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

注意：GX 中的 name 参数与 Python 变量名不同

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

数据资产（Data Asset）——数据源中的一组记录

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

从数据上下文创建数据源：

data_source = context.data_sources.add_pandas(
    name: str
)

从数据源创建数据资产：

data_asset = data_source.add_dataframe_asset(
    name: str
)

使用 Great Expectations 的数据质量入门