管理组件

使用 Great Expectations 的数据质量入门

Davina Moossazadeh

Data Scientist

组件

GX 组件——表示数据和数据验证实体的 Python 类

数据上下文
数据源与数据资产
批定义与批次
期望
期望集
验证定义
检查点与操作
数据文档

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

GX 中的组件管理

数据源：

连接数据并包含数据资产

期望集：

存放期望

验证定义：

将期望与数据进行验证

检查点：

组合并自动化验证

context.data_sources

context.suites

context.validation_definitions

context.checkpoints

添加组件

期望集：

suite = context.suites.add(suite)

验证定义：

validation_definition = context.validation_definitions.add(validation_definition)

检查点：

checkpoint = context.checkpoints.add(
    checkpoint=checkpoint
)

添加数据源

data_source = context.data_sources.add_<TYPE_NAME>()

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/

添加 pandas 数据源

使用 .add_pandas() 轻松为 pandas DataFrame 设置数据源：

data_source = context.data_sources.add_pandas(
    name="my_pandas_datasource"
)

获取组件

使用 .get() 并指定名称来获取组件：

context.<COMPONENT>s.get(

    name: str
)

data_source = context.data_sources.get(

    name="my_pandas_datasource"
)

print(data_source)

id: 46c91f1b-1db9-4351-b5dd-83e038c0f511
name: 'my_pandas_datasource'
type: pandas

获取组件

数据源：

context.data_sources.get(
    name="my_pandas_datasource"
)

期望集：

context.suites.get(
    name="my_suite"
)

验证定义：

context.validation_definitions.get(
    name="my_validation_definition"
)

检查点：

context.checkpoints.get(
    name="my_checkpoint"
)

列出组件

使用 .all() 列出数据上下文中的所有组件及其名称和元数据：

context.<COMPONENT>s.all()

data_sources = context.data_sources.all()

print(data_sources)

{
    'my_pandas_datasource': PandasDatasource(
        type='pandas',
        name='my_pandas_datasource', 
        id=UUID('c22b16f7-6945-400e-932f-026cbd63b112'), 
        assets=[]
    )
}

列出组件

数据源：

context.data_sources.all()

期望集：

context.suites.all()

验证定义：

context.validation_definitions.all()

检查点：

context.checkpoints.all()

删除组件

使用 .delete() 并指定名称来删除组件：

context.<COMPONENT>s.delete(

    name: str
)

context.data_sources.delete(
    name="my_pandas_datasource"
)

print(context.data_sources.all())

{}

删除组件

数据源：

context.data_sources.delete(
    name="my_pandas_datasource"
)

期望集：

context.suites.delete(
    name="my_suite"
)

验证定义：

context.validation_definitions.delete(
    name="my_validation_definition"
)

检查点：

context.checkpoints.delete(
    name="my_checkpoint"
)

速查表

向数据上下文添加组件：

context.data_sources.add(data_source)

context.suites.add(suite)

context.validation_definitions.add(
    validation_definition
)

context.checkpoints.add(checkpoint)

获取组件：

.get(name: str)

列出组件：

.all()

删除组件：

.delete(name: str)

Passons à la pratique !

使用 Great Expectations 的数据质量入门