Gérer les composants

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Composants

Composants GX - Classes Python représentant les entités de données et de validation

Data Context
Data Sources et Data Assets
Batch Definitions et Batches
Expectations
Expectation Suites
Validation Definitions
Checkpoints et Actions
Data Docs

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Gestion des composants dans GX

Data Sources :

se connectent aux données et contiennent des Data Assets

Expectation Suites :

regroupent les Expectations

Validation Definitions :

valident les Expectations sur les données

Checkpoints :

regroupent et automatisent les Validations

context.data_sources

context.suites

context.validation_definitions

context.checkpoints

Ajouter des composants

Expectation Suite :

suite = context.suites.add(suite)

Validation Definition :

validation_definition = context.validation_definitions.add(validation_definition)

Checkpoint :

checkpoint = context.checkpoints.add(
    checkpoint=checkpoint
)

Ajouter une Data Source

data_source = context.data_sources.add_<TYPE_NAME>()

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/

Ajouter une Data Source pandas

Utilisez .add_pandas() pour créer facilement une Data Source pour des DataFrames pandas :

data_source = context.data_sources.add_pandas(
    name="my_pandas_datasource"
)

Récupérer des composants

Récupérez des composants avec .get() en indiquant leur nom :

context.<COMPONENT>s.get(

    name: str
)

data_source = context.data_sources.get(

    name="my_pandas_datasource"
)

print(data_source)

id: 46c91f1b-1db9-4351-b5dd-83e038c0f511
name: 'my_pandas_datasource'
type: pandas

Récupérer des composants

Data Sources :

context.data_sources.get(
    name="my_pandas_datasource"
)

Expectation Suites :

context.suites.get(
    name="my_suite"
)

Validation Definitions :

context.validation_definitions.get(
    name="my_validation_definition"
)

Checkpoints :

context.checkpoints.get(
    name="my_checkpoint"
)

Lister des composants

Utilisez .all() pour lister tous les composants du Data Context, avec leurs noms et métadonnées :

context.<COMPONENT>s.all()

data_sources = context.data_sources.all()

print(data_sources)

{
    'my_pandas_datasource': PandasDatasource(
        type='pandas',
        name='my_pandas_datasource', 
        id=UUID('c22b16f7-6945-400e-932f-026cbd63b112'), 
        assets=[]
    )
}

Lister des composants

Data Sources :

context.data_sources.all()

Expectation Suites :

context.suites.all()

Validation Definitions :

context.validation_definitions.all()

Checkpoints :

context.checkpoints.all()

Supprimer des composants

Utilisez .delete() pour supprimer des composants en indiquant leur nom :

context.<COMPONENT>s.delete(

    name: str
)

context.data_sources.delete(
    name="my_pandas_datasource"
)

print(context.data_sources.all())

{}

Supprimer des composants

Data Sources :

context.data_sources.delete(
    name="my_pandas_datasource"
)

Expectation Suites :

context.suites.delete(
    name="my_suite"
)

Validation Definitions :

context.validation_definitions.delete(
    name="my_validation_definition"
)

Checkpoints :

context.checkpoints.delete(
    name="my_checkpoint"
)

Aide-mémoire

Ajouter un composant au Data Context :

context.data_sources.add(data_source)

context.suites.add(suite)

context.validation_definitions.add(
    validation_definition
)

context.checkpoints.add(checkpoint)

Récupérer un composant :

.get(name: str)

Lister des composants :

.all()

Supprimer un composant :

.delete(name: str)

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations