Gérer les composants

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Composants

Composants GX – classes Python représentant les entités de données et de validation

Contexte de données
Sources de données et ressources de données
Définitions de lot et lots
Expectations
Suites d'Expectations
Définitions de validation
Points de contrôle et actions
Data Docs

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Gestion des composants dans GX

Sources de données :

se connectent aux données et contiennent des ressources de données

Suites d'Expectations :

regroupent des Expectations

Définitions de validation :

valident des Expectations sur des données

Points de contrôle :

regroupent et automatisent des validations

context.data_sources

context.suites

context.validation_definitions

context.checkpoints

Ajouter des composants

Expectation Suite :

suite = context.suites.add(suite)

Définition de validation :

validation_definition = context.validation_definitions.add(validation_definition)

Point de contrôle :

checkpoint = context.checkpoints.add(
    checkpoint=checkpoint
)

Ajouter une source de données

data_source = context.data_sources.add_<TYPE_NAME>()

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/

Ajouter une source de données pandas

Utilisez .add_pandas() pour configurer facilement une source de données pour des DataFrames pandas :

data_source = context.data_sources.add_pandas(
    name="my_pandas_datasource"
)

Récupérer des composants

Récupérez des composants avec .get() en indiquant leur nom :

context.<COMPONENT>s.get(

    name: str
)

data_source = context.data_sources.get(

    name="my_pandas_datasource"
)

print(data_source)

id: 46c91f1b-1db9-4351-b5dd-83e038c0f511
name: 'my_pandas_datasource'
type: pandas

Récupérer des composants

Sources de données :

context.data_sources.get(
    name="my_pandas_datasource"
)

Suites d'Expectations :

context.suites.get(
    name="my_suite"
)

Définitions de validation :

context.validation_definitions.get(
    name="my_validation_definition"
)

Points de contrôle :

context.checkpoints.get(
    name="my_checkpoint"
)

Lister les composants

Utilisez .all() pour lister tous les composants du Contexte de données, avec leurs noms et métadonnées :

context.<COMPONENT>s.all()

data_sources = context.data_sources.all()

print(data_sources)

{
    'my_pandas_datasource': PandasDatasource(
        type='pandas',
        name='my_pandas_datasource', 
        id=UUID('c22b16f7-6945-400e-932f-026cbd63b112'), 
        assets=[]
    )
}

Lister les composants

Sources de données :

context.data_sources.all()

Suites d'Expectations :

context.suites.all()

Définitions de validation :

context.validation_definitions.all()

Points de contrôle :

context.checkpoints.all()

Supprimer des composants

Utilisez .delete() pour supprimer des composants en indiquant leur nom :

context.<COMPONENT>s.delete(

    name: str
)

context.data_sources.delete(
    name="my_pandas_datasource"
)

print(context.data_sources.all())

{}

Supprimer des composants

Sources de données :

context.data_sources.delete(
    name="my_pandas_datasource"
)

Suites d'Expectations :

context.suites.delete(
    name="my_suite"
)

Définitions de validation :

context.validation_definitions.delete(
    name="my_validation_definition"
)

Points de contrôle :

context.checkpoints.delete(
    name="my_checkpoint"
)

Aide-mémoire

Ajouter un composant au Contexte de données :

context.data_sources.add(data_source)

context.suites.add(suite)

context.validation_definitions.add(
    validation_definition
)

context.checkpoints.add(checkpoint)

Récupérer un composant :

.get(name: str)

Lister les composants :

.all()

Supprimer un composant :

.delete(name: str)

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations