Se connecter aux données

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Composants

Composants GX — Classes Python représentant les entités de données et de validation

  • Data Context ✅
  • Data Sources et Data Assets (✔)
  • Batch Definitions et Batches ☐
  • Expectations ☐
  • Expectation Suites ☐
  • Validation Definitions ☐
  • Checkpoints et Actions ☐
  • Data Docs ☐
1 https://docs.greatexpectations.io/docs/core/introduction/gx_overview
Introduction à la qualité des données avec Great Expectations

Sources de données

Data Source — Objet indiquant à GX comment se connecter à une source de données externe spécifique

Logo SQL.

Logo Spark.

Logo Pandas.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introduction à la qualité des données avec Great Expectations

Sources de données

Data Source — Objet indiquant à GX comment se connecter à une source de données externe spécifique

Logo SQL.

Logo Spark.

Logo Pandas — encadré.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introduction à la qualité des données avec Great Expectations

Créer une source de données

Gérez les sources de données avec l’attribut .data_sources, via la méthode .add_pandas() :

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Remarque : Le paramètre name dans GX est distinct du nom de variable Python

  • Vous pouvez leur donner des valeurs différentes, p. ex. "my_pandas_datasource" vs data_source
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introduction à la qualité des données avec Great Expectations

Data Assets

Data Asset — Un ensemble d’enregistrements au sein d’une source de données

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introduction à la qualité des données avec Great Expectations

Aide-mémoire

Créer une source de données depuis le Data Context :

data_source = context.data_sources.add_pandas(
    name: str
)

Créer un Data Asset depuis la source de données :

data_asset = data_source.add_dataframe_asset(
    name: str
)
Introduction à la qualité des données avec Great Expectations

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations

Preparing Video For Download...