Se connecter aux données

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Composants

Composants GX — Classes Python qui représentent des entités de données et de validation

  • Data Context ✅
  • Sources de données et ressources de données (✔)
  • Définitions de lot et lots ☐
  • Expectations ☐
  • Suites d'Expectations ☐
  • Définitions de validation ☐
  • Points de contrôle et actions ☐
  • Data Docs ☐
1 https://docs.greatexpectations.io/docs/core/introduction/gx_overview
Introduction à la qualité des données avec Great Expectations

Sources de données

Source de données — Objet qui indique à GX comment se connecter à une source de données externe précise

Logo SQL.

Logo Spark.

Logo pandas.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introduction à la qualité des données avec Great Expectations

Sources de données

Source de données — Objet qui indique à GX comment se connecter à une source de données externe précise

Logo SQL.

Logo Spark.

Logo pandas — entouré d'un cadre.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introduction à la qualité des données avec Great Expectations

Créer une source de données

Gérez les sources de données avec l'attribut .data_sources, en utilisant la méthode .add_pandas() :

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Remarque : Le paramètre name dans GX est différent du nom de la variable Python

  • Vous pouvez leur donner des valeurs différentes, p. ex., "my_pandas_datasource" vs data_source
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introduction à la qualité des données avec Great Expectations

Ressources de données

Ressource de données — Un ensemble d'enregistrements au sein d'une source de données

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Introduction à la qualité des données avec Great Expectations

Aide-mémoire

Créer une source de données à partir du Data Context :

data_source = context.data_sources.add_pandas(
    name: str
)

Créer une ressource de données à partir de la source :

data_asset = data_source.add_dataframe_asset(
    name: str
)
Introduction à la qualité des données avec Great Expectations

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations

Preparing Video For Download...