Créer un contexte de données

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Qu'est-ce que la qualité des données ?

Aptitude d'un ensemble de données à l'usage visé

  • Exhaustivité
  • Exactitude
  • Validité
  • Unicité
  • Actualité
  • Intégrité
  • Cohérence
  • etc.

Nuage de points montrant un amas de valeurs et une valeur aberrante,

1 https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50
Introduction à la qualité des données avec Great Expectations

Pourquoi la qualité des données est-elle importante ?

Des déchets en entrée.

Un modèle remarquable recevant des déchets en entrée.

Des déchets en sortie.

Un modèle vaut ce que valent les données en entrée !

Introduction à la qualité des données avec Great Expectations

Qu'est-ce que Great Expectations ?

Logo de Great Expectations.

Great Expectations (GX) - plateforme de gestion de la qualité des données

  • GX Cloud - interface Web
  • GX Core - paquet Python
Introduction à la qualité des données avec Great Expectations

Expectations

Expectation - assertion vérifiable sur des données

  • Forme de l'ensemble de données
  • Valeurs nulles
  • Doublons
  • Ensembles/plages de valeurs
  • Mise en forme des chaînes
  • Distributions des données
  • Problèmes de qualité des données
  • etc.

images-1.png

1 https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html
Introduction à la qualité des données avec Great Expectations

Data Contexts

Data Context - point d'entrée principal d'un déploiement GX

  • Configurations et méthodes pour tous les composants GX connexes
    • Sources de données
    • Suites d'Expectations
    • Points de contrôle (Checkpoints)
    • Data Docs
    • Résultats de validation
    • Mesures (Metrics)
1 https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/
Introduction à la qualité des données avec Great Expectations

Importer GX

Importez Great Expectations avec l'alias gx :

import great_expectations as gx
Introduction à la qualité des données avec Great Expectations

Créer un Data Context

Utilisez get_context() pour créer le Data Context :

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }
Introduction à la qualité des données avec Great Expectations

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations

Preparing Video For Download...