Créer un Data Context

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Qu’est-ce que la qualité des données ?

Aptitude d’un jeu de données à son usage prévu

  • Exhaustivité
  • Précision
  • Validité
  • Unicité
  • Actualité
  • Intégrité
  • Cohérence
  • etc.

Un nuage de points montrant un cluster de valeurs et une valeur aberrante,

1 https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50
Introduction à la qualité des données avec Great Expectations

Pourquoi la qualité des données est-elle importante ?

Des déchets en entrée.

Un modèle incroyable recevant des déchets en entrée.

Des déchets en sortie.

Un modèle n’est jamais meilleur que ses données d’entrée !

Introduction à la qualité des données avec Great Expectations

Qu’est-ce que Great Expectations ?

Logo de Great Expectations.

Great Expectations (GX) - Plateforme de gestion de la qualité des données

  • GX Cloud - interface web
  • GX Core - package Python
Introduction à la qualité des données avec Great Expectations

Expectations

Expectation - Assertion vérifiable sur des données

  • Forme du dataset
  • Valeurs nulles
  • Doublons
  • Ensembles/intervalles de valeurs
  • Formatage des chaînes
  • Distributions des données
  • Problèmes de qualité
  • etc.

images-1.png

1 https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html
Introduction à la qualité des données avec Great Expectations

Data Contexts

Data Context - Point d’entrée principal d’un déploiement GX

  • Configurations et méthodes pour tous les composants GX
    • Sources de données
    • Expectation Suites
    • Checkpoints
    • Data Docs
    • Résultats de validation
    • Métriques
1 https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/
Introduction à la qualité des données avec Great Expectations

Importer GX

Importez Great Expectations avec l’alias gx :

import great_expectations as gx
Introduction à la qualité des données avec Great Expectations

Créer un Data Context

Utilisez get_context() pour créer le Data Context :

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }
Introduction à la qualité des données avec Great Expectations

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations

Preparing Video For Download...