Crear un Data Context

Introducción a la calidad de datos con Great Expectations

Davina Moossazadeh

Data Scientist

¿Qué es la calidad de datos?

Qué tan apto es un conjunto de datos para su propósito

  • Integridad (completitud)
  • Precisión
  • Validez
  • Unicidad
  • Actualidad
  • Integridad referencial
  • Consistencia
  • etc.

Un diagrama de dispersión con un clúster de valores y un valor atípico.

1 https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50
Introducción a la calidad de datos con Great Expectations

¿Por qué es importante la calidad de datos?

Entra basura.

Un modelo increíble recibiendo basura como entrada.

Sale basura.

¡Un modelo solo puede ser tan bueno como los datos de entrada!

Introducción a la calidad de datos con Great Expectations

¿Qué es Great Expectations?

Logotipo de Great Expectations.

Great Expectations (GX): plataforma para gestionar la calidad de datos

  • GX Cloud: interfaz web
  • GX Core: paquete de Python
Introducción a la calidad de datos con Great Expectations

Expectations

Expectation: afirmación verificable sobre los datos

  • Forma del dataset
  • Valores nulos
  • Duplicados
  • Conjuntos/rangos de valores
  • Formato de cadenas
  • Distribuciones de datos
  • Problemas de calidad
  • etc.

images-1.png

1 https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html
Introducción a la calidad de datos con Great Expectations

Data Contexts

Data Context: punto de entrada principal a un despliegue de GX

  • Configuración y métodos para todos los componentes de GX
    • Fuentes de datos
    • Expectation Suites
    • Checkpoints
    • Data Docs
    • Resultados de validación
    • Métricas
1 https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/
Introducción a la calidad de datos con Great Expectations

Importar GX

Importa Great Expectations con el alias gx:

import great_expectations as gx
Introducción a la calidad de datos con Great Expectations

Crear un Data Context

Usa get_context() para crear el Data Context:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }
Introducción a la calidad de datos con Great Expectations

¡Vamos a practicar!

Introducción a la calidad de datos con Great Expectations

Preparing Video For Download...