Validar conjuntos de expectativas

Introducción a la calidad de datos con Great Expectations

Davina Moossazadeh

Data Scientist

Validation Definitions

Validation Definition: referencia que vincula un Expectation Suite con los datos que describe

Esquema que muestra una Validation Definition con Datos y Expectation Suite como entradas y Validation Results como salida.

¹ https://docs.greatexpectations.io/docs/core/run_validations/create_a_validation_definition/

Crear una definición de validación

Crea una Validation Definition con la clase ValidationDefinition:

validation_definition = gx.ValidationDefinition(

    name="my_validation_definition",

    data=batch_definition,

    suite=suite, 
)

print(validation_definition)

Ver una definición de validación

name='my_validation_definition' 
data=BatchDefinition(
    id='1fcb36d6-fac6-4b9a-8ba6-a659978fd59e', 
    name='my_batch_definition', 
    partitioner=None
) 
suite={
  "name": "my_suite",
  "id": "0a123b9c-e370-4b18-b703-785dde88732d",
  "expectations": [],
  "meta": {"great_expectations_version": "1.2.4"},
  "notes": null
} 
id=None

Ver una definición de validación

print(validation_definition.name)

'my_validation_definition'

print(validation_definition.data)

id='1fcb36d6-fac6-4b9a-8ba6-a659978fd59e' 
name='my_batch_definition' 
partitioner=None

print(validation_definition.suite)

{
  "name": "my_suite",
  "id": "0a123b9c-e370-4b18-b703-785dde88732d",
  "expectations": [],
  "meta": {"great_expectations_version": "1.2.4"},
  "notes": null
}

print(validation_definition.id)

None

Ver una definición de validación

print(validation_definition.data_source)

assets:
  - batch_definitions:
      - name: my_batch_definition
        partitioner: null
    batch_metadata: {}
    id: 83682084-3bc4-4898-a807-fadc0f911415
    name: 'my_dataframe_asset'
    type: dataframe
id: f71d275e-a5b2-402e-a53c-8dad6975cce5
name: 'my_pandas_data_source'
type: pandas

Ejecutar una definición de validación

Ejecuta una validación con el método .run() de la definición, pasando el DataFrame vía batch_parameters:

validation_results = validation_definition.run(

    batch_parameters={"dataframe": dataframe}
)

Errores de definición de validación

Fíjate en el error:

ValidationDefinitionRelatedResourcesFreshnessError:
ExpectationSuite 'my_suite' must be added to the DataContext before it can be 
updated. Please call `context.suites.add(<SUITE_OBJECT>)`, then try your action 
again.

Ejecutar una definición de validación antes de añadir el Expectation Suite al Data Context genera un error

Añadir un Expectation Suite

Añade un Expectation Suite al Data Context con .suites.add():

suite = context.suites.add(

    suite=suite
)

Evaluar una definición de validación

validation_results = validation_definition.run(
    batch_parameters={"dataframe": dataframe}
)

Calculating Metrics: 0/0 [00:00<?, ?it/s]

print(validation_results.success)

False

print(validation_results.describe())

Evaluar una definición de validación

{ "success": false,
  "statistics": {
    "evaluated_expectations": 1, "successful_expectations": 0,
    "unsuccessful_expectations": 1, "success_percent": 0.0
  },
  "expectations": [{
    "expectation_type": "expect_table_row_count_to_equal",
    "success": false,
    "kwargs": {"batch_id": ""my_datasource-my_dataframe_asset", "value": 118000}, 
    "result": {"observed_value": 11866}}
  ],
  "result_url": "https://app.greatexpectations.io/organizations/my_org/data-assets/*/validations/expectation-suites/0a123b9c-e370-4b18-b703-785dde88732d/results/cb093105-6ede-47d4-a141-dee10c632e18"
}

Nota sobre GX

Great Expectations ofrece varios flujos de trabajo para tareas similares
- p. ej., Batch Definitions vs. Validation Definitions
Este curso da una visión general; otras implementaciones de GX pueden usar enfoques distintos

Chuleta

Añadir Expectation Suite al Data Context:

context.suites.add(suite)

Crear Validation Definition:

validation_definition = \
gx.ValidationDefinition(
  name: str, 
  data=batch_definition, 
  suite=suite
)

Ejecutar validación:

validation_results = \
validation_definition.run(
  batch_parameters={"dataframe": dataframe}
)

Comprobar resultados:

validation_results.success
validation_results.describe()

¡Vamos a practicar!

Introducción a la calidad de datos con Great Expectations