Aplicar expectativas a novos dados

Introdução à Qualidade de Dados com Great Expectations

Davina Moossazadeh

Data Scientist

Checkpoints

Checkpoint - Objeto que agrupa e executa Definições de Validação com parâmetros comuns

Um esquema mostrando um Checkpoint, com o fluxo: Batch Requests -> Data Source -> Validation Definition. A Validation Definition gera Validation Results, que alimentam uma Action List opcional com uma ou mais Actions.

Actions - Componentes no Checkpoint que integram o GX a outras ferramentas com base nos Validation Results

¹ https://docs.greatexpectations.io/docs/core/trigger_actions_based_on_results/create_a_checkpoint_with_actions/

Por que usar Checkpoints?

Reuso

Dá para executar várias Definições de Validação em um Batch

Actions

Podem disparar ações com base nos Validation Results

Criando um Checkpoint

Criando um Checkpoint com notificação no Slack via gx.Checkpoint():

checkpoint = gx.Checkpoint(

    name="my_checkpoint",

    validation_definitions=[validation_definition],

    actions=[SlackNotificationAction()]  # opcional
)

Erros de Checkpoint

Executar um Checkpoint antes de adicionar a Definição de Validação ao Data Context gera erro:

CheckpointRelatedResourcesFreshnessError: 
ValidationDefinition 'my_validation_definition' must be added to the DataContext 
before it can be updated. Please call `context.validation_definitions.add(
<VALIDATION_DEFINITION_OBJECT>)`, then try your action again.

Adicionando uma Definição de Validação

Adiciona a Definição de Validação ao Data Context com .validation_definitions.add():

validation_definition = context.validation_definitions.add(

    validation_definition=validation_definition
)

Executando um Checkpoint

checkpoint_results = checkpoint.run(
    batch_parameters={"dataframe": dataframe}
)

Resultados do Checkpoint. A saída é longa e não cabe no slide.

Avaliando os resultados do Checkpoint

print(checkpoint_results.success)

False

print(checkpoint_results.describe())

Avaliando os resultados do Checkpoint

{ "success": false,
  "statistics": {
    "evaluated_expectations": 1, "successful_expectations": 0,
    "unsuccessful_expectations": 1, "success_percent": 0.0
  },
  "expectations": [{
    "expectation_type": "expect_table_row_count_to_equal",
    "success": false,
    "kwargs": {"batch_id": ""my_datasource-my_dataframe_asset", "value": 118000}, 
    "result": {"observed_value": 11866}}
  ],
  "result_url": "https://app.greatexpectations.io/organizations/my_org/data-assets/*/validations/expectation-suites/0a123b9c-e370-4b18-b703-785dde88732d/results/cb093105-6ede-47d4-a141-dee10c632e18"
}

Data Docs

Data Docs - sites estáticos gerados a partir de metadados do GX

# Checkpoint com Action para atualizar Data Docs
gx.Checkpoint(
    name,
    validation_definitions,
    actions=[
      gx.checkpoint.actions.UpdateDataDocsAction(
          name="update_my_site", site_names="my_data_docs_site"
        )
    ],
)

¹ https://docs.greatexpectations.io/docs/core/configure_project_settings/configure_data_docs/

Data Docs

Captura de tela de uma página do Data Docs com uma lista de Expectations em nível de tabela e seus valores observados. Uma Expectation de intervalo de contagem de linhas está expandida com um histórico de validações, mostrando horário, valor observado e valores mín. e máx. No canto superior direito, um quadro verde com um check diz "All Expectations met".

Resumo rápido

Adicionar a Definição de Validação ao Data Context:

context.validation_definitions.add(
    validation_definition
)

Criar Checkpoint:

checkpoint = gx.Checkpoint(
    name: str, 
    validation_definitions: list,
)

Executar o Checkpoint:

checkpoint_results = checkpoint.run(
    batch_parameters={"dataframe": dataframe}
)

Ver resultados do Checkpoint:

checkpoint_results.success
checkpoint_results.describe()

Vamos praticar!

Introdução à Qualidade de Dados com Great Expectations