Criar um Data Context

Introdução à Qualidade de Dados com Great Expectations

Davina Moossazadeh

Data Scientist

O que é qualidade de dados?

Quão adequado o dataset é para seu propósito

Completude
Acurácia
Validade
Unicidade
Atualidade
Integridade
Consistência
etc.

Um gráfico de dispersão mostrando um agrupamento de valores e um outlier,

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

Por que a qualidade de dados é importante?

Lixo entrando.

Um modelo incrível recebendo lixo como entrada.

Lixo saindo.

Um modelo só é tão bom quanto os dados de entrada!

O que é o Great Expectations?

Logo do Great Expectations.

Great Expectations (GX) - Plataforma para gestão de qualidade de dados

GX Cloud - UI web
GX Core - pacote Python

Expectations

Expectation - Afirmação verificável sobre dados

Forma do dataset
Valores nulos
Duplicatas
Conjuntos/faixas de valores
Formatação de strings
Distribuições de dados
Problemas de qualidade
etc.

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

Data Contexts

Data Context - Ponto de entrada principal de um deployment GX

Configurações e métodos para todos os componentes GX
- Data Sources
- Expectation Suites
- Checkpoints
- Data Docs
- Validation Results
- Metrics

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

Importando o GX

Importe o Great Expectations com o alias gx:

import great_expectations as gx

Criando um Data Context

Use get_context() para criar o Data Context:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

Vamos praticar!

Introdução à Qualidade de Dados com Great Expectations