Создание Data Context

Введение в качество данных с Great Expectations

Davina Moossazadeh

Data Scientist

Что такое качество данных?

Насколько набор данных пригоден для своей цели

Полнота
Точность
Достоверность
Уникальность
Актуальность
Целостность
Согласованность
и т. д.

Диаграмма рассеяния с кластером значений и выбросом,

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

Почему качество данных важно?

Мусор на входе.

Отличная модель получает мусор на входе.

Мусор на выходе.

Модель не может быть лучше, чем данные, которые в неё поступают!

Что такое Great Expectations?

Логотип Great Expectations.

Great Expectations (GX) — платформа для управления качеством данных

GX Cloud — веб-интерфейс
GX Core — пакет Python

Ожидания

Ожидание (Expectation) — проверяемое утверждение о данных

Форма набора данных
Пустые значения
Дубликаты
Допустимые значения и диапазоны
Формат строк
Распределения данных
Проблемы качества данных
и т. д.

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

Data Contexts

Data Context — основная точка входа для развёртывания GX

Конфигурации и методы для всех компонентов GX
- Data Sources
- Expectation Suites
- Checkpoints
- Data Docs
- Validation Results
- Metrics

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

Импорт GX

Импортируйте Great Expectations с псевдонимом gx:

import great_expectations as gx

Создание Data Context

Используйте get_context() для создания Data Context:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

Давайте потренируемся!

Введение в качество данных с Great Expectations