Створіть Data Context

Вступ до контролю якості даних із Great Expectations

Davina Moossazadeh

Data Scientist

Що таке якість даних?

Наскільки набір даних придатний для своєї мети

Повнота
Точність
Валідність
Унікальність
Своєчасність
Цілісність
Узгодженість
тощо

Точкова діаграма з кластером значень та викидом,

¹ https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50

Чому важлива якість даних?

На вході — сміття.

Чудова модель отримує на вхід сміття.

На виході — сміття.

Модель добра настільки, наскільки добрі вхідні дані!

Що таке Great Expectations?

Лого Great Expectations.

Great Expectations (GX) — платформа керування якістю даних

GX Cloud — вебінтерфейс
GX Core — пакет Python

Очікування

Expectation — перевірюване твердження про дані

Форма набору даних
Null-значення
Дублікати
Набори/діапазони значень
Форматування рядків
Розподіли даних
Проблеми якості даних
тощо

¹ https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html

Data Contexts

Data Context — основна точка входу для розгортання GX

Конфігурації та методи для всіх допоміжних компонентів GX
- Джерела даних
- Набори очікувань (Expectation Suites)
- Контрольні точки (Checkpoints)
- Документи даних (Data Docs)
- Результати валідації
- Метрики

¹ https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/

Імпорт GX

Імпортуйте Great Expectations з псевдонімом gx:

import great_expectations as gx

Створення Data Context

Скористайтеся get_context() для створення Data Context:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }

Давайте потренуємось!

Вступ до контролю якості даних із Great Expectations