创建 Data Context

使用 Great Expectations 的数据质量入门

Davina Moossazadeh

Data Scientist

什么是数据质量？

数据对预期用途的适配度

  • 完整性
  • 准确性
  • 合法性/有效性
  • 唯一性
  • 时效性
  • 完整性约束
  • 一致性
  • 等等

一个散点图，显示一簇数值和一个离群点，

1 https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50
使用 Great Expectations 的数据质量入门

为何数据质量重要？

垃圾输入。

一个很棒的模型接收垃圾作为输入。

垃圾输出。

模型质量取决于输入的数据！

使用 Great Expectations 的数据质量入门

什么是 Great Expectations？

Great Expectations 标志。

Great Expectations（GX）——数据质量管理平台

  • GX Cloud——基于网页的 UI
  • GX Core——Python 包
使用 Great Expectations 的数据质量入门

期望（Expectations）

Expectation——关于数据的可验证断言

  • 数据集形状
  • 空值
  • 重复值
  • 取值集合/范围
  • 字符串格式
  • 数据分布
  • 数据质量问题
  • 等等

images-1.png

1 https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html
使用 Great Expectations 的数据质量入门

Data Contexts

Data Context——GX 部署的主要入口

  • 所有 GX 组件的配置与方法
    • 数据源
    • 期望套件（Expectation Suites）
    • 检查点（Checkpoints）
    • 数据文档（Data Docs）
    • 验证结果
    • 指标
1 https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/
使用 Great Expectations 的数据质量入门

导入 GX

以别名 gx 导入 Great Expectations：

import great_expectations as gx
使用 Great Expectations 的数据质量入门

创建 Data Context

使用 get_context() 创建 Data Context：

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }
使用 Great Expectations 的数据质量入门

¡Vamos a practicar!

使用 Great Expectations 的数据质量入门

Preparing Video For Download...