建立 Data Context

Great Expectations 資料品質入門

Davina Moossazadeh

Data Scientist

什麼是資料品質？

資料對預期用途的適配度

  • 完整性
  • 準確性
  • 合法性
  • 唯一性
  • 及時性
  • 完整關聯性
  • 一致性
  • 等等

顯示一群值與一個離群值的散佈圖，

1 https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50
Great Expectations 資料品質入門

為何資料品質很重要？

垃圾輸入。

優秀模型收到垃圾作為輸入。

垃圾輸出。

模型的表現只會和輸入資料一樣好！

Great Expectations 資料品質入門

什麼是 Great Expectations？

Great Expectations 標誌。

Great Expectations (GX)——用於管理資料品質的平台

  • GX Cloud——基於網頁的 UI
  • GX Core——Python 套件
Great Expectations 資料品質入門

Expectations

Expectation——對資料可驗證的斷言

  • 資料集形狀
  • 遺漏值
  • 重複值
  • 值的集合／範圍
  • 字串格式
  • 資料分佈
  • 資料品質議題
  • 等等

images-1.png

1 https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html
Great Expectations 資料品質入門

Data Contexts

Data Context——GX 部署的主要進入點

  • 所有支援 GX 元件的設定與方法
    • Data Sources
    • Expectation Suites
    • Checkpoints
    • Data Docs
    • Validation Results
    • Metrics
1 https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/
Great Expectations 資料品質入門

匯入 GX

以別名 gx 匯入 Great Expectations：

import great_expectations as gx
Great Expectations 資料品質入門

建立 Data Context

使用 get_context() 建立 Data Context：

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }
Great Expectations 資料品質入門

一起來練習吧！

Great Expectations 資料品質入門

Preparing Video For Download...