Tạo Data Context

Nhập môn Data Quality với Great Expectations

Davina Moossazadeh

Data Scientist

Chất lượng dữ liệu là gì?

Mức độ dữ liệu phù hợp với mục đích sử dụng

  • Tính đầy đủ
  • Độ chính xác
  • Tính hợp lệ
  • Tính duy nhất
  • Tính kịp thời
  • Tính toàn vẹn
  • Tính nhất quán
  • v.v.

Biểu đồ phân tán với một cụm điểm và một ngoại lệ,

1 https://nitin9809.medium.com/outlier-detection-and-treatment-part-1-aa0b09f60e50
Nhập môn Data Quality với Great Expectations

Vì sao chất lượng dữ liệu quan trọng?

Rác đầu vào.

Một mô hình tuyệt vời nhận đầu vào là rác.

Rác đầu ra.

Mô hình chỉ tốt khi dữ liệu đầu vào tốt!

Nhập môn Data Quality với Great Expectations

Great Expectations là gì?

Logo Great Expectations.

Great Expectations (GX) - Nền tảng quản lý chất lượng dữ liệu

  • GX Cloud - giao diện web
  • GX Core - gói Python
Nhập môn Data Quality với Great Expectations

Expectations

Expectation - Khẳng định có thể kiểm chứng về dữ liệu

  • Hình dạng tập dữ liệu
  • Giá trị null
  • Bản ghi trùng lặp
  • Tập/khung giá trị
  • Định dạng chuỗi
  • Phân phối dữ liệu
  • Vấn đề chất lượng dữ liệu
  • v.v.

images-1.png

1 https://docs.greatexpectations.io/docs/core/define_expectations/create_an_expectation/ https://mathbitsnotebook.com/Algebra2/Statistics/STnormalDistribution.html
Nhập môn Data Quality với Great Expectations

Data Contexts

Data Context - Điểm vào chính cho triển khai GX

  • Cấu hình và phương thức cho mọi thành phần GX
    • Data Sources
    • Expectation Suites
    • Checkpoints
    • Data Docs
    • Validation Results
    • Metrics
1 https://docs.greatexpectations.io/docs/core/set_up_a_gx_environment/create_a_data_context/
Nhập môn Data Quality với Great Expectations

Import GX

Import Great Expectations với bí danh gx:

import great_expectations as gx
Nhập môn Data Quality với Great Expectations

Tạo Data Context

Dùng get_context() để tạo Data Context:

context = gx.get_context()

print(context)

{ "analytics_enabled": true,
  "checkpoint_store_name": "default_checkpoint_store",
  "config_variables_file_path": "uncommitted/config_variables.yml",
  "config_version": 4.0,
  "data_context_id": "5b407294-b17c-43e3-aa5f-4f8a4741e772",
  "expectations_store_name": "default_expectations_store",
  "fluent_datasources": {},
  "plugins_directory": "plugins/",
  "stores": {},
  "validation_results_store_name": "default_validations_store" }
Nhập môn Data Quality với Great Expectations

Ayo berlatih!

Nhập môn Data Quality với Great Expectations

Preparing Video For Download...