Kết nối dữ liệu

Nhập môn Data Quality với Great Expectations

Davina Moossazadeh

Data Scientist

Thành phần

Thành phần GX - Các lớp Python biểu diễn dữ liệu và thực thể kiểm định dữ liệu

  • Data Context ✅
  • Data Sources & Data Assets (✔)
  • Batch Definitions & Batches ☐
  • Expectations ☐
  • Expectation Suites ☐
  • Validation Definitions ☐
  • Checkpoints & Actions ☐
  • Data Docs ☐
1 https://docs.greatexpectations.io/docs/core/introduction/gx_overview
Nhập môn Data Quality với Great Expectations

Nguồn dữ liệu

Data Source - Đối tượng cho GX biết cách kết nối tới một nguồn dữ liệu ngoài cụ thể

Logo SQL.

Logo Spark.

Logo Pandas.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Nhập môn Data Quality với Great Expectations

Nguồn dữ liệu

Data Source - Đối tượng cho GX biết cách kết nối tới một nguồn dữ liệu ngoài cụ thể

Logo SQL.

Logo Spark.

Logo Pandas — được viền khung.

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Nhập môn Data Quality với Great Expectations

Tạo nguồn dữ liệu

Quản lý nguồn dữ liệu với thuộc tính .data_sources, dùng phương thức .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Lưu ý: Tham số name trong GX khác với tên biến Python

  • Có thể đặt giá trị khác nhau, ví dụ "my_pandas_datasource" và data_source
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Nhập môn Data Quality với Great Expectations

Data Asset

Data Asset - Tập hợp bản ghi trong một Nguồn dữ liệu

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Nhập môn Data Quality với Great Expectations

Ghi nhớ nhanh

Tạo Nguồn dữ liệu từ Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Tạo Data Asset từ Nguồn dữ liệu:

data_asset = data_source.add_dataframe_asset(
    name: str
)
Nhập môn Data Quality với Great Expectations

Ayo berlatih!

Nhập môn Data Quality với Great Expectations

Preparing Video For Download...