連線到資料

Great Expectations 資料品質入門

Davina Moossazadeh

Data Scientist

元件

GX 元件—以 Python 類別表示資料與資料驗證的實體

  • Data Context ✅
  • Data Sources 與 Data Assets (✔)
  • Batch Definitions 與 Batches ☐
  • Expectations ☐
  • Expectation Suites ☐
  • Validation Definitions ☐
  • Checkpoints 與 Actions ☐
  • Data Docs ☐
1 https://docs.greatexpectations.io/docs/core/introduction/gx_overview
Great Expectations 資料品質入門

Data Sources

Data Source—告訴 GX 如何連到特定外部資料來源的物件

SQL 標誌。

Spark 標誌。

Pandas 標誌。

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Great Expectations 資料品質入門

Data Sources

Data Source—告訴 GX 如何連到特定外部資料來源的物件

SQL 標誌。

Spark 標誌。

Pandas 標誌——外框方框標示。

1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Great Expectations 資料品質入門

建立 Data Source

用 .data_sources 屬性管理 Data Sources，並使用 .add_pandas() 方法：

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

注意：GX 中的 name 參數與 Python 變數名稱不同

  • 你可以給不同值，例如 "my_pandas_datasource" 與 data_source
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Great Expectations 資料品質入門

Data Assets

Data Asset—位於某個 Data Source 內的一組紀錄

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)
1 https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/
Great Expectations 資料品質入門

小抄

從 Data Context 建立 Data Source：

data_source = context.data_sources.add_pandas(
    name: str
)

從 Data Source 建立 Data Asset：

data_asset = data_source.add_dataframe_asset(
    name: str
)
Great Expectations 資料品質入門

一起來練習吧！

Great Expectations 資料品質入門

Preparing Video For Download...