基本欄位 Expectation

Great Expectations 資料品質入門

Davina Moossazadeh

Data Scientist

Shein Footwear 資料集

將 Kaggle 的 Shein Footwear 資料集載入 pandas 後的前五列。DataFrame 欄位包含：「name」、「link」、「price_usd」、「mark_price_usd」、「star_rating」、「colour」、「seller_name」、「review_count」、「sku_id」與「hero_image」。

¹ https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset

列層級 Expectations

列層級 Expectation 逐列套用
- 只有每一列都符合條件才算成功

列層級 Expectations

缺失值 Expectation

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

型別 Expectation

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)

彙總層級 Expectations：不同值集合

不同值集合 Expectation

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)

彙總層級 Expectations：唯一值數量

唯一值數量 Expectation

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)

彙總層級 Expectations：唯一性

唯一性 Expectation

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)

彙總層級 Expectations：眾數

眾數 Expectation

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)

小抄

列層級 Expectations：

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

彙總層級 Expectations：

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)

一起來練習吧！

Great Expectations 資料品質入門