Kỳ vọng cột cơ bản

Nhập môn Data Quality với Great Expectations

Davina Moossazadeh

Data Scientist

Bộ dữ liệu Giày dép Shein

Năm hàng đầu của Bộ dữ liệu Giày dép Shein trên Kaggle, được tải vào pandas. DataFrame có các cột: "name", "link", "price_usd", "mark_price_usd", "star_rating", "colour", "seller_name", "review_count", "sku_id" và "hero_image".

1 https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset
Nhập môn Data Quality với Great Expectations

Kỳ vọng mức hàng

  • Kỳ vọng mức hàng áp dụng độc lập cho từng hàng
    • chỉ đạt nếu điều kiện đúng cho mọi hàng
Nhập môn Data Quality với Great Expectations

Kỳ vọng mức hàng

Kỳ vọng thiếu dữ liệu

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

Kỳ vọng kiểu dữ liệu

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)
Nhập môn Data Quality với Great Expectations

Kỳ vọng mức tổng hợp: giá trị phân biệt

Kỳ vọng giá trị phân biệt

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)
Nhập môn Data Quality với Great Expectations

Kỳ vọng mức tổng hợp: số lượng giá trị duy nhất

Kỳ vọng số lượng giá trị duy nhất

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)
Nhập môn Data Quality với Great Expectations

Kỳ vọng mức tổng hợp: tính duy nhất

Kỳ vọng tính duy nhất

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)
Nhập môn Data Quality với Great Expectations

Kỳ vọng mức tổng hợp: mốt

Kỳ vọng mốt (giá trị xuất hiện nhiều nhất)

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)
Nhập môn Data Quality với Great Expectations

Cheat sheet

Kỳ vọng mức hàng:

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

Kỳ vọng mức tổng hợp:

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)
Nhập môn Data Quality với Great Expectations

Ayo berlatih!

Nhập môn Data Quality với Great Expectations

Preparing Video For Download...