기본 열 기대 조건

Great Expectations로 배우는 데이터 품질 입문

Davina Moossazadeh

Data Scientist

Shein Footwear 데이터셋

pandas로 로드한 Kaggle의 Shein Footwear 데이터셋의 처음 5개 행. DataFrame 열: "name", "link", "price_usd", "mark_price_usd", "star_rating", "colour", "seller_name", "review_count", "sku_id", "hero_image".

¹ https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset

행 수준 기대 조건

행 수준 기대 조건은 각 행에 독립적으로 적용됨
- 모든 행에서 조건이 만족될 때만 성공

행 수준 기대 조건

결측값 기대 조건

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

타입 기대 조건

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)

집계 수준 기대 조건: 고유 값 집합

고유 값 집합 기대 조건

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)

집계 수준 기대 조건: 고유값 개수

고유값 개수 기대 조건

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)

집계 수준 기대 조건: 고유성

고유성 기대 조건

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)

집계 수준 기대 조건: 최빈값

최빈값 기대 조건

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)

치트시트

행 수준 기대 조건:

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

집계 수준 기대 조건:

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)

Ayo berlatih!

Great Expectations로 배우는 데이터 품질 입문