Așteptări de bază pentru coloane

Introducere în calitatea datelor cu Great Expectations

Davina Moossazadeh

Data Scientist

Setul de date Shein Footwear

Primele cinci rânduri din setul de date Shein Footwear de pe Kaggle, încărcat în pandas. DataFrame-ul conține următoarele coloane: „name", „link", „price_usd", „mark_price_usd", „star_rating", „colour", „seller_name", „review_count", „sku_id" și „hero_image".

¹ https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset

Așteptări la nivel de rând

Așteptările la nivel de rând se aplică fiecărui rând independent
- sunt îndeplinite doar dacă condiția este valabilă pentru fiecare rând

Așteptări la nivel de rând

Așteptare pentru valori lipsă

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

Așteptare pentru tip de date

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)

Așteptări la nivel agregat: valori distincte

Așteptare pentru valori distincte

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)

Așteptări la nivel agregat: număr de valori unice

Așteptare pentru numărul de valori unice

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)

Așteptări la nivel agregat: unicitate

Așteptare de unicitate

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)

Așteptări la nivel agregat: modă

Așteptare pentru modă

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)

Fișă de referință

Așteptări la nivel de rând:

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

Așteptări la nivel agregat:

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)

Să exersăm!

Introducere în calitatea datelor cu Great Expectations