Podstawowe oczekiwania dotyczące kolumn

Wprowadzenie do jakości danych z Great Expectations

Davina Moossazadeh

Data Scientist

Zbiór danych Shein Footwear

Pierwsze pięć wierszy zbioru danych Shein Footwear z Kaggle, załadowanych do pandas. DataFrame zawiera kolumny: "name", "link", "price_usd", "mark_price_usd", "star_rating", "colour", "seller_name", "review_count", "sku_id" oraz "hero_image".

¹ https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset

Oczekiwania na poziomie wiersza

Oczekiwania na poziomie wiersza są stosowane do każdego wiersza osobno
- są spełnione tylko wtedy, gdy warunek zachodzi dla każdego wiersza

Oczekiwania na poziomie wiersza

Oczekiwanie dotyczące brakujących wartości

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

Oczekiwanie dotyczące typu

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)

Oczekiwania na poziomie agregatu: odrębne wartości

Oczekiwanie dotyczące odrębnych wartości

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)

Oczekiwania na poziomie agregatu: liczba unikalnych wartości

Oczekiwanie dotyczące liczby unikalnych wartości

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)

Oczekiwania na poziomie agregatu: unikalność

Oczekiwanie dotyczące unikalności

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)

Oczekiwania na poziomie agregatu: dominanta

Oczekiwanie dotyczące dominanty

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)

Ściągawka

Oczekiwania na poziomie wiersza:

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

Oczekiwania na poziomie agregatu:

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)

Czas na ćwiczenia!

Wprowadzenie do jakości danych z Great Expectations