Základní očekávání pro sloupce

Úvod do kvality dat s Great Expectations

Davina Moossazadeh

Data Scientist

Datová sada Shein Footwear

Prvních pět řádků datové sady Shein Footwear z Kaggle načtené v pandas. DataFrame obsahuje sloupce: „name", „link", „price_usd", „mark_price_usd", „star_rating", „colour", „seller_name", „review_count", „sku_id" a „hero_image".

¹ https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset

Řádková očekávání

Řádková očekávání se aplikují na každý řádek samostatně
- splněna jsou pouze tehdy, pokud podmínka platí pro každý řádek

Řádková očekávání

Očekávání chybějících hodnot

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

Očekávání datového typu

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)

Agregátní očekávání: jedinečné hodnoty

Očekávání jedinečných hodnot

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)

Agregátní očekávání: počet jedinečných hodnot

Očekávání počtu jedinečných hodnot

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)

Agregátní očekávání: jedinečnost

Očekávání jedinečnosti

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)

Agregátní očekávání: modus

Očekávání modusu

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)

Přehled

Řádková očekávání:

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

Agregátní očekávání:

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)

Pojďme si procvičit!

Úvod do kvality dat s Great Expectations