Expectativas básicas de columna

Introducción a la calidad de datos con Great Expectations

Davina Moossazadeh

Data Scientist

El dataset Shein Footwear

Las cinco primeras filas del dataset Shein Footwear de Kaggle, cargado en pandas. El DataFrame tiene estas columnas: "name", "link", "price_usd", "mark_price_usd", "star_rating", "colour", "seller_name", "review_count", "sku_id" y "hero_image".

¹ https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset

Expectativas a nivel fila

Las expectativas a nivel fila se aplican a cada fila de forma independiente
- solo se cumplen si la condición vale para todas las filas

Expectativas a nivel fila

Expectativa de ausencia de nulos

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

Expectativa de tipo

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)

Expectativas a nivel agregado: valores distintos

Expectativa de valores distintos

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)

Expectativas a nivel agregado: recuento de valores únicos

Expectativa de recuento de valores únicos

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)

Expectativas a nivel agregado: unicidad

Expectativa de unicidad

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)

Expectativas a nivel agregado: moda

Expectativa de moda

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)

Hoja de referencia

Expectativas a nivel fila:

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

Expectativas a nivel agregado:

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)

¡Vamos a practicar!

Introducción a la calidad de datos con Great Expectations