Expectations de base sur les colonnes

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Jeu de données Shein Footwear

Les cinq premières lignes du jeu de données Shein Footwear de Kaggle, chargé dans pandas. Le DataFrame contient les colonnes : "name", "link", "price_usd", "mark_price_usd", "star_rating", "colour", "seller_name", "review_count", "sku_id" et "hero_image".

1 https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset
Introduction à la qualité des données avec Great Expectations

Expectations au niveau ligne

  • Les expectations au niveau ligne s’appliquent à chaque ligne indépendamment
    • réussissent seulement si la condition vaut pour chaque ligne
Introduction à la qualité des données avec Great Expectations

Expectations au niveau ligne

Expectation sur les valeurs manquantes

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

Expectation de type

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)
Introduction à la qualité des données avec Great Expectations

Expectations agrégées : valeurs distinctes

Expectation sur les valeurs distinctes

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)
Introduction à la qualité des données avec Great Expectations

Expectations agrégées : nombre de valeurs uniques

Expectation sur le nombre de valeurs uniques

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)
Introduction à la qualité des données avec Great Expectations

Expectations agrégées : unicité

Expectation d’unicité

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)
Introduction à la qualité des données avec Great Expectations

Expectations agrégées : mode

Expectation sur la valeur la plus fréquente

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)
Introduction à la qualité des données avec Great Expectations

Aide-mémoire

Expectations au niveau des lignes :

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

Expectations au niveau agrégé :

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)
Introduction à la qualité des données avec Great Expectations

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations

Preparing Video For Download...