Attentes de base sur les colonnes

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Jeu de données Shein Footwear

Les cinq premières lignes du jeu de données Shein Footwear de Kaggle, chargé dans pandas. Le DataFrame contient les colonnes suivantes : "name", "link", "price_usd", "mark_price_usd", "star_rating", "colour", "seller_name", "review_count", "sku_id" et "hero_image".

1 https://www.kaggle.com/datasets/atharvataras/shein-footwear-dataset
Introduction à la qualité des données avec Great Expectations

Attentes au niveau des lignes

  • Les attentes au niveau des lignes s'appliquent à chaque ligne indépendamment
    • réussissent seulement si la condition est vraie pour chaque ligne
Introduction à la qualité des données avec Great Expectations

Attentes au niveau des lignes

Attente sur les valeurs manquantes

gx.expectations.ExpectColumnValuesToNotBeNull(
    column="colour"
)

Attente sur le type

gx.expectations.ExpectColumnValuesToBeOfType(
    column="review_count", type_="str"
)
Introduction à la qualité des données avec Great Expectations

Attentes agrégées : valeurs distinctes

Attente sur les valeurs distinctes

gx.expectations.ExpectColumnDistinctValuesToEqualSet(
    column="seller_name", value_set={"Womens Shoes"}
)
Introduction à la qualité des données avec Great Expectations

Attentes agrégées : nombre de valeurs uniques

Attente sur le nombre de valeurs uniques

gx.expectations.ExpectColumnUniqueValueCountToBeBetween(
    column="review_count", min_value=5, max_value=101
)
Introduction à la qualité des données avec Great Expectations

Attentes agrégées : unicité

Attente d'unicité

gx.expectations.ExpectColumnValuesToBeUnique(
    column="sku_id"
)
Introduction à la qualité des données avec Great Expectations

Attentes agrégées : valeur la plus fréquente

Attente sur la valeur la plus fréquente

gx.expectations.ExpectColumnMostCommonValueToBeInSet(
    column="colour", value_set={"Khaki", "Purple", "Grey"}
)
Introduction à la qualité des données avec Great Expectations

Aide-mémoire

Attentes au niveau des lignes :

ExpectColumnValuesToNotBeNull(
    column: str
)
ExpectColumnValuesToBeOfType(
    column: str, type_: str
)

Attentes agrégées :

ExpectColumnDistinctValuesToEqualSet(
    column: str, value_set: set
)
ExpectColumnUniqueValueCountToBeBetween(
    column: str, 
    min_value: int, max_value: int
)
ExpectColumnValuesToBeUnique(column: str)
ExpectColumnMostCommonValueToBeInSet(
    column: str, value_set: set
)
Introduction à la qualité des données avec Great Expectations

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations

Preparing Video For Download...