Attentes liées au schéma

Introduction à la qualité des données avec Great Expectations

Davina Moossazadeh

Data Scientist

Attentes sur la forme et le schéma

Attente — Une affirmation vérifiable sur des données

  • Attentes sur les colonnes
  • Attentes sur la forme et le schéma
    • schéma — le plan de la structure d'un ensemble de données
1 https://docs.greatexpectations.io/docs/reference/learn/terms/expectation
Introduction à la qualité des données avec Great Expectations

Nombre de lignes

row_count_expectation = gx.expectations.ExpectTableRowCountToEqual(
    value=118000
)

validation_results = batch.validate(expect=row_count_expectation)

print(validation_results.success)

False

print(validation_results.result)

{'observed_value': 118066}
Introduction à la qualité des données avec Great Expectations

Plage du nombre de lignes

Utilisez ExpectTableRowCountToBeBetween pour définir une plage de lignes :

row_count_expectation = gx.expectations.ExpectTableRowCountToBeBetween(

    min_value=117000, max_value=119000
)

validation_results = batch.validate(expect=row_count_expectation)

print(validation_results.success)

True

print(validation_results.result)

{'observed_value': 118066}
Introduction à la qualité des données avec Great Expectations

Nombre de colonnes

col_count_expectation = gx.expectations.ExpectTableColumnCountToEqual(
    value=15
)
validation_results = batch.validate(expect=col_count_expectation)

print(validation_results.success)

False

print(validation_result.result)

{'observed_value': 18}
Introduction à la qualité des données avec Great Expectations

Plage du nombre de colonnes

Utilisez ExpectTableColumnCountToBeBetween pour définir une plage de colonnes :

col_count_expectation = gx.expectations.ExpectTableColumnCountToBeBetween(
    min_value=14, max_value=18
)
validation_results = batch.validate(expect=col_count_expectation)

print(validation_results.success)

True

print(validation_result.result)

{'observed_value': 18}
Introduction à la qualité des données avec Great Expectations

Ensembles de noms de colonnes

Utilisez ExpectTableColumnsToMatchSet pour valider les noms de colonnes selon un ensemble :

expected_cols = ['clouds_all', 'snow_1h', 'rain_1h', 'wind_speed', 'humidity', 
'pressure', 'temp', 'GHI', 'Energy delta[Wh]', 'Time', 'Time']

col_names_expectation = gx.expectations.ExpectTableColumnsToMatchSet(
    column_set=expected_cols
)

print(col_names_expectation.success, col_names_expectation.result)

True 
{'observed_value': ['Time', 'Energy delta[Wh]', 'GHI', 'temp', 'pressure',
'humidity', 'wind_speed', 'rain_1h', 'snow_1h', 'clouds_all'}
Introduction à la qualité des données avec Great Expectations

Noms de colonnes individuels

Utilisez ExpectColumnToExist pour vérifier si une colonne précise est présente dans l'ensemble de données :

col_name_expectation = gx.expectations.ExpectColumnToExist(column="not_a_column")
validation_result = batch.validate(expect=col_name_expectation)
print(validation_result.success)

False

col_name_expectation = gx.expectations.ExpectColumnToExist(column="GHI")
validation_result = batch.validate(expect=col_name_expectation)
print(validation_result.success)

True
Introduction à la qualité des données avec Great Expectations

Aide-mémoire

Attentes sur la forme :

ExpectTableRowCountToEqual(value: int)
ExpectTableRowCountToBeBetween(
    min_value: int, max_value: int
)
ExpectTableColumnCountToEqual(
    value: int
)
ExpectTableColumnCountToBeBetween(
    min_value: int, max_value: int
)

Attentes sur les noms de colonnes :

ExpectTableColumnsToMatchSet(
    column_set: set
)
ExpectColumnToExist(column: str)
Introduction à la qualité des données avec Great Expectations

Passons à la pratique !

Introduction à la qualité des données avec Great Expectations

Preparing Video For Download...