Expectativas condicionais

Introdução à Qualidade de Dados com Great Expectations

Davina Moossazadeh

Data Scientist

O que são expectativas condicionais?

Expectativas condicionais - Expectations para um subconjunto dos dados

Por quê? Porque algumas variáveis dependem dos valores de outras

Por exemplo:

  • Uma Expectation de que a coluna star_rating seja 0 em todas as linhas com review_count igual a 0
1 https://docs.greatexpectations.io/docs/core/customize_expectations/expectation_conditions/
Introdução à Qualidade de Dados com Great Expectations

Sintaxe para expectativas condicionais

Dataset Expectations podem virar expectativas condicionais com dois argumentos extras:

  1. row_condition
    • string de expressão booleana que define o subconjunto ao qual aplicar a expectativa condicional
  2. condition_parser
    • string que define a sintaxe de row_condition
Introdução à Qualidade de Dados com Great Expectations

O condition parser

Ao usar expectativas condicionais com pandas, defina este argumento como "pandas"

expectation = gx.Expect...(
    **kwargs,
    condition_parser="pandas",
    row_condition=...
)
Introdução à Qualidade de Dados com Great Expectations

A condição de linha

Sintaxe pandas
df["foo"] == 'Two Two'

df["foo"].notNull()

df["foo"] <= datetime.date(2023, 3, 13)

(df["foo"] < 5) & (df["foo"] >= 3.14)


df["foo"].str.startswith("bar")
row_condition no Great Expectations
'foo == "Two Two"'

'foo.notNull()'

'foo <= datetime.date(2023, 3, 13)'

'(foo > 5) & (foo <= 3.14)'
'foo > 5 and foo <= 3.14'

'foo.str.startswith("bar")'
Introdução à Qualidade de Dados com Great Expectations

A condição de linha

Regras

  1. Não use aspas simples dentro de

    • row_condition="foo=='Two Two'"
    • row_condition='foo=="Two Two"' Marca de verificação indicando que a sintaxe de `row_condition` no segundo bullet está correta.

  2. Não use quebras de linha dentro de

    • row_condition="""
foo=="Two Two"
"""
    • row_condition='foo=="Two Two"' Marca de verificação indicando que a sintaxe de `row_condition` no segundo bullet está correta.
Introdução à Qualidade de Dados com Great Expectations

Exemplo de Expectation: avaliação por estrelas

Sem condição
expectation = gx.expectations.\
ExpectColumnValuesToBeBetween(
    column="price_usd",
    max_value=10,
)
validation_results = batch.validate(
    expect=expectation
)
print(validation_results.success)

False
Condicional
expectation = gx.expectations.\
ExpectColumnValuesToBeBetween(
    column="price_usd",
    max_value=10,
    condition_parser='pandas',
    row_condition='mark_price_usd < 10',
)
validation_results = batch.validate(
    expect=expectation
)
print(validation_results.success)

True
Introdução à Qualidade de Dados com Great Expectations

Vamos praticar!

Introdução à Qualidade de Dados com Great Expectations

Preparing Video For Download...