Conectar aos dados

Introdução à Qualidade de Dados com Great Expectations

Davina Moossazadeh

Data Scientist

Componentes

Componentes do GX - Classes Python que representam dados e entidades de validação

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Data Source - Objeto que diz ao GX como se conectar a uma fonte externa específica

Logo do SQL.

Logo do Spark.

Logo do Pandas.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Source - Objeto que diz ao GX como se conectar a uma fonte externa específica

Logo do SQL.

Logo do Spark.

Logo do Pandas — destacado por uma caixa ao redor.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Gerencie fontes de dados com o atributo .data_sources, usando o método .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Observação: o parâmetro name no GX é diferente do nome da variável Python

Você pode dar valores diferentes, por exemplo, "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Asset - Um conjunto de registros dentro de uma fonte de dados

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Criar fonte de dados a partir do Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Criar Data Asset a partir da fonte de dados:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Introdução à Qualidade de Dados com Great Expectations