Connettersi ai dati

Introduzione alla Data Quality con Great Expectations

Davina Moossazadeh

Data Scientist

Componenti

Componenti GX - Classi Python che rappresentano entità di dati e di validazione

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Origine dati - Oggetto che indica a GX come connettersi a una specifica fonte di dati esterna

Logo SQL.

Logo Spark.

Logo Pandas.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Origine dati - Oggetto che indica a GX come connettersi a una specifica fonte di dati esterna

Logo SQL.

Logo Spark.

Logo Pandas — con un riquadro attorno.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Gestisci le origini dati con l'attributo .data_sources, usando il metodo .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Nota: Il parametro name in GX è diverso dal nome della variabile Python

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Asset - Una raccolta di record all'interno di un'origine dati

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Crea un'origine dati dal Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Crea un Data Asset dall'origine dati:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Introduzione alla Data Quality con Great Expectations