Anslut till data

Introduktion till datakvalitet med Great Expectations

Davina Moossazadeh

Data Scientist

Komponenter

GX-komponenter - Python-klasser som representerar data och datavalideringsobjekt

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Data Source - Ett objekt som talar om för GX hur det ska ansluta till en extern datakälla

SQL-logotyp.

Spark-logotyp.

Pandas-logotyp.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Source - Ett objekt som talar om för GX hur det ska ansluta till en extern datakälla

SQL-logotyp.

Spark-logotyp.

Pandas-logotyp – markerad med en ram.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Hantera Data Sources med attributet .data_sources och metoden .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Obs: Parametern name i GX skiljer sig från Python-variabelnamnet

Du kan tilldela dem olika värden, t.ex. "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Asset - En samling poster inom en Data Source

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Skapa Data Source från Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Skapa Data Asset från Data Source:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Introduktion till datakvalitet med Great Expectations