Verbinding maken met data

Kennismaking met Datakwaliteit met Great Expectations

Davina Moossazadeh

Data Scientist

Componenten

GX-componenten: Pythonclasses die data- en datavalidatie-entiteiten voorstellen

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Data source: een object dat GX vertelt hoe te verbinden met een specifieke externe databron

SQL-logo.

Spark-logo.

Pandas-logo.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data source: een object dat GX vertelt hoe te verbinden met een specifieke externe databron

SQL-logo.

Spark-logo.

Pandas-logo — met een kader eromheen.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Beheer data sources met het attribuut .data_sources en de methode .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Let op: de parameter name in GX is anders dan de Python-variabelenaam

Je kunt ze verschillend instellen, bijv. "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data asset: een verzameling records binnen een data source

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Maak een data source via de Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Maak een data asset via de data source:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Kennismaking met Datakwaliteit met Great Expectations