Verbindung zu Daten

Einführung in Data Quality mit Great Expectations

Davina Moossazadeh

Data Scientist

Komponenten

GX-Komponenten – Python-Klassen, die Daten- und Validierungsobjekte repräsentieren

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Data Source – Ein Objekt, das GX sagt, wie es sich mit einer bestimmten externen Datenquelle verbindet

SQL-Logo.

Spark-Logo.

Pandas-Logo.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Source – Ein Objekt, das GX sagt, wie es sich mit einer bestimmten externen Datenquelle verbindet

SQL-Logo.

Spark-Logo.

Pandas-Logo – durch einen Rahmen hervorgehoben.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Datenquellen mit dem Attribut .data_sources verwalten, mittels .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Hinweis: Der Parameter name in GX ist anders als der Python-Variablenname

Du kannst unterschiedliche Werte setzen, z. B. "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Asset – Eine Sammlung von Datensätzen innerhalb einer Datenquelle

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Datenquelle aus Data Context erstellen:

data_source = context.data_sources.add_pandas(
    name: str
)

Data Asset aus Datenquelle erstellen:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Einführung in Data Quality mit Great Expectations