Připojení k datům

Úvod do kvality dat s Great Expectations

Davina Moossazadeh

Data Scientist

Komponenty

Komponenty GX – Pythonové třídy reprezentující data a entity pro validaci dat

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Datový zdroj – Objekt, který GX říká, jak se připojit k externímu zdroji dat

Logo SQL.

Logo Spark.

Logo pandas.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Datový zdroj – Objekt, který GX říká, jak se připojit k externímu zdroji dat

Logo SQL.

Logo Spark.

Logo pandas – zvýrazněné rámečkem.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Spravujte datové zdroje pomocí atributu .data_sources a metody .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Poznámka: Parametr name v GX se liší od názvu proměnné v Pythonu

Lze jim přiřadit různé hodnoty, např. "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Datový asset – Kolekce záznamů v rámci datového zdroje

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Vytvoření datového zdroje z datového kontextu:

data_source = context.data_sources.add_pandas(
    name: str
)

Vytvoření datového assetu z datového zdroje:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Úvod do kvality dat s Great Expectations