Połącz z danymi

Wprowadzenie do jakości danych z Great Expectations

Davina Moossazadeh

Data Scientist

Komponenty

Komponenty GX - klasy Pythona reprezentujące dane i encje walidacji danych

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Data Source - Obiekt informujący GX, jak połączyć się z zewnętrznym źródłem danych

Logo SQL.

Logo Spark.

Logo Pandas.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Source - Obiekt informujący GX, jak połączyć się z zewnętrznym źródłem danych

Logo SQL.

Logo Spark.

Logo Pandas – wyróżnione ramką.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Zarządzaj źródłami danych za pomocą atrybutu .data_sources i metody .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Uwaga: Parametr name w GX różni się od nazwy zmiennej w Pythonie

Można przypisać im różne wartości, np. "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Asset - Zbiór rekordów w ramach źródła danych

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Utwórz źródło danych z kontekstu danych:

data_source = context.data_sources.add_pandas(
    name: str
)

Utwórz zasób danych ze źródła danych:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Wprowadzenie do jakości danych z Great Expectations