データへの接続

Great Expectationsで始めるデータ品質入門

Davina Moossazadeh

Data Scientist

コンポーネント

GX コンポーネント: データおよび検証を表す Python クラス

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

データソース: GX に外部データへの接続方法を指示するオブジェクト

SQL ロゴ。

Spark ロゴ。

Pandas ロゴ。

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

データソース: GX に外部データへの接続方法を指示するオブジェクト

SQL ロゴ。

Spark ロゴ。

Pandas ロゴ — 枠で囲まれている。

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

.data_sources属性でデータソースを管理し、.add_pandas()を使用します。

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

注意: GX のname引数は Python の変数名と異なります。

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

データアセット: データソース内のレコード集合

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

データコンテキストからデータソースを作成:

data_source = context.data_sources.add_pandas(
    name: str
)

データソースからデータアセットを作成:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Great Expectationsで始めるデータ品質入門