Menghubungkan ke Data

Pengantar Data Quality dengan Great Expectations

Davina Moossazadeh

Data Scientist

Komponen

Komponen GX - Kelas Python yang merepresentasikan entitas data dan validasi data

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Sumber Data - Objek yang memberi tahu GX cara terhubung ke sumber data eksternal tertentu

Logo SQL.

Logo Spark.

Logo Pandas.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Sumber Data - Objek yang memberi tahu GX cara terhubung ke sumber data eksternal tertentu

Logo SQL.

Logo Spark.

Logo Pandas — dibedakan dengan kotak di sekelilingnya.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Kelola Sumber Data dengan atribut .data_sources, gunakan metode .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

Catatan: Parameter name di GX berbeda dari nama variabel Python

Anda dapat memberinya nilai berbeda, mis., "my_pandas_datasource" vs. data_source

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Aset Data - Kumpulan rekaman dalam satu Sumber Data

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Buat Sumber Data dari Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

Buat Aset Data dari Sumber Data:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Pengantar Data Quality dengan Great Expectations