เชื่อมต่อกับข้อมูล

การตรวจสอบคุณภาพข้อมูลด้วย Great Expectations เบื้องต้น

Davina Moossazadeh

Data Scientist

คอมโพเนนต์

คอมโพเนนต์ GX - คลาส Python ที่แทนข้อมูลและเอนทิตีการตรวจสอบข้อมูล

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

Data Source - ออบเจกต์ที่บอก GX ว่าจะเชื่อมต่อกับแหล่งข้อมูลภายนอกอย่างไร

โลโก้ SQL

โลโก้ Spark

โลโก้ pandas

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Source - ออบเจกต์ที่บอก GX ว่าจะเชื่อมต่อกับแหล่งข้อมูลภายนอกอย่างไร

โลโก้ SQL

โลโก้ Spark

โลโก้ pandas -- มีกรอบล้อมรอบ

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

จัดการ Data Sources ด้วย attribute .data_sources โดยใช้เมธอด .add_pandas():

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

หมายเหตุ: พารามิเตอร์ name ใน GX ต่างจากชื่อตัวแปร Python

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

Data Asset - กลุ่มเรกคอร์ดภายใน Data Source

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

สร้าง Data Source จาก Data Context:

data_source = context.data_sources.add_pandas(
    name: str
)

สร้าง Data Asset จาก Data Source:

data_asset = data_source.add_dataframe_asset(
    name: str
)

การตรวจสอบคุณภาพข้อมูลด้วย Great Expectations เบื้องต้น