데이터 연결

Great Expectations로 배우는 데이터 품질 입문

Davina Moossazadeh

Data Scientist

구성요소

GX 구성요소 - 데이터 및 데이터 검증 엔터티를 나타내는 Python 클래스

¹ https://docs.greatexpectations.io/docs/core/introduction/gx_overview

데이터 소스(Data Source) - GX가 외부 데이터 소스에 연결하는 방법을 알려주는 객체

SQL 로고.

Spark 로고.

Pandas 로고.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

데이터 소스(Data Source) - GX가 외부 데이터 소스에 연결하는 방법을 알려주는 객체

SQL 로고.

Spark 로고.

Pandas 로고 — 테두리로 구분됨.

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

.data_sources 속성으로 데이터 소스를 관리하고 .add_pandas() 메서드를 사용합니다:

data_source = context.data_sources.add_pandas(

    name="my_pandas_datasource"
)

참고: GX의 name 매개변수는 Python 변수명과 다릅니다

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

데이터 자산(Data Asset) - 데이터 소스 내 레코드 모음

data_asset = data_source.add_dataframe_asset(

    name="my_dataframe_asset"
)

¹ https://docs.greatexpectations.io/docs/core/connect_to_data/dataframes/

데이터 컨텍스트에서 데이터 소스 생성:

data_source = context.data_sources.add_pandas(
    name: str
)

데이터 소스에서 데이터 자산 생성:

data_asset = data_source.add_dataframe_asset(
    name: str
)

Great Expectations로 배우는 데이터 품질 입문