데이터 파이프라인 수동 테스트

Python으로 ETL과 ELT

Jake Roach

Data Engineer

데이터 파이프라인 테스트

데이터 파이프라인은 철저히 테스트해야 합니다

추출, 변환, 적재가 예상대로 수행되는지 검증

파이프라인 검증은 배포 후 유지보수를 줄입니다

데이터 품질 문제 식별 및 수정
데이터 신뢰성 향상

데이터 파이프라인 테스트 도구와 기법

엔드 투 엔드 테스트
체크포인트에서 데이터 검증
단위 테스트

테스트와 운영 환경

데이터 파이프라인 구축 및 실행을 위한 테스트/운영 환경.

파이프라인 엔드 투 엔드 테스트

데이터 파이프라인의 엔드 투 엔드 테스트.

엔드 투 엔드 테스트

반복 실행 시 파이프라인이 정상 동작하는지 확인
파이프라인 체크포인트에서 데이터 검증
동료 검토 수행, 피드백 반영
소비자 접근성과 만족도 보장

파이프라인 체크포인트 검증

# Extract, transform, and load data as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)
print(loaded_data.shape)

(6438, 4)

print(loaded_data.head())

         timestamps      volume      open     close                            
1997-05-15 13:30:00  1443120000  0.121875  0.097917
1997-05-16 13:30:00   294000000  0.098438  0.086458
1997-05-19 13:30:00   122136000  0.088021  0.085417

DataFrame 검증

# Extract, transform, and load data, as part of a pipeline
...

# Take a look at the data made available in a Postgres database
loaded_data = pd.read_sql("SELECT * FROM clean_stock_data", con=db_engine)

# Compare the two DataFrames.
print(clean_stock_data.equals(loaded_data))

True

¡Vamos a practicar!

Python으로 ETL과 ELT