데이터 파이프라인

데이터 엔지니어링의 이해

Hadrien Lacroix

Content Developer at DataCamp

데이터가 새로운 석유라면...

¹ The Economist, 2017-05-06, by David Parkins

데이터 엔지니어링으로 돌아가기

• 적재
• 처리
• 저장
• 파이프라인 필요
• 다음 단계로의 흐름을 자동화
• 정확하고 관련성 높은 최신 데이터 제공

$$

데이터의 효율적인 흐름을 보장하는 데이터 파이프라인

자동화

• 추출
• 변환
• 결합
• 검증
• 적재

줄이기

• 인간의 개입
• 오류 {{{9}}}
• 데이터가 이동에 걸리는 시간

ETL 및 데이터 파이프라인

ETL

• 데이터 파이프라인을 설계하는 대표적인 프레임워크
• 1) 데이터 추출(Extract)
• 2) 추출된 데이터 변환(Transform)
• 3) 변환된 데이터를 다른 데이터베이스에 적재(Load)

데이터 파이프라인

• 데이터를 하나의 시스템에서 다른 시스템으로 이동
• ETL 방식을 따르기도 함
• 데이터를 변환하지 않을 수도 있음
• 데이터가 애플리케이션에 직접 적재될 수 있음

요약

• 데이터 파이프라인의 개념
• 데이터 파이프라인의 역할
• 데이터 파이프라인이 중요한 이유
• Spotflix에서 데이터 파이프라인을 구현하는 방식
• ETL의 개념과 특징

연습해 봅시다!

데이터 엔지니어링의 이해