데이터 파이프라인
DevOps 개념
Cem Sakarya
DevOps Risk Advisor
데이터 파이프라인
ETL
1
https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
배치 처리
오프라인 데이터를 배치로 이동
배치 처리: 대용량 데이터
요약
데이터 엔지니어링은 인프라 엔지니어링의 핵심 구성 요소입니다
데이터 파이프라인은 데이터 처리를 위한 견고한 도구입니다
배치 처리는 정기 일정, 스트림 처리는 연속 실행
배치 처리는 누적 데이터 처리에 유용합니다
스트림 처리는 실시간 데이터를 다룹니다
연습해 봅시다!
DevOps 개념
Preparing Video For Download...