데이터 파이프라인

DevOps 개념

Cem Sakarya

DevOps Risk Advisor

데이터 파이프라인

마이크로서비스는 API로 통신합니다. 또한 데이터 파이프라인을 통해 독립 데이터베이스와 상호작용합니다. 데이터 파이프라인이 강조되어 있습니다.

DevOps 개념

ETL

추출; 변환; 적재

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
DevOps 개념

배치 처리

배치 처리 데이터 파이프라인이 마이크로서비스에서 데이터를 받아 처리한 뒤 독립 데이터베이스에 적재합니다.

  • 오프라인 데이터를 배치로 이동
  • 배치 처리: 대용량 데이터
DevOps 개념

여러 사용자가 동시에 백엔드에 연결합니다.

DevOps 개념

사용자 연결은 수집 API를 통해 백엔드로 수집됩니다.

DevOps 개념

사용자 연결은 스트리밍 데이터 파이프라인을 통해 다양한 마이크로서비스로 라우팅됩니다.

DevOps 개념

요약

 

  • 데이터 엔지니어링은 인프라 엔지니어링의 핵심 구성 요소입니다
  • 데이터 파이프라인은 데이터 처리를 위한 견고한 도구입니다
  • 배치 처리는 정기 일정, 스트림 처리는 연속 실행
  • 배치 처리는 누적 데이터 처리에 유용합니다
  • 스트림 처리는 실시간 데이터를 다룹니다
DevOps 개념

연습해 봅시다!

DevOps 개념

Preparing Video For Download...