데이터 스케줄링

데이터 엔지니어링의 이해

Hadrien Lacroix

Content Developer at DataCamp

스케줄링

• 데이터 처리에 포함된 모든 작업에 적용 가능
• 스케줄링은 시스템을 묶어주는 역할
• 개별 작업을 포함하며 함께 일하는 방식을 정리
• 특정 순서로 작업 실행 및 모든 종속성 해결

수동, 시간 및 센서 스케줄링

• 수동 실행

• 직원 테이블 수동 업데이트

수동, 시간 및 센서 스케줄링

• 수동 실행
• 특정 시간에 자동 실행
• 특정 조건이 충족되면 자동으로 실행
  • 센서 스케줄링

• 직원 테이블 수동 업데이트
• 오전 6시에 직원 테이블 업데이트

수동, 시간 및 센서 스케줄링

• 수동 실행
• 특정 시간에 자동 실행
• 특정 조건이 충족되면 자동으로 실행됩니다
  • 센서 스케줄링

• 직원 테이블 수동 업데이트
• 오전 6시에 직원 테이블 업데이트
• 새 직원이 추가되면 부서 테이블 업데이트

배치와 스트림

• 배치
  • 일정한 간격으로 기록을 묶음
  • 일반적으로 더 저렴
• 스트림
  • 개별 기록 즉시 전송

• 아티스트가 업로드한 노래
• 직원 테이블
• 매출 테이블
• 신규 사용자가 로그인
• 또 다른 예시: 온라인 vs 오프라인 청취

스케줄링 도구

요약

• 스케줄링이란?
• 다양한 설정 방법
• 배치와 스트림의 차이
• Spotflix에서 스케줄링이 구현되는 방식
• Airflow, Luigi

연습해봅시다!

데이터 엔지니어링의 이해