데이터 파이프라인

데이터 과학 이해하기

Sara Billen

Curriculum Manager

$$ 하나의 소스를 사용한 데이터 수집 및 인제스천

$$ 세 개의 소스가 있는 데이터 수집 및 인제스천

$$

어떻게 확장할까요?

하나 이상의 데이터 소스:

공공 기록
API
데이터베이스

다양한 데이터 유형:

비정형 데이터
표 형식 데이터
실시간 스트리밍 데이터(예: 트윗)

데이터 파이프라인이란 무엇인가요?

데이터를 정의된 단계로 이동합니다
수집 및 스토리지가 자동화됩니다
- 매시간, 매일, 매주 등의 일정
- 이벤트에 의해 트리거됩니다
생성된 알림으로 모니터링됩니다
빅데이터 프로젝트에 필요합니다
데이터 엔지니어는 솔루션을 맞춤화하기 위해 노력합니다
ETL(추출(Extract), 변환(Transform), 로드(Load))

데이터 파이프라인

사례 연구: 스마트 홈

데이터	소스	빈도
날씨 조건	국립기상청 API	30분마다
내 지역의 트윗	Twitter API	실시간 스트림
실내 온도	스마트 홈 온도조절기	5분마다
조명 상태	스마트 전구	1분마다
잠금 상태	스마트 도어 잠금장치	15초마다
에너지 소비	스마트 미터	매주

추출

추출 단계

소스	빈도
국가 기상 API	30분마다
Twitter API	실시간 스트림
스마트 홈 온도 조절기	5분마다
스마트 전구	1분마다
스마트 도어 잠금장치	15초마다
스마트 미터	매주

변환

로드 단계

변환

들어오는 모든 데이터를 체계적으로 정리하고 쉽게 사용하려면 어떻게 할까요?

$$ 예시 변환:

데이터 소스를 하나의 데이터 세트로 결합하기
데이터 구조를 데이터베이스 스키마에 맞게 변환하기
관련 없는 데이터 제거하기

데이터 준비 및 탐색은 이 단계에서 이루어지지 않습니다

로드

로드 단계

자동화

자동화

연습해 봅시다!

데이터 과학 이해하기

Preparing Video For Download...