데이터 엔지니어링과 빅데이터

데이터 엔지니어링의 이해

Hadrien Lacroix

Content Developer at DataCamp

강의 소개

• 개념 강의
• 코딩 없음
• 목표
  • 데이터 엔지니어와 소통할 수 있는 능력
  • 더 많은 것을 배우기 위한 탄탄한 기초 제공

1장

데이터 엔지니어링이란?

1. 데이터 엔지니어링과 빅데이터
2. 데이터 엔지니어 vs. 데이터 과학자
3. 데이터 파이프라인

2장

데이터 저장 방식

1. 정형 데이터 vs 비정형 데이터
2. SQL
3. 데이터 웨어하우스 및 데이터 레이크

3장

데이터 이동 및 처리 방식

1. 데이터 처리
2. 데이터 스케줄링
3. 병렬 컴퓨팅
4. 클라우드 컴퓨팅

$$

$$

$$

데이터 워크플로

데이터 워크플로

데이터 워크플로

데이터 워크플로

데이터 엔지니어

데이터 엔지니어

데이터 엔지니어가 제공하는 것:

• 올바른 데이터
• 적합한 형태로
• 필요한 사람에게
• 최대한 효율적으로

데이터 엔지니어의 책임

• 다양한 출처의 데이터 적재
• 분석용 데이터베이스 최적화
• 손상된 데이터 제거
• 데이터 아키텍처 개발, 구축, 테스트 및 유지 관리

데이터 엔지니어와 빅데이터

• 빅데이터가 표준이 됨 =>

데이터 엔지니어와 빅데이터

• 빅데이터가 표준이 됨 => 데이터 엔지니어 필요성 증가
• 빅 데이터:
  • 방대한 데이터를 어떻게 다룰지 고민 필요
  • 기존 방식으로 처리 불가능

빅데이터의 성장

• 센서 및 장치
• 소셜 미디어
• 기업 데이터
• VoIP(음성 통화, 멀티미디어 세션)

¹ Data Age 2025, Seagate, November 2018

5개의 V

• 규모(Volume): 얼마나 큰지
• 다양성(Variety): 어떤 종류인지
• 속도(Velocity): 얼마나 빠른지
• 정확성(Veracity): 얼마나 정확한지
• 가치(Value): 얼마나 유용한지

요약

• 앞으로 배울 내용
• 조직에서 데이터의 흐름
• 데이터 엔지니어의 개입
• 데이터 엔지니어의 책임
• 데이터 엔지니어링과 빅데이터의 연관성

연습해봅시다!

데이터 엔지니어링의 이해