데이터 처리

데이터 엔지니어링의 이해

Hadrien Lacroix

Content Developer at DataCamp

일반적 정의

• 데이터 처리: 원시 데이터를 의미 있는 정보로 변환

데이터 처리의 가치

개념

• 원치 않는 데이터 제거
• 메모리, 연산, 네트워크 비용 최적화
• 데이터를 다른 타입으로 변환

Spotflix

• 테스트 기능 데이터에 장기 보관 불필요
• 큰 파일을 저장하고 스트리밍할 여유 없음

데이터 처리의 가치

개념

• 원치 않는 데이터 제거
• 메모리 절약
• 데이터를 다른 타입으로 변환
• 데이터 정리
• 스키마/구조에 맞추기
• 생산성 향상

Spotflix

• 무손실 형식 불필요
• 큰 파일을 저장할 여유 없음
• .flac에서 .ogg로 노래 변환
• 데이터 레이크의 데이터를 데이터 웨어하우스로 재구성
• 직원 테이블 예시
• 데이터 과학자 업무 지원

데이터 엔지니어의 데이터 처리 방법

• 데이터 조작, 정제, 정돈 작업
  • 자동화 가능
  • 항상 수행해야 하는 작업
• 데이터를 체계적으로 구조화된 데이터베이스에 저장
• 데이터베이스 테이블 위에 뷰 생성
• 데이터베이스 성능 최적화

• 손상된 음악 파일 거부
• 누락된 메타데이터 처리 방식 결정
• 아티스트와 앨범 테이블 분리...
• ...하지만 둘을 결합한 뷰 제공
• 인덱싱

¹ 배치와 스트림의 차이는 다음 강의에서 설명합니다!

요약

• 데이터 처리란?
• 필수적인 이유
• 구성 요소
• Spotflix에서 데이터 처리 방법

연습해봅시다!

데이터 엔지니어링의 이해