병렬 컴퓨팅

데이터 엔지니어링의 이해

Hadrien Lacroix

Content Developer at DataCamp

병렬 컴퓨팅

• 현대 데이터 처리 도구의 기초
• 필요한 이유:
  • 주로 메모리 때문
  • 처리 성능 측면에서도 중요
• 작업 수행 방법:
  • 작업을 작은 하위 작업 여러 개로 나누기
  • 다수의 컴퓨터에 하위 작업 분산

¹ 모하메드 하산의 이모지

병렬 컴퓨팅의 장단점

• 직원 = 처리 유닛
• 장점
  • 추가 처리 능력
  • 메모리 사용량 감소
• 단점
  • 데이터 이동에 비용 발생
  • 통신 시간

요약

• 이점과 위험
• Spotflix에서의 구현 방식

연습해봅시다!

데이터 엔지니어링의 이해