并行计算

理解 Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

并行计算

• 现代数据处理工具的基础
• 必要性：
  • 主要因内存限制
  • 也为获取算力
• 工作原理：
  • 将任务拆分为更小子任务
  • 将子任务分配到多台计算机

¹ 表情符号由 Mohamed Hassan 提供

并行计算的利弊

• 员工 = 处理单元
• 优点
  • 额外算力
  • 降低内存占用
• 缺点
  • 数据搬移有开销
  • 通信耗时

小结

• 利弊
• 在 Spotflix 的实现方式

开始练习！

理解 Data Engineering