並列コンピューティング

データエンジニアリングの理解

Hadrien Lacroix

Content Developer at DataCamp

並列コンピューティング

• 現代のデータ処理ツールの基礎
• 必要:
  • 主にメモリのために
  • また処理能力のためにも
• 仕組み:
  • タスクを複数の小さなサブタスクに分割する
  • これらのサブタスクを複数のコンピューターに分散する

¹ 絵文字提供：Mohamed Hassan

並列コンピューティングの利点とリスク

• 従業員 = 処理ユニット
• 利点
  • 追加の処理能力
  • メモリフットプリントを削減
• デメリット
  • データの移動にはコストがかかります
  • コミュニケーション時間

概要

• 利点とリスク
• Spotflixでどのように実装されているか

練習しましょう！

データエンジニアリングの理解