ストリーミングシステムの垂直スケーリング

ストリーミングの基礎概念

Mike Metzger

Data Engineer

なぜスケールするのか？

• 同じデータをより短時間で処理する
• より多くのデータを同時間で処理する
• データをより速く届ける（レイテンシ削減）
• 保証（SLA）を満たす

垂直スケーリング

• 単一システムの能力を強化
• 高速／高性能なコンポーネント
  • CPU、RAM、ディスク、ネットワーク
• いずれもストリーミング性能に影響

CPU／GPU の高速化

• より高速な実行
• より良い実行
  • 新規／改良された命令セット
• GPU処理
  • 機械学習
  • 深層学習
  • 画像処理
  • 行列演算

ストリーミングへの影響

• ストリーミング処理は完了まで止まりません
• アイテムはパイプラインの異なる段階にあり得ますが、総処理能力はシステム性能に制約されます
• ワークロードにより、影響の大きいコンポーネントは異なります
• ベンチマーク／テストしましょう

¡Vamos a practicar!

ストリーミングの基礎概念