データ処理

現代のデータアーキテクチャを理解する

Miller Trujillo

Senior Software Engineer

データ処理とは

• 探索
• データ品質：検査と変換
• 分析
• 集計
• 変換

バッチ処理

• バッチとストリーミング
• 固定量のデータ

ストリーミング処理

固定時間ウィンドウ

スライディング時間ウィンドウ

¹ https://beam.apache.org/documentation/programming-guide/#windowing

ストリーミングの基本概念

• 生成時刻
• 到着時刻
• ウォーターマーク
• 遅延データ
• 新規処理のトリガー

処理技術

ユースケース	ソリューション	クラウドソリューション
バッチ／ストリーミング、ビッグデータ、クラスター	Apache Spark、Flink、Beam	AWS EMR、AWS Glue、Google Dataproc、Google Dataflow
バッチ／ストリーミング、ビッグデータ、サーバーレス（サーバーはプロバイダーが完全管理）	Apache Spark、Beam	AWS Glue、Google Dataflow
個々のイベント、簡易処理、サーバー常時稼働なしで24/7対応	一般的なプログラミング言語：Python、Javascript、C#、Java、Go	AWS Lambda、Google Cloud Functions

¡Vamos a practicar!

現代のデータアーキテクチャを理解する