Azure のデータ処理

Microsoft Azure を理解する

Kevin James

Technical Lead and Training Architect

リアルタイム vs バッチ処理

• サービス選定前に処理タイプを検討: リアルタイムかバッチか
• リアルタイム: 即時分析
• バッチ: 定期・随時の分析

リアルタイム vs バッチ処理

• サービス選定前に処理タイプを検討
• リアルタイム: 即時分析
• バッチ: 定期・随時の分析
• 例（医療）:
  • リアルタイム: 救急ダッシュボード
  • バッチ: 週次更新のダッシュボード
• インフラとコストに差異

ETL プロセス

ETL プロセス

ETL プロセス

処理ツール

Azure Synapse Analytics

• Microsoft Fabric の一部
  • ビッグデータと DWH を統合
• 取り込み・準備・管理・提供を一体化
• リアルタイムとバッチをサポート
• 高速な分析エンジンとして機能

Azure Stream Analytics

• リアルタイムのデータアクセスを提供
• シンプルなクエリ定義で即時分析を構築
• Blob など多様な入力のストリーミングに対応
• 即時インサイトに必須:
  • 銀行の不正検知
  • 株式市場の動的プライシング

Azure Databricks

• Microsoft と Databricks の協業
  • Azure 向け最適化の分析基盤
• データ工学・分析・機械学習を統合
• データサイエンティストとエンジニアの共同作業空間
• Data Lake をネイティブ対応
• リアルタイムとバッチ対応

Azure Data Factory

• クラウド型の統合サービス
• データワークフローの作成・スケジュール・オーケストレーション
• ETL を効率化
• 多様なデータソースと形式に対応
• 自動化で柔軟性を確保

Azure HDInsight

• 高速でカスタマイズ可能なマネージド処理サービス
• 利用プラットフォーム:
  • Hadoop
  • Spark
  • Kafka
• 需要に応じた容易なスケール
• Azure ストレージとシームレス連携

Ayo berlatih!

Microsoft Azure を理解する