Azureにおけるデータ処理

Microsoft Azure を理解する

Kevin James

Technical Lead and Training Architect

リアルタイム処理とバッチ処理

• サービス選択前に処理タイプを検討：リアルタイムまたはバッチ
• リアルタイム：即時分析
• バッチ：スケジュール実行またはアドホック分析

リアルタイム処理とバッチ処理

• サービス選択前に処理タイプを検討
• リアルタイム：即時分析
• バッチ：スケジュール実行またはアドホック分析
• 医療分野の例：
  • リアルタイム - 病院の救急ダッシュボード
  • バッチ - 週次更新のダッシュボード
• インフラとコストへの影響が異なる

ETLプロセス

ETLプロセス

ETLプロセス

処理ツール

Azure Synapse Analytics

• Microsoft Fabricの一部
  • ビッグデータとデータウェアハウスを統合
• データの取り込み・準備・管理・配信を一元化
• リアルタイム処理とバッチ処理に対応
• 高性能な分析エンジンとして機能

Azure Stream Analytics

• リアルタイムのデータアクセスを実現
• シンプルなクエリ定義でリアルタイム分析を設定
• Blobストレージなど多様な入力からのデータストリームを処理
• 即時インサイトの取得に不可欠：
  • 銀行における不正検出
  • 株式市場のダイナミックプライシング

Azure Databricks

• MicrosoftとDatabricksの共同開発
  • Azure向けに最適化された分析プラットフォーム
• データエンジニアリング・分析・機械学習の統合環境
• データサイエンティストとエンジニアの協働ワークスペース
• Data Lake組み込みサポート
• リアルタイムおよびバッチ処理に対応

Azure Data Factory

• クラウドベースの統合サービス
• データワークフローの作成・スケジューリング・オーケストレーション
• ETLプロセスの効率化
• 多様なデータソースと形式に対応
• 柔軟なワークフローの自動化

Azure HDInsight

• 高速かつカスタマイズ可能なデータ処理のマネージドサービス
• 主要なオープンソースプラットフォームで動作：
  • Hadoop
  • Spark
  • Kafka
• 需要に応じてリソースを容易にスケール
• Azureストレージソリューションとシームレスに連携

では、練習しましょう！

Microsoft Azure を理解する