Azure 的資料處理

認識 Microsoft Azure

Kevin James

Technical Lead and Training Architect

即時 vs 批次處理

• 選服務前先決定處理型態：即時或批次。
• 即時：立即分析
• 批次：排程或臨時分析

即時 vs 批次處理

• 選服務前先決定處理型態
• 即時：立即分析
• 批次：排程或臨時分析
• 醫療情境範例：
  • 即時－醫院急診儀表板
  • 批次－每週更新的儀表板
• 不同架構與成本影響

ETL 流程

ETL 流程

ETL 流程

處理工具

Azure Synapse Analytics

• Microsoft Fabric 的一部分
  • 整合大數據與資料倉儲
• 資料擷取、準備、管理與交付的一體化體驗
• 同時支援即時洞察與批次處理
• 如同強化的分析引擎

Azure Stream Analytics

• 讓你即時存取資料
• 以簡潔查詢設定即時分析
• 處理來自各種來源（如 blob 儲存）的串流
• 取得即時洞察的關鍵：
  • 銀行詐騙偵測
  • 股市動態定價

Azure Databricks

• Microsoft 與 Databricks 合作
  • 為 Azure 最佳化的分析平台
• 整合資料工程、分析與機器學習的環境
• 資料科學家與工程師的協作工作區
• 內建 Data Lake 支援
• 支援即時與批次

Azure Data Factory

• 雲端整合服務
• 建立、排程、協調資料工作流程
• 精簡 ETL 流程
• 支援多元資料來源與格式
• 自動化流程，提升彈性

Azure HDInsight

• 受管服務，提供快速且可自訂的資料處理
• 執行於常見開源平台：
  • Hadoop
  • Spark
  • Kafka
• 依需求輕鬆擴縮資源
• 與 Azure 儲存體無縫連接

一起來練習吧！

認識 Microsoft Azure