資料智慧平台－運算

Databricks 入門

Kevin Barlow

Data Practitioner

為何組織重視運算？

單一齒輪

齒輪系統

Databricks 入門

Apache Spark

  • 由 Databricks 共同創辦人打造
  • 開源框架
  • 高效能分散式運算
  • 提供 Python、SQL、Scala、R 的 API
  • 適用各種情境：
    • 從資料工程到機器學習與商業智慧

快來看看 DataCamp 上的部分 Apache Spark 課程！

Apache Spark 標誌

Databricks 入門

叢集類型

Classic

  • 運算資源（虛擬機）建立於 Compute Plane
  • Databricks 於你的雲端提供設定
  • _優點_：運算與安全在你的環境、可沿用既有運算池等
  • _缺點_：啟動較慢

Databricks 控制平面

Databricks 入門

叢集類型

Serverless

  • 運算資源（虛擬機）建立於 Control Plane
  • Databricks 提供使用者存取
  • _優點_：啟動快、最新功能、效能最佳，且 Databricks 會持續提升表現
  • 可能缺點：運算不在你的環境中

無伺服器架構

Databricks 入門

單節點 vs. 多節點

單節點

  • 僅含 Driver Node 的叢集
  • 仍可執行 Spark
  • 也可執行單節點框架（如 pandas）
  • 適合較小型資料集

單節點叢集

多節點

  • 含一個 Driver Node 與一個以上 Worker Node 的叢集
  • Spark 可將工作分散到多個節點
  • 適合較大型資料集

多節點叢集

Databricks 入門

Databricks Runtime

  • 安裝於每個 Databricks 叢集
    • 最佳化的 Apache Spark 版本
    • Photon 加速 SQL 查詢
    • 常用函式庫（如 pandas、dplyr、scikit-learn）
    • 與 Databricks 服務連線的邏輯

一般建議：使用最新的 Long Term Support（LTS）版 Runtime

含 Databricks Runtime 的叢集

Databricks 入門

一起來練習吧！

Databricks 入門

Preparing Video For Download...