使用 Databricks 筆記本

在 Databricks 使用 Spark SQL 進行資料轉換

Disha Mukherjee

Lead Data Engineer

你的講師

$$

$$

$$

Disha Mukherjee

  • 首席資料工程師
  • 曾任職於 Ford Credit、Just Eat、PayU

 

講師照片

在 Databricks 使用 Spark SQL 進行資料轉換

$$

Databricks SQL 入門

$$

$$

  • 會在 Databricks 內實作技巧 🧱

$$

PySpark 入門

在 Databricks 使用 Spark SQL 進行資料轉換

課程重點

筆記本、資料、轉換的圖示

在 Databricks 使用 Spark SQL 進行資料轉換

什麼是 Databricks？

Databricks 工作區總覽

  • 提供工程與分析工具 📊
  • 代管資源配置與擴縮 🔄
在 Databricks 使用 Spark SQL 進行資料轉換

叢集與 Spark

Driver 與 workers 的示意圖

  • Spark 高效處理大型資料集 🚀
  • 練習使用 serverless compute：同架構，免設定
在 Databricks 使用 Spark SQL 進行資料轉換

Databricks 筆記本

含多個儲存格的 Databricks 筆記本

在 Databricks 使用 Spark SQL 進行資料轉換

資料集介紹

顧客交易資料表預覽

在 Databricks 使用 Spark SQL 進行資料轉換

Unity Catalog Volumes

Catalog 介面顯示具有 Upload to volume 選項的 volume

在 Databricks 使用 Spark SQL 進行資料轉換

將資料載入 DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
在 Databricks 使用 Spark SQL 進行資料轉換

檢視 DataFrame 結構

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
在 Databricks 使用 Spark SQL 進行資料轉換

預覽資料

df.show(5, truncate=False)

在 Databricks 中預覽輸出

在 Databricks 使用 Spark SQL 進行資料轉換

Driver 日誌

Driver logs

在 Databricks 使用 Spark SQL 進行資料轉換

一起來練習吧！

在 Databricks 使用 Spark SQL 進行資料轉換

Preparing Video For Download...