Notebook 基礎

Databricks Lakehouse 入門

Gang Wang

Senior Data Scientist

什麼是 Databricks notebook？

$$

recraft: half: 一位科學家在整潔現代的實驗室工作台前，擺放多種色彩繽紛的儀器與工具，象徵多工具的開發環境

$$

  • 可互動的程式碼儲存格文件
  • 連接至叢集以執行
  • 同處呈現程式碼、結果與說明
  • 支援 Python、SQL、Scala、R
Databricks Lakehouse 入門

魔術指令（Magic commands）

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.
Databricks Lakehouse 入門

可用的魔術指令

$$

Command Purpose
%python 執行 Python 程式碼
%sql 執行 SQL 查詢
%scala 執行 Scala 程式碼
%r 執行 R 程式碼
%md 轉譯 Markdown
%sh 執行 shell 指令

$$

radial: Cluster、python、sql、md、scala、r、sh

Databricks Lakehouse 入門

用 %run 執行另一個 notebook

$$

  • %run 會在「相同脈絡」執行另一個 notebook
  • 其函式與變數可直接使用
  • 適合製作可重用工具與共用設定

$$

# 載入共用輔助函式
%run /Shared/utils/data_helpers

# 現在可使用 data_helpers 中
# 定義的函式
clean_df = clean_nulls(raw_df)
Databricks Lakehouse 入門

解讀結果

$$

  • 程式碼儲存格在下方直接顯示「輸出」
  • SQL 查詢會呈現為可互動的表格
  • DataFrame 可用內建「視覺化」選項
  • 錯誤會顯示含行號的堆疊追蹤

$$

recraft: half: 筆電螢幕顯示多彩的資料儀表板，含圖表、表格與程式碼儲存格，代表 notebook 輸出與視覺化

Databricks Lakehouse 入門

重點整理

$$

  • Notebook 是連到叢集的「可互動文件」
  • 透過「魔術指令」可混用 Python、SQL、R、Scala 與 Markdown
  • %run 可將其他 notebook 的函式載入到你的工作階段
  • 結果內嵌呈現，並提供內建「表格與圖表」
Databricks Lakehouse 入門

一起來練習吧！

Databricks Lakehouse 入門

Preparing Video For Download...