Notebook 基础

Databricks Lakehouse 入门

Gang Wang

Senior Data Scientist

什么是 Databricks notebook？

$$

recraft: half: 一位科学家在整洁现代的实验台前操作，多种彩色仪器井然排列，代表多工具开发环境

$$

  • 可交互的可运行代码单元文档
  • 连接到 cluster 执行
  • 代码、结果、文档同处一处
  • 支持 Python、SQL、Scala 和 R
Databricks Lakehouse 入门

Magic 命令

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## 分析备注
东北地区收入**最高**。
Databricks Lakehouse 入门

可用的 Magic 命令

$$

命令 作用
%python 运行 Python 代码
%sql 运行 SQL 查询
%scala 运行 Scala 代码
%r 运行 R 代码
%md 渲染 Markdown
%sh 运行 shell 命令

$$

radial: Cluster、python、sql、md、scala、r、sh

Databricks Lakehouse 入门

用 %run 运行另一份 notebook

$$

  • %run 在同一上下文执行另一份 notebook
  • 函数和变量可直接使用
  • 适合复用工具与共享配置

$$

# 加载共享的辅助函数
%run /Shared/utils/data_helpers

# 现在使用 data_helpers 中定义的函数
clean_df = clean_nulls(raw_df)
Databricks Lakehouse 入门

解读结果

$$

  • 代码单元在其下方直接显示输出
  • SQL 查询渲染为可交互表格
  • DataFrame 内置可视化选项
  • 错误显示带行号的堆栈跟踪

$$

recraft: half: 笔记本电脑屏幕显示彩色数据仪表盘，含图表、表格和代码单元，代表输出与可视化

Databricks Lakehouse 入门

小结

$$

  • Notebook 是连接到 cluster 的交互文档
  • Magic 命令可混用 Python、SQL、R、Scala 和 Markdown
  • %run 将其他 notebook 的函数加载到您的会话
  • 结果内联呈现，内置表格与图表
Databricks Lakehouse 入门

让我们一起练习吧！

Databricks Lakehouse 入门

Preparing Video For Download...