使用 Databricks 笔记本

在 Databricks 中使用 Spark SQL 进行数据转换

Disha Mukherjee

Lead Data Engineer

您的讲师

$$

$$

$$

Disha Mukherjee

  • 首席数据工程师
  • 曾就职于 Ford Credit、Just Eat 和 PayU

 

讲师照片

在 Databricks 中使用 Spark SQL 进行数据转换

$$

Databricks SQL 入门

$$

$$

  • 将在 Databricks 中应用所学技能 🧱

$$

PySpark 入门

在 Databricks 中使用 Spark SQL 进行数据转换

课程概览

笔记本、数据、转换的图标

在 Databricks 中使用 Spark SQL 进行数据转换

什么是 Databricks？

Databricks 工作区概览

  • 提供工程与分析工具 📊
  • 代管资源与伸缩 🔄
在 Databricks 中使用 Spark SQL 进行数据转换

集群与 Spark

driver 与 workers 示意图

  • Spark 高效处理大数据集 🚀
  • 练习使用 serverless compute：同架构，无需配置
在 Databricks 中使用 Spark SQL 进行数据转换

Databricks 笔记本

含多单元格的 Databricks 笔记本

在 Databricks 中使用 Spark SQL 进行数据转换

数据集介绍

客户交易表预览

在 Databricks 中使用 Spark SQL 进行数据转换

Unity Catalog Volumes

Catalog 界面显示带有"Upload to volume"选项的 volume

在 Databricks 中使用 Spark SQL 进行数据转换

将数据加载到 DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
在 Databricks 中使用 Spark SQL 进行数据转换

查看 DataFrame 结构

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
在 Databricks 中使用 Spark SQL 进行数据转换

预览数据

df.show(5, truncate=False)

在 Databricks 中预览输出

在 Databricks 中使用 Spark SQL 进行数据转换

Driver 日志

Driver 日志

在 Databricks 中使用 Spark SQL 进行数据转换

让我们一起练习吧！

在 Databricks 中使用 Spark SQL 进行数据转换

Preparing Video For Download...