Làm việc với notebook Databricks

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Disha Mukherjee

Lead Data Engineer

Giảng viên của bạn

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Từng làm tại Ford Credit, Just Eat và PayU

 

Ảnh giảng viên

Chuyển đổi dữ liệu với Spark SQL trong Databricks

$$

Giới thiệu Databricks SQL

$$

$$

  • Sẽ áp dụng kỹ năng ngay trong Databricks 🧱

$$

Giới thiệu PySpark

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Bạn sẽ học gì

Biểu tượng cho notebooks, dữ liệu, biến đổi

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Databricks là gì?

Tổng quan không gian làm việc Databricks

  • Cung cấp công cụ cho engineering và analytics 📊
  • Tự lo cung cấp tài nguyên và mở rộng cho bạn 🔄
Chuyển đổi dữ liệu với Spark SQL trong Databricks

Cluster và Spark

Sơ đồ driver và worker

  • Spark xử lý tập dữ liệu lớn hiệu quả 🚀
  • Bài tập dùng serverless compute - cùng kiến trúc, không cần cài đặt
Chuyển đổi dữ liệu với Spark SQL trong Databricks

Notebook Databricks

Notebook Databricks với nhiều ô lệnh

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Giới thiệu dữ liệu mẫu

Bảng xem trước giao dịch khách hàng

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Unity Catalog Volumes

Giao diện Catalog hiển thị volume với tùy chọn Upload to volume

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Nạp dữ liệu vào DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Chuyển đổi dữ liệu với Spark SQL trong Databricks

Khám phá DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Chuyển đổi dữ liệu với Spark SQL trong Databricks

Xem nhanh dữ liệu

df.show(5, truncate=False)

Xem trước đầu ra trong Databricks

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Driver logs

Driver logs

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Cùng luyện tập nào!

Chuyển đổi dữ liệu với Spark SQL trong Databricks

Preparing Video For Download...