การทำงานกับ Databricks notebooks

การแปลงข้อมูลด้วย Spark SQL ใน Databricks

Disha Mukherjee

Lead Data Engineer

ผู้สอน

Disha Mukherjee

รูปผู้สอน

Introduction to Databricks SQL

Introduction to PySpark

ไอคอนของ notebooks, ข้อมูล, และการแปลงข้อมูล

ภาพรวม Databricks workspace

ไดอะแกรม driver และ workers

Databricks notebook ที่มีหลาย cell

ตัวอย่างตารางธุรกรรมของลูกค้า

Catalog UI แสดง volume พร้อมตัวเลือก Upload to volume

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)

df.show(5, truncate=False)

ดูตัวอย่างผลลัพธ์ใน Databricks

การแปลงข้อมูลด้วย Spark SQL ใน Databricks