Bekerja dengan notebook Databricks

Transformasi Data dengan Spark SQL di Databricks

Disha Mukherjee

Lead Data Engineer

Instruktur Anda

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Pernah bekerja di Ford Credit, Just Eat, dan PayU

 

Foto instruktur

Transformasi Data dengan Spark SQL di Databricks

$$

Pengantar Databricks SQL

$$

$$

  • Akan menerapkan keterampilan di dalam Databricks 🧱

$$

Pengantar PySpark

Transformasi Data dengan Spark SQL di Databricks

Apa yang diharapkan

Ikon untuk notebook, data, transformasi

Transformasi Data dengan Spark SQL di Databricks

Apa itu Databricks?

Gambaran ruang kerja Databricks

  • Menyediakan alat untuk rekayasa dan analitik 📊
  • Menangani provisioning dan penskalaan untuk kita 🔄
Transformasi Data dengan Spark SQL di Databricks

Cluster dan Spark

Diagram driver dan worker

  • Spark menangani himpunan data besar secara efisien 🚀
  • Latihan menggunakan serverless compute - arsitektur sama, tanpa penyiapan
Transformasi Data dengan Spark SQL di Databricks

Notebook Databricks

Notebook Databricks dengan banyak sel

Transformasi Data dengan Spark SQL di Databricks

Pengantar himpunan data

Pratinjau tabel transaksi pelanggan

Transformasi Data dengan Spark SQL di Databricks

Unity Catalog Volumes

UI Catalog menampilkan volume dengan opsi Upload to volume

Transformasi Data dengan Spark SQL di Databricks

Memuat data ke dalam DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Transformasi Data dengan Spark SQL di Databricks

Memeriksa DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Transformasi Data dengan Spark SQL di Databricks

Pratinjau data

df.show(5, truncate=False)

Pratinjau Hasil di Databricks

Transformasi Data dengan Spark SQL di Databricks

Log driver

Log driver

Transformasi Data dengan Spark SQL di Databricks

Ayo berlatih!

Transformasi Data dengan Spark SQL di Databricks

Preparing Video For Download...