Arbeiten mit Databricks-Notebooks

Daten­transformation mit Spark SQL in Databricks

Disha Mukherjee

Lead Data Engineer

Deine Kursleiterin

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • arbeitete bei Ford Credit, Just Eat und PayU

 

Foto der Kursleiterin

Daten­transformation mit Spark SQL in Databricks

$$

Einführung in Databricks SQL

$$

$$

  • Du wendest deine Skills direkt in Databricks an 🧱

$$

Einführung in PySpark

Daten­transformation mit Spark SQL in Databricks

Was dich erwartet

Symbole für Notebooks, Daten, Transformationen

Daten­transformation mit Spark SQL in Databricks

Was ist Databricks?

Databricks-Workspace-Übersicht

  • Bietet Tools für Engineering und Analytics 📊
  • Übernimmt Bereitstellung und Skalierung für uns 🔄
Daten­transformation mit Spark SQL in Databricks

Cluster und Spark

Diagramm von Driver und Workern

  • Spark verarbeitet große Datensätze effizient 🚀
  • Übungen nutzen serverless compute – gleiche Architektur, kein Setup
Daten­transformation mit Spark SQL in Databricks

Databricks-Notebooks

Databricks-Notebook mit mehreren Zellen

Daten­transformation mit Spark SQL in Databricks

Datensatz: Einführung

Vorschau einer Tabelle mit Kundentransaktionen

Daten­transformation mit Spark SQL in Databricks

Unity Catalog Volumes

Catalog-UI mit Volume und Upload-to-volume-Option

Daten­transformation mit Spark SQL in Databricks

Daten in ein DataFrame laden

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Daten­transformation mit Spark SQL in Databricks

DataFrame prüfen

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Daten­transformation mit Spark SQL in Databricks

Daten ansehen

df.show(5, truncate=False)

Ausgaben in Databricks in der Vorschau ansehen

Daten­transformation mit Spark SQL in Databricks

Driver-Logs

Driver-Logs

Daten­transformation mit Spark SQL in Databricks

Lass uns üben!

Daten­transformation mit Spark SQL in Databricks

Preparing Video For Download...