Arbeta med Databricks-notebooks

Datatransformation med Spark SQL i Databricks

Disha Mukherjee

Lead Data Engineer

Din instruktör

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Har arbetat på Ford Credit, Just Eat och PayU

 

Foto på instruktören

Datatransformation med Spark SQL i Databricks

$$

Introduction to Databricks SQL

$$

$$

  • Kunskaperna tillämpas i Databricks 🧱

$$

Introduction to PySpark

Datatransformation med Spark SQL i Databricks

Vad du kan förvänta dig

Ikoner för notebooks, data och transformationer

Datatransformation med Spark SQL i Databricks

Vad är Databricks?

Översikt över Databricks-arbetsytan

  • Erbjuder verktyg för dataingenjörsarbete och analys 📊
  • Hanterar konfiguration och skalning åt oss 🔄
Datatransformation med Spark SQL i Databricks

Kluster och Spark

Diagram över drivrutin och workers

  • Spark hanterar stora datamängder effektivt 🚀
  • Övningarna använder serverlös beräkning – samma arkitektur, ingen installation
Datatransformation med Spark SQL i Databricks

Databricks-notebooks

Databricks-notebook med flera celler

Datatransformation med Spark SQL i Databricks

Introduktion till datamängden

Förhandsgranskning av kundtransaktioner

Datatransformation med Spark SQL i Databricks

Unity Catalog Volumes

Catalog-gränssnitt med en volym och alternativet Ladda upp till volym

Datatransformation med Spark SQL i Databricks

Läsa in data i en DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Datatransformation med Spark SQL i Databricks

Granska DataFrame:n

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Datatransformation med Spark SQL i Databricks

Förhandsgranska data

df.show(5, truncate=False)

Förhandsgranskning av utdata i Databricks

Datatransformation med Spark SQL i Databricks

Drivrutinsloggar

Drivrutinsloggar

Datatransformation med Spark SQL i Databricks

Nu kör vi en övning!

Datatransformation med Spark SQL i Databricks

Preparing Video For Download...