Praca z notebookami Databricks

Data Transformation with Spark SQL in Databricks

Disha Mukherjee

Lead Data Engineer

Twój instruktor

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Worked at Ford Credit, Just Eat and PayU

 

Instructor photo

Data Transformation with Spark SQL in Databricks

$$

Introduction to Databricks SQL

$$

$$

  • Wiedza z tych kursów przyda się w Databricks 🧱

$$

Introduction to PySpark

Data Transformation with Spark SQL in Databricks

Czego się nauczysz

Ikony notebooków, danych i transformacji

Data Transformation with Spark SQL in Databricks

Czym jest Databricks?

Przegląd przestrzeni roboczej Databricks

  • Udostępnia narzędzia do inżynierii i analizy danych 📊
  • Sam zajmuje się konfiguracją i skalowaniem 🔄
Data Transformation with Spark SQL in Databricks

Klastry i Spark

Diagram sterownika i węzłów roboczych

  • Spark sprawnie przetwarza duże zbiory danych 🚀
  • Ćwiczenia korzystają z obliczenia bezserwerowego — ta sama architektura, bez konfiguracji
Data Transformation with Spark SQL in Databricks

Notebooki Databricks

Notes Databricks z wieloma komórkami

Data Transformation with Spark SQL in Databricks

Wprowadzenie do zbioru danych

Podgląd tabeli transakcji klientów

Data Transformation with Spark SQL in Databricks

Woluminy Unity Catalog

Interfejs katalogu z woluminem i opcją przesyłania plików

Data Transformation with Spark SQL in Databricks

Wczytywanie danych do DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Data Transformation with Spark SQL in Databricks

Przeglądanie struktury DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Data Transformation with Spark SQL in Databricks

Podgląd danych

df.show(5, truncate=False)

Podgląd wyników w Databricks

Data Transformation with Spark SQL in Databricks

Logi sterownika

Logi sterownika

Data Transformation with Spark SQL in Databricks

Czas na praktykę!

Data Transformation with Spark SQL in Databricks

Preparing Video For Download...