Práce s notebooky v Databricks

Transformace dat pomocí Spark SQL v Databricks

Disha Mukherjee

Lead Data Engineer

Tvoje instruktorka

$$

$$

$$

Disha Mukherjee

  • Lead Data Engineer
  • Worked at Ford Credit, Just Eat and PayU

 

Foto instruktorky

Transformace dat pomocí Spark SQL v Databricks

$$

Introduction to Databricks SQL

$$

$$

  • Dovednosti využijeme přímo v Databricks 🧱

$$

Introduction to PySpark

Transformace dat pomocí Spark SQL v Databricks

Co tě čeká

Ikony pro notebooky, data a transformace

Transformace dat pomocí Spark SQL v Databricks

Co je Databricks?

Přehled prostředí Databricks

  • Nástroje pro engineering i analytiku 📊
  • Provisioning a škálování zajišťuje za nás 🔄
Transformace dat pomocí Spark SQL v Databricks

Clustery a Spark

Diagram driveru a workerů

  • Spark efektivně zpracovává velké datové sady 🚀
  • Cvičení využívají serverless compute – stejná architektura, žádné nastavení
Transformace dat pomocí Spark SQL v Databricks

Notebooky v Databricks

Databricks notebook s více buňkami

Transformace dat pomocí Spark SQL v Databricks

Představení datové sady

Náhled tabulky zákaznických transakcí

Transformace dat pomocí Spark SQL v Databricks

Unity Catalog Volumes

Catalog UI zobrazující volume s možností nahrání souboru

Transformace dat pomocí Spark SQL v Databricks

Načtení dat do DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Transformace dat pomocí Spark SQL v Databricks

Prozkoumání DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Transformace dat pomocí Spark SQL v Databricks

Náhled dat

df.show(5, truncate=False)

Náhled výstupů v Databricks

Transformace dat pomocí Spark SQL v Databricks

Logy driveru

Logy driveru

Transformace dat pomocí Spark SQL v Databricks

Pojďme cvičit!

Transformace dat pomocí Spark SQL v Databricks

Preparing Video For Download...