Робота з ноутбуками Databricks

Перетворення даних за допомогою Spark SQL у Databricks

Disha Mukherjee

Lead Data Engineer

Ваш інструктор

$$

$$

$$

Disha Mukherjee

  • Провідна інженерка даних
  • Працювала у Ford Credit, Just Eat і PayU

 

Фото інструкторки

Перетворення даних за допомогою Spark SQL у Databricks

$$

Вступ до Databricks SQL

$$

$$

  • Ви застосуєте навички безпосередньо в Databricks 🧱

$$

Вступ до PySpark

Перетворення даних за допомогою Spark SQL у Databricks

Чого очікувати

Піктограми для ноутбуків, даних, перетворень

Перетворення даних за допомогою Spark SQL у Databricks

Що таке Databricks?

Огляд робочого простору Databricks

  • Надає інструменти для інженерії та аналітики 📊
  • Бере на себе підготовку й масштабування кластерів 🔄
Перетворення даних за допомогою Spark SQL у Databricks

Кластери та Spark

Схема драйвера та воркерів

  • Spark ефективно обробляє великі набори даних 🚀
  • У вправах використовується serverless compute — та сама архітектура, без налаштування
Перетворення даних за допомогою Spark SQL у Databricks

Ноутбуки Databricks

Ноутбук Databricks із кількома комірками

Перетворення даних за допомогою Spark SQL у Databricks

Знайомство з набором даних

Перегляд таблиці транзакцій клієнтів

Перетворення даних за допомогою Spark SQL у Databricks

Unity Catalog Volumes

Інтерфейс Catalog із томом та опцією Upload to volume

Перетворення даних за допомогою Spark SQL у Databricks

Завантаження даних у DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Перетворення даних за допомогою Spark SQL у Databricks

Огляд структури DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Перетворення даних за допомогою Spark SQL у Databricks

Попередній перегляд даних

df.show(5, truncate=False)

Перегляд результатів у Databricks

Перетворення даних за допомогою Spark SQL у Databricks

Журнали драйвера

Журнали драйвера

Перетворення даних за допомогою Spark SQL у Databricks

Давайте потренуємось!

Перетворення даних за допомогою Spark SQL у Databricks

Preparing Video For Download...