Работа с ноутбуками Databricks

Преобразование данных с помощью Spark SQL в Databricks

Disha Mukherjee

Lead Data Engineer

Ваш инструктор

$$

$$

$$

Disha Mukherjee

  • Ведущий инженер данных
  • Работала в Ford Credit, Just Eat и PayU

 

Фото инструктора

Преобразование данных с помощью Spark SQL в Databricks

$$

Introduction to Databricks SQL

$$

$$

  • Навыки будут применяться в Databricks 🧱

$$

Introduction to PySpark

Преобразование данных с помощью Spark SQL в Databricks

Что вас ждёт

Иконки ноутбуков, данных и преобразований

Преобразование данных с помощью Spark SQL в Databricks

Что такое Databricks?

Обзор рабочего пространства Databricks

  • Инструменты для инженерии и аналитики данных 📊
  • Автоматически управляет ресурсами и масштабированием 🔄
Преобразование данных с помощью Spark SQL в Databricks

Кластеры и Spark

Схема драйвера и воркеров

  • Spark эффективно обрабатывает большие наборы данных 🚀
  • В упражнениях используется бессерверные вычисления — та же архитектура, без настройки
Преобразование данных с помощью Spark SQL в Databricks

Ноутбуки Databricks

Ноутбук Databricks с несколькими ячейками

Преобразование данных с помощью Spark SQL в Databricks

Знакомство с набором данных

Предварительный просмотр таблицы транзакций клиентов

Преобразование данных с помощью Spark SQL в Databricks

Тома Unity Catalog

Интерфейс каталога с томом и опцией загрузки в том

Преобразование данных с помощью Spark SQL в Databricks

Загрузка данных в DataFrame

path = "/Volumes/.../default/transactions.csv"
df = spark.read.csv(path, header=True, inferSchema=True)

df:pyspark.sql.connect.dataframe.DataFrame
    ID:integer
    Date:timestamp
    Customer_ID:string
    ....
    Transaction_Status:string
Преобразование данных с помощью Spark SQL в Databricks

Изучение структуры DataFrame

df.printSchema()

root
 |-- ID: integer (nullable = true)
 |-- Date: timestamp (nullable = true)
 ...
 |-- Transaction_Status: string (nullable = true)
Преобразование данных с помощью Spark SQL в Databricks

Предварительный просмотр данных

df.show(5, truncate=False)

Предварительный просмотр вывода в Databricks

Преобразование данных с помощью Spark SQL в Databricks

Логи драйвера

Логи драйвера

Преобразование данных с помощью Spark SQL в Databricks

Давайте потренируемся!

Преобразование данных с помощью Spark SQL в Databricks

Preparing Video For Download...