Основы ноутбуков

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Что такое ноутбук Databricks?

recraft: half: A scientist at a clean modern laboratory workbench with multiple colorful instruments and tools arranged neatly, representing a multi-tool development environment

Интерактивный документ с выполняемыми ячейками кода
Подключается к кластеру для выполнения
Код, результаты и документация — в одном месте
Поддерживает Python, SQL, Scala и R

Магические команды

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.

Доступные магические команды

Команда	Назначение
`%python`	Выполнить код Python
`%sql`	Выполнить SQL-запросы
`%scala`	Выполнить код Scala
`%r`	Выполнить код R
`%md`	Отобразить Markdown
`%sh`	Выполнить команды оболочки

radial: Cluster, python, sql, md, scala, r, sh

Запуск другого ноутбука с помощью %run

%run выполняет другой ноутбук в том же контексте
Функции и переменные становятся доступны
Удобно для многократно используемых утилит и общих настроек

# Load shared helper functions
%run /Shared/utils/data_helpers

# Now use a function defined
# in data_helpers
clean_df = clean_nulls(raw_df)

Интерпретация результатов

Ячейки кода выводят результат прямо под ними
SQL-запросы отображаются в виде интерактивных таблиц
DataFrame выводятся со встроенными параметрами визуализации
Ошибки показывают трассировку стека с номерами строк

recraft: half: A laptop screen displaying a colorful data dashboard with charts, tables, and a code cell, representing notebook output and visualization

Итоги

Ноутбуки — это интерактивные документы, подключённые к кластерам
Магические команды позволяют сочетать Python, SQL, R, Scala и Markdown
%run загружает функции из других ноутбуков в текущий сеанс
Результаты отображаются прямо в ноутбуке — в виде таблиц и диаграмм

Давайте потренируемся!

Введение в Databricks Lakehouse