Основи Notebook

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Що таке ноутбук Databricks?

recraft: half: Науковець за чистим сучасним лабораторним столом із багатьма яскравими інструментами та приладами, що охайно розкладені, уособлюючи багатофункційне середовище розробки

Інтерактивний документ із виконуваними кодовими комірками
Під'єднаний до кластера для виконання
Поєднує код, результати й документацію в одному місці
Підтримує Python, SQL, Scala та R

Магічні команди

# Default language: Python
df = spark.table("silver_taxi_trips")
display(df)

%sql
SELECT COUNT(*) AS total_trips
FROM silver_taxi_trips

%md
## Analysis notes
Revenue is **highest** in the Northeast region.

Доступні магічні команди

Команда	Призначення
`%python`	Запуск коду Python
`%sql`	Запуск запитів SQL
`%scala`	Запуск коду Scala
`%r`	Запуск коду R
`%md`	Відтворення Markdown
`%sh`	Запуск команд оболонки

radial: Кластер, python, sql, md, scala, r, sh

Запуск іншого ноутбука через %run

%run запускає інший ноутбук у тому ж контексті
Функції та змінні стають доступними
Зручно для повторно використовуваних утиліт і спільних налаштувань

# Завантажити спільні допоміжні функції
%run /Shared/utils/data_helpers

# Тепер використайте функцію, визначену
# в data_helpers
clean_df = clean_nulls(raw_df)

Інтерпретація результатів

Кодові комірки показують результат одразу під ними
SQL-запити відображаються як інтерактивні таблиці
DataFrame'и показуються з вбудованими параметрами візуалізації
Помилки містять трасування стека з номерами рядків

recraft: half: Екран ноутбука з яскравою панеллю даних: графіки, таблиці та кодова комірка, що уособлюють результати та візуалізацію в ноутбуці

Підсумок

Ноутбуки — це інтерактивні документи, під'єднані до кластерів
Магічні команди дають змішувати Python, SQL, R, Scala та Markdown
%run завантажує функції з інших ноутбуків у вашу сесію
Результати відтворюються вбудовано як таблиці та діаграми

Давайте потренуємось!

Вступ до Databricks Lakehouse