Ключевые объекты Databricks SQL

Введение в Databricks SQL

Kevin Barlow

Data Manager

Полезная аналогия

Дерево состоит из множества компонентов, которые вместе образуют единое целое

Анимация: система дерева

В Databricks SQL различные компоненты объединяются в решение для хранилища данных

Объекты Databricks SQL

Запрос

Базовая «единица» анализа в Databricks SQL
Выполняет SQL-код на вычислительном кластере
Использует стандарт ANSI SQL
Обрабатывает данные из:
- Unity Catalog
- Delta-таблиц
- Файлов в data lake
- Потоков данных

SELECT
    orderdate AS Date,
    orderpriority AS Priority
    sum(totalprice) AS TotalPrice
FROM sfdc.sales.orders
GROUP BY
    1, 2
ORDER BY
    1, 2

SQL Warehouse

Вычислительный кластер, выделенный для SQL
Оптимизации (например, Photon)
Упрощённое администрирование
Лёгкое масштабирование
Запросы и инструменты BI

Анимация: SQL Warehouse

Таблицы и представления

Таблицы

Физическое представление наборов данных
Хранятся в формате Delta
Доступны для чтения вне конвейера данных
Поддерживают оптимизацию хранения (партиционирование и др.)

Таблица в объектном хранилище

Таблицы и представления

Представления

Виртуальные результаты запросов в Unity Catalog
Высокая скорость чтения данных
Упрощают последующие запросы
- Исходный запрос содержит множество объединений, фильтров и т. д.
Поддерживается инкрементальная обработка данных

Схема представления

Визуализации и дашборды

Визуализации

Графическое представление результатов запроса
Создаются на основе одного запроса

Настройка визуализаций

Дашборды

Набор нескольких визуализаций
На основе нескольких наборов данных и результатов запросов

Пример дашборда

Давайте потренируемся!

Введение в Databricks SQL