Підсумуймо все разом

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Сценарій

Ви дата-інженер, який починає новий проєкт у роздрібній компанії
Мета: налаштувати обчислення, перевірити конвеєр даних, перевірити керування даними та підготувати до розгортання

recraft: half: Дата-інженер за сучасним столом із ноутбуком з інтерфейсом у стилі Databricks; на дошці позаду — діаграми конвеєра; ілюструє онбординг у новий дата-проєкт

Крок 1: Оберіть відповідні обчислення

Конвеєр запускається за розкладом щонічно
Інтерактивна розробка не потрібна
Jobs cluster з LTS runtime — найкращий вибір
Увімкніть автозмасштабування (2–6 воркерів) для змінного обсягу даних

	All-Purpose	Jobs Cluster
Режим	Інтерактивний	Автоматизований
Керування	Вручну	Автозавершення
Вартість	Вища (простіювання)	Оптимізована за вартістю

Крок 2: Перевірте медальйонний конвеєр

SELECT COUNT(*) FROM bronze_sales;
-- 1,247,832 rows

SELECT COUNT(*) FROM silver_sales;
-- 1,189,456 rows (nulls removed)

SELECT COUNT(*) FROM gold_daily_revenue;
-- 365 rows (daily aggregates)

Bronze: сирі дані, найбільше рядків
Silver: очищені, видалено null та дублікати
Gold: агреговані для бізнес-звітності
Кількість рядків зменшується зі зростанням якості

Крок 3: Перевірте керування даними

Перейдіть до Unity Catalog і перегляньте таблицю gold_daily_revenue
Простежте походження вгору, щоб підтвердити читання з silver_sales
Перевірте доступи: лише команда аналітики має SELECT на gold
Підтвердьте, що Delta Sharing налаштовано для зовнішнього партнера

recraft: half: Лупа над графом походження даних з поєднаними вузлами таблиць і позначками, що ілюструє перевірку керування

Крок 4: Підготуйтеся до розгортання

Перегляньте Asset Bundle databricks.yml
Підтвердьте, що ресурс нічного завдання визначено
Перевірте, що production target вказує на правильний шлях у робочому просторі
Запустіть bundle validate перед розгортанням

targets:
  production:
    workspace:
      root_path: /Shared/production
resources:
  jobs:
    nightly_sales_etl:
      schedule:
        quartz_cron: "0 0 3 * * ?"

Підсумок

Обчислення: підберіть тип кластера під навантаження (jobs cluster для автоматизації)
Дані: перевірте коректний потік шарів медальйона
Керування: простежте походження, перевірте доступ, підтвердьте шеринг
Розгортання: перегляньте Asset Bundle, виконайте валідацію, розгорніть

Давайте потренуємось!

Вступ до Databricks Lakehouse