Типи кластерів і рантайми

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Що таке кластер?

Набір віртуальних машин, що запускають ваш код
Вузол driver координує роботу
Один або кілька вузлів worker виконують обробку
Кластери зчитують дані з хмарного сховища

ієрархія: Driver Node, Worker 1, Worker 2, Worker 3, Cloud Storage

Кластери загального призначення

Інтерактив для розробки та разових запитів
Спільний для кількох користувачів у команді
Працює, доки ви його не зупините вручну
Уявіть особисте авто: завжди доступне, але ви платите навіть коли стоїть

recraft: half: Особисте авто, припарковане на під'їзді: завжди доступне, але коштує навіть у простої — аналог постійно ввімкненого ресурсу обчислень

Кластери для jobs

Створюються автоматично під час старту job
Виконують одне завдання, потім завершуються
Ручне керування не потрібне
Оптимізовані за вартістю для продакшн-навантажень

recraft: half: Сучасне таксі з увімкненим лічильником — аналог ресурсу на вимогу, що запускається й зупиняється автоматично

Коли який використовувати?

порівняння: All-Purpose, Інтерактивна розробка, Робота в ноутбуках, Разовий SQL, Командний доступ | Jobs, Нічні ETL, Заплановані звіти, Автотести, Продакшн

Поширена помилка: запускати продакшн-пайплайни на кластерах загального призначення

Databricks Runtime

Версійний стек ПЗ, що працює на кожному кластері
Містить Apache Spark, Delta Lake, Python, R, Scala
Версії LTS — довгострокова підтримка, рекомендовано для продакшну
ML Runtime додає попередньо встановлені бібліотеки ML

шари: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, Системні бібліотеки

Підсумок

Кластери загального призначення — інтерактивні, спільні, з ручним керуванням
Кластери для jobs — автоматизовані, одне завдання, оптимізовані за вартістю
Databricks Runtime — версійний стек ПЗ (для продакшну використовуйте LTS)
Узгоджуйте тип кластера з навантаженням, щоб контролювати витрати

Давайте потренуємось!

Вступ до Databricks Lakehouse