Типы кластеров и среды выполнения

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Что такое кластер?

Набор виртуальных машин для выполнения вашего кода
Один узел драйвера координирует работу
Один или несколько узлов воркеров выполняют обработку
Кластеры читают данные из облачного хранилища

иерархия: узел драйвера, воркер 1, воркер 2, воркер 3, облачное хранилище

Универсальные кластеры

Интерактивная разработка и ad-hoc запросы
Общий доступ для нескольких участников команды
Работают до ручной остановки
Как личный автомобиль — всегда доступен, но расходы идут даже на стоянке

личный автомобиль на парковке у дома — всегда доступен, но требует затрат даже в простое, символизируя постоянно работающий вычислительный ресурс

Кластеры для заданий

Создаются автоматически при запуске задания
Выполняют одну задачу, затем завершают работу
Ручное управление не требуется
Оптимизированы по стоимости для производственных нагрузок

современное такси со светящимся счётчиком на крыше, символизирующее вычислительный ресурс по запросу, который запускается и останавливается автоматически

Какой тип выбрать?

сравнение: универсальные — интерактивная разработка, работа в ноутбуках, ad-hoc SQL, совместный доступ | кластеры для заданий — ночной ETL, плановые отчёты, автотестирование, продакшн

Типичная ошибка: запуск производственных пайплайнов на универсальных кластерах

Databricks Runtime

Версионированный программный стек, работающий на каждом кластере
Включает Apache Spark, Delta Lake, Python, R, Scala
Версии LTS — долгосрочная поддержка, рекомендуются для продакшна
ML Runtime добавляет предустановленные ML-библиотеки

слои: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, системные библиотеки

Итоги

Универсальные кластеры — интерактивные, общие, с ручным управлением
Кластеры для заданий — автоматизированные, однозадачные, оптимизированные по стоимости
Databricks Runtime — версионированный программный стек (используйте LTS для продакшна)
Подбирайте тип кластера под нагрузку, чтобы контролировать расходы

Давайте потренируемся!

Введение в Databricks Lakehouse