Управление кластерами и их настройка

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Поиск кластеров

$$

All Clusters — все кластеры в рабочей области
My Clusters — созданные вами
Shared with Me — кластеры с доступом от других пользователей
Фильтр по состоянию: Running, Terminated

$$

recraft: half: Картотечный шкаф с цветными папками и метками категорий, символизирующий фильтрацию и организацию кластеров

Состояния кластера

блок-схема: Pending, Running, Restarting, Terminating, Terminated

Завершение: что сохраняется, а что теряется

сравнение: Сохраняется — конфигурация, ноутбуки, облачное хранилище | Теряется — данные в памяти, установленные библиотеки, временные файлы

Завершение — не удаление: конфигурация и ноутбуки сохраняются
Данные в памяти, кэши и pip-пакеты очищаются

Когда перезапускать кластер

$$

Установлена новая библиотека, которая не загружается
Кластер ведёт себя непредсказуемо или работает медленно
Нужно очистить кэшированные данные из памяти
Обновлён init-скрипт или переменная окружения

$$

recraft: half: Значок кнопки питания с круговыми стрелками, светящийся синим и зелёным — символ перезапуска системы

Автомасштабирование и автозавершение

$$

Автомасштабирование и автозавершение

$$

Автомасштабирование добавляет или убирает узлы в зависимости от нагрузки
Справляется с пиковыми нагрузками без избыточной подготовки ресурсов
Автозавершение останавливает кластер после заданного периода простоя
Предотвращает лишние затраты из-за забытых кластеров

Политики кластеров

$$

Ограничения, заданные администратором, для создания кластеров
Ограничение типов узлов, максимального числа воркеров и версий среды выполнения
Принудительное применение автозавершения и тегирования
Пользователи создают кластеры в рамках политики

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Итоги

$$

Фильтрация помогает быстро найти нужный кластер
Завершение экономит ресурсы, но очищает память и библиотеки
Перезапуск применяет новые библиотеки и помогает устранить неполадки
Автомасштабирование и автозавершение управляют затратами автоматически
Политики кластеров позволяют администраторам задавать стандарты

Давайте потренируемся!

Введение в Databricks Lakehouse

Preparing Video For Download...