Керування й конфігурація кластерів

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Пошук ваших кластерів

$$

All Clusters — усе у робочому середовищі
My Clusters — створені вами
Shared with Me — кластери з наданим доступом
Фільтр за станом: Running, Terminated

$$

recraft: half: Картотека з папками різних кольорів і підписами, що показує впорядкування та фільтрування кластерів

Стани кластера

flowchart: Pending, Running, Restarting, Terminating, Terminated

Завершення: що зберігається, а що ні

comparison: Зберігається, Конфігурація, Ноутбуки, Хмарне сховище | Втрачається, Дані в пам'яті, Встановлені бібліотеки, Тимчасові файли

Завершення роботи — це не видалення: конфігурація й ноутбуки лишаються
Дані в пам'яті, кеші та пакети, встановлені через pip, очищаються

Коли перезапускати

$$

Встановили нову бібліотеку, але вона не вантажиться
Кластер працює нестабільно або повільно
Потрібно очистити кешовані дані з пам'яті
Оновили init script або змінну середовища

$$

recraft: half: Іконка кнопки живлення з круговими стрілками, що світяться синім і зеленим, символізує перезапуск або оновлення системи

Autoscaling і auto-termination

$$

Autoscaling and Auto-termination

$$

Autoscaling додає або прибирає воркери за потреби
Обробляє пікові навантаження без надмірного резерву
Auto-termination вимикає після заданого простою
Не дає «забутим» кластерам витрачати бюджет

Політики кластерів

$$

Обмеження від адміна для створення кластерів
Ліміти типів вузлів, макс. воркерів і версій середовища
Примусове авто-вимкнення та тегування
Користувачі створюють кластери в межах політики

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Підсумок

$$

Фільтруйте кластери, щоб швидко знайти потрібні
Завершення економить кошти, але очищає пам'ять і бібліотеки
Перезапускайте, щоб підхопити нові бібліотеки чи усунути збої
Autoscaling і auto-termination автоматично контролюють витрати
Політики кластерів дають адмінам впроваджувати стандарти

Давайте потренуємось!

Вступ до Databricks Lakehouse

Preparing Video For Download...