Платформа Data Intelligence — вычисления

Введение в Databricks

Kevin Barlow

Data Practitioner

Почему организации уделяют внимание вычислениям?

Одна шестерёнка

Система шестерёнок

Создан сооснователями Databricks
Фреймворк с открытым исходным кодом
Высокоэффективные распределённые вычисления
API для Python, SQL, Scala, R
Подходит для любых задач:
- от инженерии данных до машинного обучения и бизнес-аналитики

Ознакомьтесь с курсами по Apache Spark на DataCamp!

Логотип Apache Spark

Classic

Вычислительные ресурсы (виртуальные машины) создаются в Compute Plane
Databricks передаёт конфигурацию в ваше облако
Плюсы: вычисления и безопасность в вашей среде, использование существующих пулов ресурсов и др.
Минусы: медленный запуск

Databricks Control Plane

Serverless

Вычислительные ресурсы (виртуальные машины) создаются в Control Plane
Databricks предоставляет доступ вашим пользователям
Плюсы: быстрый запуск, новейшие функции, высокая производительность, которую Databricks постоянно улучшает
Минусы(?): вычисления не в вашей среде

Архитектура Serverless

Одноузловой

Одноузловой кластер

Многоузловой

Многоузловой кластер

Устанавливается на каждый кластер Databricks
- Оптимизированная версия Apache Spark
- Photon для ускорения SQL-запросов
- Популярные библиотеки (например, pandas, dplyr, sci-kit learn)
- Логика интеграции со службами Databricks

Общая рекомендация: используйте последнюю версию Runtime с долгосрочной поддержкой (LTS)

Кластер с Databricks Runtime

Введение в Databricks