Платформа Data Intelligence — обчислення

Вступ до Databricks

Kevin Barlow

Data Practitioner

Чому організації дбають про обчислення?

Окреме зубчасте колесо

Система шестерень

Створений співзасновниками Databricks
Відкрита платформа
Високоефективні розподілені обчислення
API для Python, SQL, Scala, R
Підходить для всього:
- від інженерії даних до машинного навчання та бізнес-аналітики

Перегляньте деякі курси Apache Spark на DataCamp!

Логотип Apache Spark

Класичні

Обчислювальні ресурси (віртуальні машини) створюються в Compute Plane
Databricks надає конфігурацію для вашої хмари
Плюси: обчислення й безпека у вашому середовищі, можна використовувати наявні пули обчислень тощо
Мінуси: повільний запуск

Площина керування Databricks

Serverless

Обчислювальні ресурси (віртуальні машини) створюються в Control Plane
Databricks надає доступ вашим користувачам
Плюси: швидкий запуск, найновіші можливості, найвища швидкодія, Databricks з часом покращує продуктивність
Мінуси(?): обчислення поза вашим середовищем

Архітектура Serverless

Одновузловий

Одновузловий кластер

Багатовузловий

Багатовузловий кластер

Встановлено на кожному кластері Databricks
- Оптимізована версія Apache Spark
- Photon для швидших SQL‑запитів
- Поширені бібліотеки (напр., pandas, dplyr, sci-kit learn)
- Логіка для з'єднання з сервісами Databricks

Загальна порада: використовуйте найновішу LTS‑версію Runtime

Кластер з Databricks Runtime

Вступ до Databricks