Основні можливості платформи Databricks Lakehouse

Концепції Databricks

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark — це відкритий фреймворк обробки даних і рушій, на якому працює Databricks.

Курси DataCamp

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
Концепції Databricks

Переваги Spark

Ключові переваги:

  1. Розширюваний, гнучкий відкритий фреймворк
  2. Велика спільнота розробників
  3. Висока продуктивність
  4. Оптимізації Databricks

Схема кластера Spark

1 https://spark.apache.org/docs/latest/cluster-overview.html
Концепції Databricks

Основи хмарних обчислень

Класичні обчислення

Хмарні обчислення

Концепції Databricks

Обчислення в Databricks

Кластери

  • Набір обчислювальних ресурсів
  • Будь-які навантаження, будь-які кейси
  • All-purpose vs. Jobs

Підтримувані мови в Databricks

SQL Warehouses

  • Лише SQL
  • BI-сценарії
  • Photon

Мова SQL

Концепції Databricks

Хмарне зберігання даних

Хмарне сховище даних — БД

Хмарне сховище даних — файли

Концепції Databricks

Delta

Логотип Delta Lake

Delta — це відкритий файловий формат для зберігання даних, що забезпечує:

  • ACID-транзакції
  • Об'єднання batch і streaming
  • Еволюцію схем
  • Історію таблиць
  • Time-travel
1 delta.io
Концепції Databricks

Unity Catalog

Unity Catalog — це відкрита стратегія керування даними, що контролює доступ до всіх активів даних у платформі Databricks Lakehouse.

  • Оператори SQL GRANT, REVOKE для керування доступом
  • Проста консоль для керування

Каталог даних

Концепції Databricks

Інтерфейс Databricks

Створено для простішого доступу до можливостей залежно від навантаження на дані.

  • Усі користувачі мають доступ до даних і обчислень
  • Користувачі SQL отримують звичний інтерфейс для запитів і звітів
  • Інженери даних використовують Delta Live Tables
  • Навантаження з машинного навчання використовують моделі, ознаки тощо

Меню Databricks

Концепції Databricks

Підсумуємо!

Концепції Databricks

Preparing Video For Download...