Ключевые возможности платформы Databricks Lakehouse

Концепции Databricks

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark — это фреймворк обработки данных с открытым исходным кодом, который лежит в основе Databricks.

Курсы DataCamp

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
Концепции Databricks

Преимущества Spark

Ключевые преимущества:

  1. Расширяемый гибкий фреймворк с открытым кодом
  2. Большое сообщество разработчиков
  3. Высокая производительность
  4. Оптимизации Databricks

Схема кластера Spark

1 https://spark.apache.org/docs/latest/cluster-overview.html
Концепции Databricks

Основы облачных вычислений

Классические вычисления

Облачные вычисления

Концепции Databricks

Вычислительные ресурсы Databricks

Кластеры

  • Набор вычислительных ресурсов
  • Любые задачи и сценарии использования
  • Универсальные и специализированные (Jobs)

Поддерживаемые языки Databricks

SQL Warehouses

  • Только SQL
  • Задачи бизнес-аналитики
  • Photon

Язык SQL

Концепции Databricks

Облачное хранилище данных

Облачное хранилище данных — БД

Облачное хранилище данных — файлы

Концепции Databricks

Delta

Логотип Delta Lake

Delta — формат хранения данных с открытым исходным кодом. Предоставляет:

  • ACID-транзакции
  • Единый режим для пакетных и потоковых данных
  • Эволюцию схемы
  • Историю таблиц
  • Перемещение во времени (time-travel)
1 delta.io
Концепции Databricks

Unity Catalog

Unity Catalog — открытая стратегия управления данными, которая контролирует доступ ко всем ресурсам данных на платформе Databricks Lakehouse.

  • Операторы SQL GRANT, REVOKE для управления доступом
  • Простой интерфейс управления данными

Каталог данных

Концепции Databricks

Интерфейс Databricks

Удобный доступ к возможностям платформы в зависимости от типа задач с данными.

  • Все пользователи имеют доступ к данным и вычислительным ресурсам
  • SQL-пользователи получают привычный интерфейс для запросов и отчётов
  • Инженеры данных используют Delta Live Tables
  • Задачи машинного обучения: модели, признаки и многое другое

Меню Databricks

Концепции Databricks

Давайте потренируемся!

Концепции Databricks

Preparing Video For Download...