Зачем нужен Lakehouse?

Введение в Databricks Lakehouse

Gang Wang

Senior Data Scientist

Чему вы научитесь

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

Изучите Databricks Lakehouse

  1. Как организованы данные в lakehouse
  2. Как управлять вычислениями и ноутбуками
  3. Как контролировать доступ и делиться данными
  4. Как развёртывать решения в продакшн
Введение в Databricks Lakehouse

Об авторе курса

       

Ган Ван

  • Старший специалист по данным

  • Origin Energy, Австралия (2021 – настоящее время)

  • Более 9 лет опыта после защиты PhD

       

Введение в Databricks Lakehouse

Преимущества озера данных

$$

recraft: half: Большой открытый склад с цветными бочками и ящиками разных размеров, символизирующий хранение разнородных необработанных данных

$$

  • Хранение любых данных при низких затратах
  • Структурированные, полуструктурированные, неструктурированные
  • Гибкая схема при чтении (schema-on-read)
Введение в Databricks Lakehouse

Обратная сторона озера данных

$$

  • Нет гарантий качества данных
  • Нет встроенного управления доступом
  • «Болото данных» – трудно найти достоверные данные
  • Для аналитики и ИИ нужны отдельные инструменты

$$

recraft: half: Тёмное мутное болото с переплетёнными лианами и тонущими в грязной воде файлами, символизирующее болото данных с потерянными и ненадёжными данными

Введение в Databricks Lakehouse

Компромисс хранилища данных

$$

  • Надёжность и высокая производительность
  • Строгое управление доступом
  • Но дорого и негибко
  • Только структурированные данные

$$

recraft: half: Аккуратная библиотека с книгами, выровненными по полкам, символизирующая структурированное и надёжное хранение данных

Введение в Databricks Lakehouse

Lakehouse как решение

$$

comparison: Озеро данных: гибкое, дешёвое, неструктурированное | Хранилище данных: надёжное, управляемое, негибкое

Введение в Databricks Lakehouse

Что делает Databricks эффективным?

$$

  • Открытые форматы файлов (Delta Lake)
  • ACID-транзакции на уровне озера
  • Единое управление (Unity Catalog)
  • Одна платформа для аналитики, ИИ и приложений

$$

nanobanana: half: Четыре строительных блока, сложенных в башню, с подписями снизу вверх: открытые форматы (Delta Lake), ACID-транзакции, единое управление (Unity Catalog), единая платформа для аналитики и ИИ; современный инфографический стиль

Введение в Databricks Lakehouse

Lakehouse повышает качество данных

$$

flowchart: Необработанные данные, Контроль схемы, ACID-транзакции, Управляемые и достоверные данные

$$

  • Контроль схемы при записи
  • Журналы транзакций фиксируют каждое изменение
  • Перемещение во времени – запросы к историческим версиям
Введение в Databricks Lakehouse

Итоги

$$

  • Озёра данных – гибкие, но ненадёжные
  • Хранилища данных – надёжные, но негибкие и дорогие
  • Lakehouse – объединяет оба подхода на одной платформе
  • Основан на Delta Lake, ACID-транзакциях и Unity Catalog
Введение в Databricks Lakehouse

Давайте потренируемся!

Введение в Databricks Lakehouse

Preparing Video For Download...