Чому Lakehouse?

Вступ до Databricks Lakehouse

Gang Wang

Senior Data Scientist

Що ви вивчите

$$

$$

повноколірний логотип Databricks, накладений у кілька рядків

$$

Ознайомтеся з Databricks Lakehouse

  1. Як дані організовано в lakehouse
  2. Як керувати обчисленнями та нотатниками
  3. Як керувати доступом і безпечно ділитися
  4. Як розгортати роботу в продакшн
Вступ до Databricks Lakehouse

Знайомтеся з викладачем

       

Ган Ван

  • Старший дата-сайєнтист

  • Origin Energy, Австралія (2021–дотепер)

  • 9+ років досвіду після PhD

       

Вступ до Databricks Lakehouse

Обіцянка data lake

$$

recraft: half: Великий відкритий склад із барвистими бочками й ящиками різних розмірів — метафора сховища сирих даних

$$

  • Зберігайте будь-які дані недорого
  • Структуровані, напівструктуровані, неструктуровані
  • Гнучка schema-on-read
Вступ до Databricks Lakehouse

Темний бік озера

$$

  • Немає гарантій якості даних
  • Відсутні вбудовані політики та контроль доступу
  • «Болото даних» — важко знайти надійні дані
  • Окремі інструменти для аналітики та ШІ

$$

recraft: half: Темне каламутне болото з переплетеними ліанами й файлами, що тонуть у мулі — метафора втрачених і ненадійних даних

Вступ до Databricks Lakehouse

Компроміс сховища (warehouse)

$$

  • Надійно та швидко
  • Сильне управління даними
  • Але дорого й негнучко
  • Лише структуровані дані

$$

recraft: half: Охайна впорядкована бібліотека з рівно розставленими книгами — метафора структурованого надійного сховища

Вступ до Databricks Lakehouse

Знайомтесь: Lakehouse

$$

порівняння: Data Lake — гнучкий, дешевий, неструктурований | Data Warehouse — надійний, керований, жорсткий

Вступ до Databricks Lakehouse

Чому це працює в Databricks?

$$

  • Відкриті формати файлів (Delta Lake)
  • ACID-транзакції на озері
  • Уніфіковане керування (Unity Catalog)
  • Одна платформа для аналітики, ШІ та застосунків

$$

nanobanana: half: Чотири складені блоки-цеглинки, знизу вгору: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI; чистий сучасний інфографічний стиль

Вступ до Databricks Lakehouse

Lakehouse підвищує якість даних

$$

блок-схема: Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • Контроль схеми під час запису
  • Журнали транзакцій фіксують кожну зміну
  • Подорож у часі — запити до історичних версій
Вступ до Databricks Lakehouse

Підсумок

$$

  • Data lakes — гнучкі, але ненадійні
  • Data warehouses — надійні, але жорсткі й дорогі
  • Lakehouse — поєднує обидва на одній платформі
  • На основі Delta Lake, ACID і Unity Catalog
Вступ до Databricks Lakehouse

Давайте потренуємось!

Вступ до Databricks Lakehouse

Preparing Video For Download...