Proč Lakehouse?

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Co se naučíš

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

Prozkoumej Databricks Lakehouse

  1. Jak jsou data organizována v lakehouse
  2. Jak spravovat compute a notebooky
  3. Jak řídit přístup a bezpečně sdílet data
  4. Jak nasadit svoji práci do produkce
Introduction to Databricks Lakehouse

Představení lektora

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Austrálie (2021–dosud)

  • 9+ let praxe po Ph.D.

       

Introduction to Databricks Lakehouse

Příslib datového jezera

$$

recraft: half: A large open warehouse filled with colorful barrels and crates of various sizes, representing diverse raw data storage

$$

  • Ukládej jakákoli data za nízké náklady
  • Strukturovaná, semistrukturovaná, nestrukturovaná
  • Flexibilní schema-on-read
Introduction to Databricks Lakehouse

Stinná stránka jezera

$$

  • Žádné záruky kvality dat
  • Bez správy dat a řízení přístupu
  • „Datové bažiny" – těžko najít důvěryhodná data
  • Pro analytiku a AI potřeba samostatných nástrojů

$$

recraft: half: A dark murky swamp with tangled vines and scattered files sinking into muddy water, representing a data swamp with lost and unreliable data

Introduction to Databricks Lakehouse

Kompromisy datového skladu

$$

  • Spolehlivé a výkonné
  • Silná správa dat
  • Ale drahé a nepružné
  • Pouze strukturovaná data

$$

recraft: half: A tidy organized library with neatly stacked books on shelves, representing structured reliable data storage

Introduction to Databricks Lakehouse

Přichází Lakehouse

$$

comparison: Data Lake, Flexible, Cheap, Unstructured | Data Warehouse, Reliable, Governed, Rigid

Introduction to Databricks Lakehouse

Co to v Databricks zajišťuje?

$$

  • Otevřené formáty souborů (Delta Lake)
  • ACID transakce nad jezerem
  • Jednotná správa dat (Unity Catalog)
  • Jedna platforma pro analytiku, AI i aplikace

$$

nanobanana: half: Four stacked building blocks forming a tower, labeled from bottom to top: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, clean modern infographic style

Introduction to Databricks Lakehouse

Lakehouse zlepšuje kvalitu dat

$$

flowchart: Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • Vynucení schématu při zápisu
  • Transakční logy sledují každou změnu
  • Time travel – dotazy na historické verze dat
Introduction to Databricks Lakehouse

Shrnutí

$$

  • Datová jezera – flexibilní, ale nespolehlivá
  • Datové sklady – spolehlivé, ale nepružné a drahé
  • Lakehouse – kombinuje obojí na jedné platformě
  • Postaveno na Delta Lake, ACID a Unity Catalog
Introduction to Databricks Lakehouse

Pojďme cvičit!

Introduction to Databricks Lakehouse

Preparing Video For Download...