Warum das Lakehouse?

Einführung in das Databricks Lakehouse

Gang Wang

Senior Data Scientist

Was du lernst

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

Erkunde das Databricks Lakehouse

  1. Wie Daten im Lakehouse organisiert sind
  2. Compute und Notebooks verwalten
  3. Daten steuern und sicher teilen
  4. Arbeit in die Produktion deployen
Einführung in das Databricks Lakehouse

Lern die Lehrkraft kennen

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australien (seit 2021)

  • 9+ Jahre Berufserfahrung nach dem PhD

       

Einführung in das Databricks Lakehouse

Das Versprechen des Data Lake

$$

recraft: half: Eine große offene Lagerhalle mit bunten Fässern und Kisten in verschiedenen Größen, stellvertretend für vielfältige Rohdatenspeicherung

$$

  • Alle Daten günstig speichern
  • Strukturiert, semi-strukturiert, unstrukturiert
  • Flexibles Schema-on-Read
Einführung in das Databricks Lakehouse

Die dunkle Seite des Lakes

$$

  • Keine Garantien für Datenqualität
  • Keine integrierte Governance oder Zugriffskontrolle
  • „Data Swamp" – vertrauenswürdige Daten schwer auffindbar
  • Getrennte Tools für Analytics und AI nötig

$$

recraft: half: Ein dunkler, trüber Sumpf mit verhedderten Ranken und verstreuten Dateien, die im Schlamm versinken – steht für einen Data Swamp mit verlorenen und unzuverlässigen Daten

Einführung in das Databricks Lakehouse

Der Warehouse-Kompromiss

$$

  • Zuverlässig und performant
  • Starke Governance
  • Aber teuer und unflexibel
  • Nur für strukturierte Daten

$$

recraft: half: Eine aufgeräumte Bibliothek mit ordentlich gestapelten Büchern in Regalen – steht für strukturierte, zuverlässige Datenspeicherung

Einführung in das Databricks Lakehouse

Das Lakehouse betritt die Bühne

$$

comparison: Data Lake, Flexibel, Günstig, Unstrukturiert | Data Warehouse, Zuverlässig, Gesteuert, Starr

Einführung in das Databricks Lakehouse

Warum funktioniert es in Databricks?

$$

  • Offene Dateiformate (Delta Lake)
  • ACID-Transaktionen auf dem Lake
  • Einheitliche Governance (Unity Catalog)
  • Eine Plattform für Analytics, AI und Apps

$$

nanobanana: half: Vier gestapelte Bausteine als Turm, von unten nach oben beschriftet: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI; sauberes, modernes Infografik-Design

Einführung in das Databricks Lakehouse

Lakehouse verbessert Datenqualität

$$

flowchart: Rohdaten, Schema-Erzwingung, ACID-Transaktionen, Gesteuert und vertrauenswürdig

$$

  • Schema-Erzwingung beim Schreiben
  • Transaktionslogs verfolgen jede Änderung
  • Time Travel – historische Versionen abfragen
Einführung in das Databricks Lakehouse

Zusammenfassung

$$

  • Data Lakes – flexibel, aber unzuverlässig
  • Data Warehouses – zuverlässig, aber starr und teuer
  • Lakehouse – vereint beides, eine Plattform
  • Angetrieben von Delta Lake, ACID und Unity Catalog
Einführung in das Databricks Lakehouse

Lass uns üben!

Einführung in das Databricks Lakehouse

Preparing Video For Download...