Varför Lakehouse?

Introduktion till Databricks Lakehouse

Gang Wang

Senior Data Scientist

Vad du kommer att lära dig

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

Utforska Databricks Lakehouse

  1. Hur data är organiserad i ett lakehouse
  2. Hur du hanterar beräkning och notebooks
  3. Hur du styr och delar data säkert
  4. Hur du driftsätter ditt arbete i produktion
Introduktion till Databricks Lakehouse

Möt instruktören

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australien (2021–nutid)

  • 9+ års erfarenhet efter doktorsexamen

       

Introduktion till Databricks Lakehouse

Datasjöns löfte

$$

recraft: half: A large open warehouse filled with colorful barrels and crates of various sizes, representing diverse raw data storage

$$

  • Lagra valfri data till låg kostnad
  • Strukturerad, semistrukturerad, ostrukturerad
  • Flexibelt schema-on-read
Introduktion till Databricks Lakehouse

Datasjöns baksida

$$

  • Inga garantier för datakvalitet
  • Ingen inbyggd styrning eller åtkomstkontroll
  • "Datakärr" – svårt att hitta tillförlitlig data
  • Separata verktyg krävs för analys och AI

$$

recraft: half: A dark murky swamp with tangled vines and scattered files sinking into muddy water, representing a data swamp with lost and unreliable data

Introduktion till Databricks Lakehouse

Datalageruppoffringen

$$

  • Tillförlitlig och högpresterande
  • Stark datastyrning
  • Men kostsamt och stelt
  • Begränsat till strukturerad data

$$

recraft: half: A tidy organized library with neatly stacked books on shelves, representing structured reliable data storage

Introduktion till Databricks Lakehouse

Lakehouse kliver in

$$

comparison: Data Lake, Flexible, Cheap, Unstructured | Data Warehouse, Reliable, Governed, Rigid

Introduktion till Databricks Lakehouse

Vad gör det möjligt i Databricks?

$$

  • Öppna filformat (Delta Lake)
  • ACID-transaktioner på sjön
  • Enhetlig styrning (Unity Catalog)
  • En plattform för analys, AI och appar

$$

nanobanana: half: Four stacked building blocks forming a tower, labeled from bottom to top: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, clean modern infographic style

Introduktion till Databricks Lakehouse

Lakehouse förbättrar datakvaliteten

$$

flowchart: Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • Schemakontroll vid skrivning
  • Transaktionsloggar spårar varje förändring
  • Tidsresa – fråga historiska versioner
Introduktion till Databricks Lakehouse

Sammanfattning

$$

  • Datasjöar – flexibla men otillförlitliga
  • Datalager – tillförlitliga men stela och dyra
  • Lakehouse – kombinerar båda på en plattform
  • Drivs av Delta Lake, ACID och Unity Catalog
Introduktion till Databricks Lakehouse

Nu kör vi en övning!

Introduktion till Databricks Lakehouse

Preparing Video For Download...