Waarom de Lakehouse?

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

Wat je gaat leren

$$

$$

volledige gekleurde gestapelde lockup - logo

$$

Ontdek Databricks Lakehouse

  1. Hoe data is georganiseerd in een lakehouse
  2. Hoe je compute en notebooks beheert
  3. Hoe je data governt en veilig deelt
  4. Hoe je je werk deployed naar productie
Introductie tot Databricks Lakehouse

Maak kennis met de instructeur

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australië (2021-heden)

  • 9+ jaar ervaring na PhD

       

Introductie tot Databricks Lakehouse

De belofte van de data lake

$$

recraft: half: Een grote open loods met kleurrijke vaten en kratten van verschillende formaten, die diverse opslag van ruwe data voorstellen

$$

  • Sla alle data goedkoop op
  • Gestructureerd, semi-gestructureerd, ongestructureerd
  • Flexibele schema-on-read
Introductie tot Databricks Lakehouse

De schaduwkant van de lake

$$

  • Geen garanties op datakwaliteit
  • Geen ingebouwde governance of toegangsbeheer
  • "Data swamp" — lastig om betrouwbare data te vinden
  • Losse tools nodig voor analytics en AI

$$

recraft: half: Een donkere, troebele moerasplas met verwarde lianen en verspreide bestanden die in modder wegzinken, wat een data swamp met verloren en onbetrouwbare data voorstelt

Introductie tot Databricks Lakehouse

De warehouse-afruil

$$

  • Betrouwbaar en performant
  • Sterke governance
  • Maar duur en star
  • Beperkt tot alleen gestructureerde data

$$

recraft: half: Een nette, georganiseerde bibliotheek met keurig gestapelde boeken op planken, die gestructureerde, betrouwbare dataopslag voorstellen

Introductie tot Databricks Lakehouse

Maak kennis met de Lakehouse

$$

vergelijking: Data Lake, Flexibel, Goedkoop, Ongestructureerd | Data Warehouse, Betrouwbaar, Governed, Star

Introductie tot Databricks Lakehouse

Wat werkt in Databricks?

$$

  • Open bestandsformaten (Delta Lake)
  • ACID-transacties op de lake
  • Unified governance (Unity Catalog)
  • Eén platform voor analytics, AI en apps

$$

nanobanana: half: Vier gestapelde bouwblokken als toren, van onder naar boven gelabeld: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, strakke moderne infographic-stijl

Introductie tot Databricks Lakehouse

Lakehouse verbetert datakwaliteit

$$

stroomschema: Ruwe data, Schemahandhaving, ACID-transacties, Ge-governde en vertrouwde data

$$

  • Schemahandhaving bij het schrijven
  • Transactielogs volgen elke wijziging
  • Time travel — historische versies query'en
Introductie tot Databricks Lakehouse

Samenvatting

$$

  • Data lakes — flexibel maar onbetrouwbaar
  • Data warehouses — betrouwbaar maar star en kostbaar
  • Lakehouse — combineert beide, één platform
  • Aangedreven door Delta Lake, ACID en Unity Catalog
Introductie tot Databricks Lakehouse

Laten we oefenen!

Introductie tot Databricks Lakehouse

Preparing Video For Download...