Perché il Lakehouse?

Introduzione a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Cosa imparerai

$$

$$

Logo Databricks a colori, impilato

$$

Esplora Databricks Lakehouse

  1. Come i dati sono organizzati in un lakehouse
  2. Come gestire compute e notebook
  3. Come governare e condividere i dati in sicurezza
  4. Come distribuire il lavoro in produzione
Introduzione a Databricks Lakehouse

Conosci l'istruttore

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australia (2021–oggi)

  • Oltre 9 anni di esperienza post-PhD

       

Introduzione a Databricks Lakehouse

La promessa del data lake

$$

recraft: half: Un grande magazzino aperto pieno di barili e casse colorati di varie dimensioni, a rappresentare l'archiviazione di dati grezzi eterogenei

$$

  • Archivia qualsiasi dato a basso costo
  • Strutturati, semi-strutturati, non strutturati
  • Flessibile schema-on-read
Introduzione a Databricks Lakehouse

Il lato oscuro del lake

$$

  • Nessuna garanzia sulla qualità dei dati
  • Niente governance o controlli di accesso integrati
  • "Data swamp" – difficile trovare dati affidabili
  • Servono strumenti separati per analytics e AI

$$

recraft: half: Una palude scura e torbida con liane aggrovigliate e file sparse che affondano nel fango, a rappresentare un data swamp con dati persi e inaffidabili

Introduzione a Databricks Lakehouse

Il compromesso del warehouse

$$

  • Affidabile e performante
  • Forte governance
  • Ma costoso e rigido
  • Limitato ai soli dati strutturati

$$

recraft: half: Una biblioteca ordinata con libri ben allineati sugli scaffali, a rappresentare archiviazione di dati strutturati e affidabili

Introduzione a Databricks Lakehouse

Entra in scena il Lakehouse

$$

confronto: Data Lake, Flessibile, Economico, Non strutturato | Data Warehouse, Affidabile, Governato, Rigido

Introduzione a Databricks Lakehouse

Cosa lo rende efficace in Databricks?

$$

  • Formati aperti (Delta Lake)
  • Transazioni ACID sul lake
  • Governance unificata (Unity Catalog)
  • Un'unica piattaforma per analytics, AI e app

$$

nanobanana: half: Quattro blocchi impilati a torre, etichettati dal basso: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, stile infografica moderno e pulito

Introduzione a Databricks Lakehouse

Il Lakehouse migliora la qualità dei dati

$$

diagramma di flusso: Raw Data, Schema Enforcement, ACID Transactions, Governed and Trusted

$$

  • Enforcing dello schema in scrittura
  • I log transazionali tracciano ogni modifica
  • Time travel: interroga versioni storiche
Introduzione a Databricks Lakehouse

Riepilogo

$$

  • Data lake – flessibili ma inaffidabili
  • Data warehouse – affidabili ma rigidi e costosi
  • Lakehouse – unisce entrambi, un'unica piattaforma
  • Basato su Delta Lake, ACID e Unity Catalog
Introduzione a Databricks Lakehouse

Esercitiamoci!

Introduzione a Databricks Lakehouse

Preparing Video For Download...