De ce Lakehouse?

Introducere în Databricks Lakehouse

Gang Wang

Senior Data Scientist

Ce vei învăța

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

Explorează Databricks Lakehouse

  1. Cum sunt organizate datele într-un lakehouse
  2. Cum să gestionezi resursele de calcul și notebook-urile
  3. Cum să guvernezi și să partajezi datele în siguranță
  4. Cum să implementezi proiectele în producție
Introducere în Databricks Lakehouse

Instructorul tău

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, Australia (2021-Prezent)

  • 9+ ani de experiență post-doctorat

       

Introducere în Databricks Lakehouse

Promisiunea data lake

$$

recraft: half: Un depozit mare și deschis, plin cu butoaie și lăzi colorate de diverse dimensiuni, reprezentând stocarea diversificată a datelor brute

$$

  • Stochezi orice tip de date la costuri reduse
  • Structurate, semi-structurate, nestructurate
  • Schema-on-read flexibil
Introducere în Databricks Lakehouse

Partea întunecată a lake-ului

$$

  • Nicio garanție privind calitatea datelor
  • Fără guvernanță sau control al accesului
  • "Data swamp" - date greu de găsit și de încredere
  • Instrumente separate pentru analiză și AI

$$

recraft: half: O mlaștină întunecată cu liane încâlcite și fișiere împrăștiate care se scufundă în apă noroioasă, reprezentând un data swamp cu date pierdute și nesigure

Introducere în Databricks Lakehouse

Compromisul data warehouse

$$

  • Fiabil și performant
  • Guvernanță solidă
  • Dar costisitor și rigid
  • Limitat la date structurate

$$

recraft: half: O bibliotecă ordonată, cu cărți aranjate îngrijit pe rafturi, reprezentând stocarea fiabilă și structurată a datelor

Introducere în Databricks Lakehouse

Introdu Lakehouse

$$

comparison: Data Lake, Flexibil, Ieftin, Nestructurat | Data Warehouse, Fiabil, Guvernat, Rigid

Introducere în Databricks Lakehouse

Ce face ca Databricks să funcționeze?

$$

  • Formate de fișiere deschise (Delta Lake)
  • Tranzacții ACID pe lake
  • Guvernanță unificată (Unity Catalog)
  • O singură platformă pentru analiză, AI și aplicații

$$

nanobanana: half: Patru blocuri stivuite formând un turn, etichetate de jos în sus: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI, stil infografic modern

Introducere în Databricks Lakehouse

Lakehouse îmbunătățește calitatea datelor

$$

flowchart: Date brute, Schema Enforcement, ACID Transactions, Guvernate și de încredere

$$

  • Impunerea schemei la scriere
  • Jurnalele de tranzacții înregistrează fiecare modificare
  • Time travel - interogarea versiunilor istorice
Introducere în Databricks Lakehouse

Rezumat

$$

  • Data lake-uri - flexibile, dar nesigure
  • Data warehouse-uri - fiabile, dar rigide și costisitoare
  • Lakehouse - combină ambele, o singură platformă
  • Bazat pe Delta Lake, ACID și Unity Catalog
Introducere în Databricks Lakehouse

Hai să exersăm!

Introducere în Databricks Lakehouse

Preparing Video For Download...