ยินดีด้วย!

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

บทที่ 1: แนวคิด Lakehouse

$$

  • lakehouse รวมความยืดหยุ่นของ data lake เข้ากับความน่าเชื่อถือของ warehouse
  • medallion architecture จัดระเบียบข้อมูล: bronze → silver → gold
  • control plane บริหารโดย Databricks; data plane อยู่ใน cloud ของคุณ

$$

recraft: half: อาคารสมัยใหม่ที่มีผนังกระจกสะท้อนทั้งโครงสร้างคลังสินค้าและทะเลสาบ แสดงถึงสถาปัตยกรรม lakehouse ที่รวมสองแนวทางเข้าด้วยกัน

Introduction to Databricks Lakehouse

บทที่ 2: Compute และ Notebooks

$$

recraft: half: กลุ่มเซิร์ฟเวอร์ที่เชื่อมต่อกันพร้อมโหนดเรืองแสงและโน้ตบุ๊กวางอยู่ด้านหน้า แสดงถึงทรัพยากรคอมพิวต์และการพัฒนาแบบโต้ตอบ

$$

  • All-purpose clusters สำหรับงานแบบโต้ตอบ; jobs clusters สำหรับระบบอัตโนมัติ
  • Autoscaling, auto-termination และ policies ช่วยควบคุมต้นทุน
  • Notebooks รองรับหลายภาษาด้วย magic commands
  • Databricks Repos นำ Git integration มาสู่ workspace
Introduction to Databricks Lakehouse

บทที่ 3: การกำกับดูแลและการแชร์ข้อมูล

$$

  • Unity Catalog ให้การกำกับดูแลแบบรวมศูนย์และติดตาม lineage อัตโนมัติ
  • Delta Sharing ให้พาร์ตเนอร์ภายนอกเข้าถึงข้อมูลแบบ live โดยไม่ต้องคัดลอก
  • แชร์แบบ Native สำหรับ Databricks-to-Databricks; open protocol สำหรับทุกแพลตฟอร์ม
  • Lakehouse Federation คิวรีฐานข้อมูลภายนอกโดยไม่ต้องย้ายข้อมูล

$$

recraft: half: โล่ที่มีกุญแจล็อกอยู่ตรงกลาง ล้อมรอบด้วยกระแสข้อมูลที่ไหลเชื่อมต่อไปยังอาคารต่างๆ แสดงถึงการกำกับดูแลและการแชร์ข้อมูลอย่างปลอดภัย

Introduction to Databricks Lakehouse

บทที่ 4: การ Deploy

$$

recraft: half: จรวดพุ่งออกจากหน้าจอแล็ปท็อปพร้อม deployment pipelines และโค้ดที่ไหลขึ้น แสดงถึงการ deploy อัตโนมัติสู่ production

$$

  • Databricks Asset Bundles แทนที่การ deploy ด้วย UI ด้วยโค้ด
  • databricks.yml กำหนดโปรเจกต์ ทรัพยากร และ targets
  • คำสั่ง CLI: validate, deploy, run, destroy
  • ทุกอย่างอยู่ใน Git — ทำซ้ำได้ ตรวจสอบได้ และเป็นระบบอัตโนมัติ
Introduction to Databricks Lakehouse

ขั้นตอนต่อไป

$$

  • Introduction to Databricks SQL — SQL analytics และ warehousing
  • Data Engineering with Databricks — ETL pipelines สำหรับ production
  • Databricks Concepts — workflow แบบครบวงจรสำหรับทุก persona

$$

recraft: half: ถนนคดเคี้ยวที่ทอดยาวสู่ระยะไกลผ่านภูมิทัศน์หลากสีสันพร้อมป้ายบอกทางตลอดเส้นทาง แสดงถึงเส้นทางการเรียนรู้ที่รออยู่ข้างหน้า

Introduction to Databricks Lakehouse

ขอบคุณ!

Introduction to Databricks Lakehouse

Preparing Video For Download...