ทำไมต้องเลือก Lakehouse?

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

สิ่งที่จะได้เรียนรู้

$$

$$

stacked-lockup-full-color-rgb-1200x669-0d49921.png

$$

สำรวจ Databricks Lakehouse

  1. ข้อมูลถูกจัดระเบียบอย่างไรใน Lakehouse
  2. การจัดการคอมพิวต์และ Notebook
  3. การกำกับดูแลและแชร์ข้อมูลอย่างปลอดภัย
  4. การนำงานขึ้นสู่ Production
Introduction to Databricks Lakehouse

แนะนำผู้สอน

       

Gang Wang

  • Senior Data Scientist

  • Origin Energy, ออสเตรเลีย (2021-ปัจจุบัน)

  • ประสบการณ์หลังปริญญาเอก 9+ ปี

       

Introduction to Databricks Lakehouse

จุดแข็งของ Data Lake

$$

recraft: half: คลังสินค้าขนาดใหญ่ที่เต็มไปด้วยถังและลังสีสันสดใสหลากขนาด แสดงถึงการจัดเก็บข้อมูลดิบที่หลากหลาย

$$

  • จัดเก็บข้อมูลทุกประเภทในราคาต่ำ
  • รองรับข้อมูลแบบมีโครงสร้าง กึ่งโครงสร้าง และไม่มีโครงสร้าง
  • Schema-on-read ที่ยืดหยุ่น
Introduction to Databricks Lakehouse

ด้านมืดของ Data Lake

$$

  • ไม่มีการรับประกันคุณภาพข้อมูล
  • ไม่มีการกำกับดูแลหรือควบคุมการเข้าถึงในตัว
  • "Data swamp" - ยากต่อการหาข้อมูลที่เชื่อถือได้
  • ต้องใช้เครื่องมือแยกต่างหากสำหรับ Analytics และ AI

$$

recraft: half: หนองน้ำมืดทึบที่มีเถาวัลย์พันกันและไฟล์กระจัดกระจายจมลงในน้ำโคลน แสดงถึง Data Swamp ที่ข้อมูลสูญหายและไม่น่าเชื่อถือ

Introduction to Databricks Lakehouse

ข้อแลกเปลี่ยนของ Data Warehouse

$$

  • เชื่อถือได้และมีประสิทธิภาพสูง
  • การกำกับดูแลที่เข้มแข็ง
  • แต่มีค่าใช้จ่ายสูงและไม่ยืดหยุ่น
  • รองรับเฉพาะข้อมูลแบบมีโครงสร้าง

$$

recraft: half: ห้องสมุดที่เป็นระเบียบเรียบร้อยพร้อมหนังสือเรียงบนชั้นอย่างเป็นระเบียบ แสดงถึงการจัดเก็บข้อมูลแบบมีโครงสร้างที่เชื่อถือได้

Introduction to Databricks Lakehouse

ก้าวสู่ Lakehouse

$$

comparison: Data Lake, ยืดหยุ่น, ราคาถูก, ไม่มีโครงสร้าง | Data Warehouse, เชื่อถือได้, มีการกำกับดูแล, ไม่ยืดหยุ่น

Introduction to Databricks Lakehouse

อะไรทำให้ Databricks ทำงานได้ดี?

$$

  • Open file formats (Delta Lake)
  • ACID transactions บน Data Lake
  • Unified governance (Unity Catalog)
  • แพลตฟอร์มเดียวสำหรับ Analytics, AI และแอปพลิเคชัน

$$

nanobanana: half: บล็อก 4 ชั้นเรียงซ้อนกันเป็นหอคอย มีป้ายกำกับจากล่างขึ้นบน: Open Formats (Delta Lake), ACID Transactions, Unified Governance (Unity Catalog), One Platform for Analytics and AI สไตล์ Infographic สมัยใหม่

Introduction to Databricks Lakehouse

Lakehouse ช่วยยกระดับคุณภาพข้อมูล

$$

flowchart: ข้อมูลดิบ, การบังคับใช้ Schema, ACID Transactions, ข้อมูลที่ได้รับการกำกับดูแลและน่าเชื่อถือ

$$

  • บังคับใช้ Schema ตอนเขียนข้อมูล
  • Transaction log ติดตามทุกการเปลี่ยนแปลง
  • Time travel - สืบค้นข้อมูลเวอร์ชันย้อนหลังได้
Introduction to Databricks Lakehouse

สรุป

$$

  • Data Lake - ยืดหยุ่นแต่ไม่น่าเชื่อถือ
  • Data Warehouse - เชื่อถือได้แต่ไม่ยืดหยุ่นและมีค่าใช้จ่ายสูง
  • Lakehouse - รวมข้อดีทั้งสองบนแพลตฟอร์มเดียว
  • ขับเคลื่อนด้วย Delta Lake, ACID และ Unity Catalog
Introduction to Databricks Lakehouse

มาฝึกกันเถอะ!

Introduction to Databricks Lakehouse

Preparing Video For Download...