สถาปัตยกรรมแพลตฟอร์ม

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

การเปรียบเทียบกับโรงแรม

Control plane - "แผนกต้อนรับ"

recraft: half: โต๊ะต้อนรับโรงแรมสมัยใหม่ที่มีพนักงานจัดการการจองบนหน้าจอ แทนการที่ Databricks จัดการการประสานงานและการกำหนดเวลา

จัดการโดย Databricks
ดูแลการประสานงานและคำขอ

Data plane - "ห้องพักของคุณ"

recraft: half: ห้องพักโรงแรมส่วนตัวที่มีตู้เซฟและโต๊ะทำงาน แทนบัญชีคลาวด์ของลูกค้าซึ่งเป็นที่อยู่ของข้อมูลและการประมวลผล

อยู่ในบัญชีคลาวด์ของคุณ
เป็นที่เก็บข้อมูลและการประมวลผลของคุณ

Control plane

จัดการโดย Databricks
UI ของ Workspace และ Notebook
การกำหนดเวลาและการออร์เคสเตรต Job
การจัดการและกำหนดค่า Cluster

recraft: half: โต๊ะต้อนรับสมัยใหม่พร้อมจอแสดงแดชบอร์ดและตารางกำหนดเวลา แทนศูนย์ควบคุม

Data plane

recraft: half: ห้องเก็บของที่มีแร็คเซิร์ฟเวอร์และตู้เก็บข้อมูลที่ล็อก แทนโครงสร้างพื้นฐานคลาวด์ที่ลูกค้าเป็นเจ้าของ

อยู่ในบัญชีคลาวด์ของคุณ
Compute Cluster ทำงานที่นี่
ข้อมูลเก็บในพื้นที่จัดเก็บคลาวด์ของคุณ
คุณควบคุมการเข้าถึงและเครือข่าย

อะไรอยู่ที่ไหน?

nanobanana: full: ไดอะแกรมแบ่งสองส่วนที่เชื่อมด้วยลูกศร: ฝั่งซ้ายคือ Control Plane แสดง Workspace UI และ Job Scheduler ฝั่งขวาคือ Data Plane แสดง Cluster และ Cloud Storage พร้อมลูกศรเชื่อมระหว่างกัน

Audit log และ System table

Audit log บันทึกกิจกรรมทั้งหมดใน Workspace
เก็บไว้ในบัญชีคลาวด์ของคุณในรูปsystem table
สามารถ Query ด้วย SQL เพื่อออกรายงานการปฏิบัติตามข้อกำหนด

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

สรุป

Control plane - จัดการโดย Databricks (UI, การกำหนดเวลา, การจัดการ)
Data plane - คลาวด์ของคุณ (การประมวลผล, พื้นที่จัดเก็บ, ข้อมูล)
Audit log - เก็บเป็น System table ในบัญชีของคุณ
ข้อมูลของคุณไม่เคยออกจากสภาพแวดล้อมคลาวด์ของคุณ

มาฝึกกันเถอะ!

Introduction to Databricks Lakehouse