ประเภทของคลัสเตอร์และ Runtime

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

คลัสเตอร์คืออะไร?

$$

  • กลุ่มของเครื่องเสมือน สำหรับรันโค้ด
  • โหนด Driver หนึ่งตัวทำหน้าที่ประสานงาน
  • โหนด Worker หนึ่งตัวหรือมากกว่าทำการประมวลผล
  • คลัสเตอร์อ่านข้อมูลจาก Cloud Storage

$$

$$

ลำดับชั้น: Driver Node, Worker 1, Worker 2, Worker 3, Cloud Storage

Introduction to Databricks Lakehouse

All-Purpose Cluster

$$

  • พัฒนาแบบ Interactive และรัน ad-hoc query
  • แชร์ ใช้งานร่วมกันในทีม
  • ทำงานต่อเนื่องจนกว่าจะหยุดด้วยตนเอง
  • เปรียบได้กับรถส่วนตัว — พร้อมใช้เสมอ แต่มีค่าใช้จ่ายแม้ไม่ได้ใช้งาน

$$

รถยนต์ส่วนตัวจอดอยู่ในทางเข้าบ้าน พร้อมใช้เสมอแต่มีค่าใช้จ่ายแม้ไม่ได้ใช้งาน แทนทรัพยากรประมวลผลที่เปิดทิ้งไว้

Introduction to Databricks Lakehouse

Jobs Cluster

$$

  • สร้างขึ้นอัตโนมัติเมื่องานเริ่มต้น
  • รันงานเดียวแล้วหยุดทำงาน
  • ไม่ต้องจัดการด้วยตนเอง
  • ประหยัดค่าใช้จ่ายสำหรับ Production Workload

$$

แท็กซี่สมัยใหม่ที่มีมิเตอร์เรืองแสงอยู่ด้านบน แทนทรัพยากรประมวลผลแบบ on-demand ที่เริ่มและหยุดโดยอัตโนมัติ

Introduction to Databricks Lakehouse

ควรใช้แบบไหนเมื่อใด?

$$

เปรียบเทียบ: All-Purpose — พัฒนาแบบ Interactive, งาน Notebook, Ad-hoc SQL, แชร์ในทีม | Jobs — ETL รายคืน, รายงานตามกำหนด, ทดสอบอัตโนมัติ, Production

  • ข้อผิดพลาดที่พบบ่อย: รัน Production Pipeline บน All-Purpose Cluster
Introduction to Databricks Lakehouse

Databricks Runtime

$$

  • Software Stack ที่มี Version สำหรับรันบนทุกคลัสเตอร์
  • รวม Apache Spark, Delta Lake, Python, R, Scala
  • เวอร์ชัน LTS — Long-Term Support แนะนำสำหรับ Production
  • ML Runtime มีไลบรารี ML ติดตั้งไว้ล่วงหน้า

$$

ชั้นของ Runtime: Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, System Libraries

Introduction to Databricks Lakehouse

สรุป

$$

  • All-Purpose Cluster — Interactive, แชร์ได้, จัดการด้วยตนเอง
  • Jobs Cluster — อัตโนมัติ, รันงานเดียว, ประหยัดค่าใช้จ่าย
  • Databricks Runtime — Software Stack ที่มี Version (ใช้ LTS สำหรับ Production)
  • เลือกประเภทคลัสเตอร์ให้ตรงกับ Workload เพื่อควบคุมค่าใช้จ่าย
Introduction to Databricks Lakehouse

มาฝึกกันเถอะ!

Introduction to Databricks Lakehouse

Preparing Video For Download...