การจัดการและกำหนดค่าคลัสเตอร์

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

ค้นหาคลัสเตอร์ของคุณ

$$

  • All Clusters - คลัสเตอร์ทั้งหมดใน workspace
  • My Clusters - คลัสเตอร์ที่คุณสร้าง
  • Shared with Me - คลัสเตอร์ที่ผู้อื่นให้สิทธิ์เข้าถึง
  • กรองตามสถานะ: Running, Terminated

$$

recraft: half: ตู้เก็บเอกสารพร้อมแฟ้มที่มีสีและป้ายกำกับชัดเจน แสดงถึงการกรองและจัดระเบียบคลัสเตอร์

Introduction to Databricks Lakehouse

สถานะของคลัสเตอร์

flowchart: Pending, Running, Restarting, Terminating, Terminated

Introduction to Databricks Lakehouse

การหยุดคลัสเตอร์: สิ่งที่ยังอยู่และสิ่งที่หายไป

comparison: Preserved, Configuration, Notebooks, Cloud storage | Lost, In-memory data, Installed libraries, Temp files

  • การหยุด (Termination) ไม่ใช่ การลบ — การตั้งค่าและ Notebooks ยังคงอยู่
  • ข้อมูลในหน่วยความจำ แคช และแพ็กเกจที่ติดตั้งผ่าน pip จะถูกล้างออก
Introduction to Databricks Lakehouse

เมื่อใดควรรีสตาร์ท

$$

  • ติดตั้งไลบรารีใหม่แต่โหลดไม่ได้
  • คลัสเตอร์ทำงานผิดปกติหรือช้าลง
  • ต้องการล้างข้อมูลแคชออกจากหน่วยความจำ
  • อัปเดต init script หรือตัวแปรสภาพแวดล้อม

$$

recraft: half: ไอคอนปุ่มเปิด/ปิดพร้อมลูกศรวนรอบเรืองแสงสีน้ำเงินและเขียว แสดงถึงการรีสตาร์ทหรือรีเฟรชระบบ

Introduction to Databricks Lakehouse

Autoscaling และ Auto-termination

$$

Autoscaling and Auto-termination

$$

  • Autoscaling เพิ่มหรือลด worker ตามปริมาณงาน
  • รองรับงานที่มีความต้องการสูงช่วงสั้นโดยไม่ต้องจัดสรรเกิน
  • Auto-termination ปิดคลัสเตอร์อัตโนมัติหลังจากไม่ได้ใช้งานตามเวลาที่กำหนด
  • ป้องกันคลัสเตอร์ที่ถูกลืมทิ้งไว้สิ้นเปลืองงบประมาณ
Introduction to Databricks Lakehouse

นโยบายคลัสเตอร์

$$

  • กฎที่แอดมินกำหนดสำหรับการสร้างคลัสเตอร์
  • จำกัดประเภทโหนด จำนวน worker สูงสุด และเวอร์ชัน runtime
  • บังคับใช้ auto-termination และการติดแท็ก
  • ผู้ใช้สร้างคลัสเตอร์ได้ภายในขอบเขตของนโยบาย

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}
Introduction to Databricks Lakehouse

สรุป

$$

  • กรองคลัสเตอร์เพื่อค้นหาสิ่งที่ต้องการได้อย่างรวดเร็ว
  • การหยุดคลัสเตอร์ช่วยประหยัดค่าใช้จ่าย แต่จะล้างหน่วยความจำและไลบรารี
  • รีสตาร์ทเพื่อโหลดไลบรารีใหม่หรือแก้ไขปัญหา
  • Autoscaling และ Auto-termination ควบคุมค่าใช้จ่ายโดยอัตโนมัติ
  • นโยบายคลัสเตอร์ช่วยให้แอดมินกำหนดมาตรฐานได้
Introduction to Databricks Lakehouse

มาฝึกกันเถอะ!

Introduction to Databricks Lakehouse

Preparing Video For Download...