Data Intelligence Platform - Compute

Databricks เบื้องต้น

Kevin Barlow

Data Practitioner

ทำไมองค์กรถึงให้ความสำคัญกับ Compute?

ฟันเฟืองเดี่ยว

ระบบฟันเฟือง

สร้างโดยผู้ร่วมก่อตั้ง Databricks
เฟรมเวิร์ก open source
การประมวลผลแบบกระจายที่มีประสิทธิภาพสูง
API สำหรับ Python, SQL, Scala, R
รองรับทุก use case:
- ตั้งแต่ data engineering ไปจนถึง machine learning และ business intelligence

ดูคอร์ส Apache Spark เพิ่มเติมบน DataCamp!

โลโก้ Apache Spark

Classic

ทรัพยากร Compute (virtual machines) ถูกสร้างใน Compute Plane
Databricks จัดเตรียม configuration ให้กับ cloud ของคุณ
ข้อดี: Compute และความปลอดภัยอยู่ในสภาพแวดล้อมของคุณ, ใช้ compute pool ที่มีอยู่ได้, ฯลฯ
ข้อเสีย: เวลาเริ่มต้นช้า

Databricks Control Plane

Serverless

ทรัพยากร Compute (virtual machines) ถูกสร้างใน Control Plane
Databricks จัดการการเข้าถึงสำหรับผู้ใช้
ข้อดี: เริ่มต้นเร็ว, ฟีเจอร์ล่าสุด, ประสิทธิภาพสูงสุด, Databricks ปรับปรุงประสิทธิภาพอย่างต่อเนื่อง
ข้อเสีย(?): Compute ไม่ได้อยู่ในสภาพแวดล้อมของคุณ

สถาปัตยกรรม Serverless

Single-node

Single-node cluster

Multi-node

Multi-node cluster

ติดตั้งบน Databricks cluster ทุกตัว
- Apache Spark เวอร์ชันที่ปรับให้เหมาะสม
- Photon สำหรับ SQL query ที่เร็วขึ้น
- ไลบรารีทั่วไป (เช่น pandas, dplyr, sci-kit learn)
- ลอจิกสำหรับเชื่อมต่อกับบริการ Databricks

คำแนะนำทั่วไป: ใช้เวอร์ชัน Long Term Support (LTS) ล่าสุดของ Runtime

Cluster พร้อม Databricks Runtime

Databricks เบื้องต้น