คุณสมบัติหลักของ Databricks Lakehouse Platform

แนวคิด Databricks

Kevin Barlow

Data Practitioner

Apache Spark

Apache Spark คือเฟรมเวิร์กประมวลผลข้อมูลแบบโอเพนซอร์ส และเป็นเครื่องยนต์หลักที่ขับเคลื่อน Databricks

DataCamp Courses

  • Introduction to Pyspark
  • Big Data Fundamentals with Pyspark
  • Cleaning Data with Pyspark
  • Machine Learning with Pyspark
  • Introduction to Spark SQL in Python
แนวคิด Databricks

ประโยชน์ของ Spark

ประโยชน์หลัก:

  1. เฟรมเวิร์กโอเพนซอร์สที่ยืดหยุ่นและขยายได้
  2. ชุมชนนักพัฒนาขนาดใหญ่
  3. ประสิทธิภาพสูง
  4. การปรับแต่งจาก Databricks

แผนภาพ Spark Cluster

1 https://spark.apache.org/docs/latest/cluster-overview.html
แนวคิด Databricks

พื้นฐาน Cloud Computing

การประมวลผลแบบคลาสสิก

การประมวลผลแบบคลาวด์

แนวคิด Databricks

Databricks Compute

Clusters

  • กลุ่มทรัพยากรการประมวลผล
  • รองรับทุก workload และทุก use case
  • All-purpose vs. Jobs

ภาษาที่ Databricks รองรับ

SQL Warehouses

  • ใช้ SQL เท่านั้น
  • สำหรับงาน BI
  • Photon

ภาษา SQL

แนวคิด Databricks

การจัดเก็บข้อมูลบนคลาวด์

การจัดเก็บข้อมูลบนคลาวด์ - DB

การจัดเก็บข้อมูลบนคลาวด์ - ไฟล์

แนวคิด Databricks

Delta

โลโก้ Delta Lake

Delta คือรูปแบบไฟล์จัดเก็บข้อมูลแบบโอเพนซอร์ส ที่มอบความสามารถดังนี้:

  • ACID transactions
  • รวม batch และ streaming ไว้ด้วยกัน
  • Schema evolution
  • ประวัติตาราง
  • Time-travel
1 delta.io
แนวคิด Databricks

Unity Catalog

Unity Catalog คือกลยุทธ์การกำกับดูแลข้อมูลแบบโอเพนซอร์ส ที่ควบคุมการเข้าถึง data assets ทั้งหมดใน Databricks Lakehouse Platform

  • ใช้คำสั่ง SQL GRANT, REVOKE เพื่อควบคุมการเข้าถึง
  • อินเทอร์เฟซที่เรียบง่ายสำหรับการกำกับดูแล

Data Catalog

แนวคิด Databricks

Databricks UI

ออกแบบมาเพื่อให้เข้าถึงความสามารถต่าง ๆ ได้ง่ายขึ้น ตามประเภทงานข้อมูลของแต่ละคน

  • ผู้ใช้ทุกคนเข้าถึงข้อมูลและ Compute ได้
  • ผู้ใช้ SQL ได้อินเทอร์เฟซที่คุ้นเคยสำหรับคิวรีและรายงาน
  • วิศวกรข้อมูลใช้งาน Delta Live Tables ได้
  • งาน Machine Learning ใช้โมเดล features และอื่น ๆ ได้

เมนู Databricks

แนวคิด Databricks

มาทบทวนกัน!

แนวคิด Databricks

Preparing Video For Download...