Data Intelligence Platform - ข้อมูล

Databricks เบื้องต้น

Kevin Barlow

Data Analytics Practitioner

เหตุใดองค์กรจึงให้ความสำคัญกับการจัดการข้อมูล?

การปกป้องและความปลอดภัย

ความปลอดภัยของข้อมูล

ความเชื่อมั่นในข้อมูล

การวิเคราะห์ที่เชื่อถือได้

ประเภทของข้อมูล

มีโครงสร้าง

พบบ่อยที่สุดและเข้าใจง่าย
เป็นแถวและคอลัมน์ตามปกติ
ตัวอย่าง:
- ตารางในฐานข้อมูล
- .csv
- Parquet
- Delta

id	name	occupation	location
1	Kevin	Data Scientist	California
2	Tom	Architect	Arizona
3	Sally	Lawyer	Texas
4	Tina	Surgeon	Florida
5	Joe	Engineer	New York

ประเภทของข้อมูล

กึ่งมีโครงสร้าง

พบบ่อยในอุปกรณ์บนเว็บ
มีโครงสร้างบางส่วน แต่เนื้อหายืดหยุ่นกว่า
ตัวอย่าง:
- JSON
- XML
- HTML

{
  "people": [{
      "id": 1,
      "name": "Kevin",
      "occupation": "Data Scientist",
      "location": "California"},
    {
      "id": 2,
      "name": "Tom",
      "occupation": "Architect",
      "location": "Arizona"}]
}

ประเภทของข้อมูล

ไม่มีโครงสร้าง

พบบ่อยในอุปกรณ์อัจฉริยะ กล้อง ฯลฯ
โครงสร้างน้อย แต่มีข้อมูลเนื้อหาสูง
ตัวอย่าง:
- JPEG
- PNG
- MP4
- PDF
- DOC

แผนภาพข้อมูลไม่มีโครงสร้าง

Delta

delta.io

รูปแบบการจัดเก็บแบบ open-source
รวบรวมตาราง Parquet
ล็อกธุรกรรมในรูปแบบ JSON
รองรับ ACID ครบถ้วน
รองรับชุดข้อมูลแบบ batch และ streaming

Unity Catalog

โมเดลข้อมูล Unity Catalog

¹ https://docs.databricks.com/en/data-governance/unity-catalog/index.html#the-unity-catalog-object-model

Unity Catalog

โมเดลข้อมูล Unity Catalog

GRANT, SHOW, REVOKE, USE ...

Catalog Explorer

ศูนย์กลางเดียวสำหรับค้นหา data asset ทั้งหมด
UI สำหรับค้นพบข้อมูล
จัดการสิทธิ์ใน Unity Catalog
ดู data lineage และ asset ที่เกี่ยวข้อง

ภาพหน้าจอ Catalog Explorer

มาฝึกกันเถอะ!

Databricks เบื้องต้น