Data warehouses และ data lakes

ทำความเข้าใจ Data Engineering

Hadrien Lacroix

Content Developer

Warehouse และ Lake มองจากมุมสูง

ทำความเข้าใจ Data Engineering

pipeline

ทำความเข้าใจ Data Engineering

Data lake และ data warehouse

Data lake

  • เก็บข้อมูลดิบทั้งหมด
  • ขนาดได้ถึงระดับ petabyte (1 ล้าน GB)
  • รองรับข้อมูลทุกโครงสร้าง
  • ต้นทุนต่ำ
  • วิเคราะห์ยาก
  • ต้องมี data catalog ที่อัปเดตอยู่เสมอ
  • ใช้โดย data scientist
  • Big data และ real-time analytics

Data warehouse

  • ข้อมูลเฉพาะสำหรับการใช้งานเฉพาะด้าน
  • ขนาดค่อนข้างเล็ก
  • เก็บข้อมูลเชิงโครงสร้างเป็นหลัก
  • ค่าใช้จ่ายในการอัปเดตสูงกว่า
  • ปรับแต่งมาเพื่อการวิเคราะห์ข้อมูล
  • ใช้โดย data analyst และ business analyst ด้วย
  • คิวรีแบบ ad-hoc และ read-only
ทำความเข้าใจ Data Engineering

Data catalog สำหรับ data lake

  • ข้อมูลนี้มาจากที่ไหน?
  • ข้อมูลนี้ถูกใช้ที่ไหน?
  • ใครเป็นเจ้าของข้อมูลนี้?
  • ข้อมูลนี้อัปเดตบ่อยแค่ไหน?
  • แนวปฏิบัติที่ดีด้าน data governance
  • รับประกันความสามารถในการทำซ้ำ
  • ไม่มี catalog --> data swamp
  • แนวปฏิบัติที่ดีสำหรับทุกระบบจัดเก็บข้อมูล
    • ความน่าเชื่อถือ
    • ความเป็นอิสระ
    • ความสามารถในการขยายระบบ
    • ความเร็ว
ทำความเข้าใจ Data Engineering

Database vs. data warehouse

  • Database:
    • คำที่ใช้ในความหมายทั่วไป
    • นิยามอย่างกว้างๆ ว่า ข้อมูลที่จัดระเบียบและเข้าถึงได้บนคอมพิวเตอร์
  • Data warehouse คือ database ประเภทหนึ่ง
ทำความเข้าใจ Data Engineering

สรุป

  • Data lake
  • Data warehouse
  • Database
  • Data catalog
ทำความเข้าใจ Data Engineering

มาฝึกกันเถอะ!

ทำความเข้าใจ Data Engineering

Preparing Video For Download...