Data warehouse กับ data lake ต่างกันอย่างไร?

แนวคิด Data Warehousing

Aaren Stubberfield

Data Scientist

ฐานข้อมูล

• ข้อมูลแบบมีโครงสร้างในรูปแถวและคอลัมน์
• ฐานข้อมูลเชิงธุรกรรมเก็บรายการธุรกรรม

Data warehouse

• รวบรวม บูรณาการ และเตรียมข้อมูลไว้สำหรับวิเคราะห์
• รับข้อมูลจากหลายแหล่ง
• เก็บข้อมูลแบบมีโครงสร้าง
• เปลี่ยนแปลงได้ยาก
  • ต้องคำนึงถึงผลกระทบทั้งต้นทางและปลายทาง
• ขนาดโดยทั่วไปมากกว่า 100 GB

ทำไมต้องใช้ data warehouse?

• ความเร็วในการรันคิวรีบนข้อมูลขนาดใหญ่
• หลีกเลี่ยงการทำให้ฐานข้อมูลเชิงธุรกรรมทำงานช้าลง

Data marts

• ฐานข้อมูลเชิงสัมพันธ์สำหรับการวิเคราะห์
• ข้อมูลมุ่งเน้นที่หัวข้อเดียว
• รับข้อมูลจากไม่กี่แหล่ง
• ขนาดโดยทั่วไปน้อยกว่า 100 GB

Data lake

• ที่เก็บข้อมูลทั้งองค์กร
  • มีข้อมูลจากหลายแผนก
  • รับข้อมูลจากหลายแหล่ง
  • ขนาดโดยทั่วไปมากกว่า 100 GB
• เก็บทั้งข้อมูลแบบมีโครงสร้างและไม่มีโครงสร้าง
  • เช่น วิดีโอ เสียง และเอกสาร

Data lake

• เปลี่ยนแปลงได้ง่ายกว่า
  • ผลกระทบต้นทางและปลายทางน้อยกว่า
• อาจยังไม่ทราบวัตถุประสงค์ในการจัดเก็บข้อมูล
  • โครงสร้างน้อยกว่า

สรุป

คุณสมบัติ	Data Warehouse	Data Mart	Data Lake
โครงสร้างข้อมูล	มีโครงสร้าง	มีโครงสร้าง	มีโครงสร้างและไม่มีโครงสร้าง
ความซับซ้อนในการเปลี่ยนแปลง	ซับซ้อน	ซับซ้อน	ซับซ้อนน้อยกว่า
วัตถุประสงค์ของข้อมูล	ทราบแน่ชัด	ทราบแน่ชัด	อาจยังไม่ทราบ
ขอบเขตครอบคลุมแผนก	หลายแผนก	แผนกเดียว	หลายแผนก
แหล่งข้อมูล	หลายระบบ	ไม่กี่แหล่ง	หลายระบบ
ขนาดโดยทั่วไป	>100 GB	<100 GB	>100 GB

มาฝึกกันเถอะ!

แนวคิด Data Warehousing