Data Mesh และ Data Fabric

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Miller Trujillo

Senior Software Engineer

Data Mesh

แนวทางสถาปัตยกรรมที่กระจายความเป็นเจ้าของและการจัดการข้อมูล
ความเป็นเจ้าของและการจัดการ:
- รับผิดชอบข้อมูลอย่างครบถ้วน
- ดูแลคุณภาพ ความปลอดภัย และความเป็นส่วนตัว

สถาปัตยกรรม Data Mesh

กำหนดเจ้าของสำหรับแต่ละชุดข้อมูล
เผยแพร่ข้อมูลในรูปแบบผลิตภัณฑ์
ใช้โครงสร้างพื้นฐานร่วมกัน
Microservices
เปลี่ยนแนวคิดใหม่!

มุมมองสถาปัตยกรรม Data Mesh ในภาพรวม

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

แล้วจะประมวลผลข้อมูลอย่างไร?

มุ่งเน้นด้านองค์กรและวัฒนธรรมในการจัดการข้อมูล
ผลิตภัณฑ์ข้อมูลของโดเมนคือสิ่งสำคัญอันดับหนึ่ง
เครื่องมือเป็นเพียงสิ่งรอง
Data lake และ data warehouse เป็นเพียงโหนด ซึ่งเป็นรายละเอียดภายในโดเมน

ประโยชน์และความท้าทายของ Data Mesh

ประโยชน์:
- การเปิดกว้างด้านข้อมูล
- การกระจายอำนาจ
- ความเป็นเจ้าของที่ชัดเจน
- ความสามารถในการปรับขนาดและความคล่องตัว
- เวลาออกสู่ตลาดที่รวดเร็วขึ้น
- ความยืดหยุ่นในการเลือก Technology Stack
- ...

ความท้าทาย:
- การเปลี่ยนแปลงวัฒนธรรมองค์กร
- Data Governance
- การทำงานร่วมกันและการประสานงาน
- ความซับซ้อนทางเทคนิค

Data Fabric

มุมมองข้อมูลแบบรวมและบูรณาการ
การเปิดกว้างด้านข้อมูล
Metadata
- Knowledge graph
- อัลกอริทึม AI/ML
- Active metadata
การผสานรวมอย่างชาญฉลาด
การจัดการและปกป้องข้อมูลที่ดีขึ้น

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Data Fabric ควรรองรับ...

ETL
Streaming
Replication
Messaging
Data virtualization
Data microservices
...

มาฝึกกันเถอะ!

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่