Data Mesh dan Data Fabric

Memahami Arsitektur Data Modern

Miller Trujillo

Senior Software Engineer

Data Mesh

Pendekatan arsitektural untuk mendesentralisasi kepemilikan dan pengelolaan data
Kepemilikan dan pengelolaan:
- Tanggung jawab penuh atas data
- Menjamin kualitas, keamanan, dan privasi

Arsitektur Data Mesh

Pemilik untuk tiap dataset
Mengekspos data sebagai produk
Berbagi infrastruktur bersama
Microservices
Perubahan pola pikir!

Arsitektur data mesh dari ketinggian 30.000 kaki

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

Lalu bagaimana memproses data?

Aspek organisasi dan budaya dalam manajemen data
Produk data domain sebagai warga kelas satu
Alat adalah warga kelas dua
Data lake dan gudang data hanyalah node, detail dalam domain

Manfaat dan tantangan Data Mesh

Manfaat:
- Demokratisasi data
- Desentralisasi
- Kepemilikan yang jelas
- Skalabilitas dan kelincahan
- Time to Market lebih cepat
- Fleksibilitas tumpukan teknologi
- ...

Tantangan:
- Perubahan budaya
- Tata kelola data
- Kolaborasi dan koordinasi
- Kompleksitas teknis

Data Fabric

Tampilan terpadu dan terintegrasi
Demokratisasi data
Metadata
- Knowledge graph
- Algoritme AI/ML
- Metadata aktif
Integrasi cerdas
Manajemen dan perlindungan data yang lebih baik

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

Data Fabric harus mendukung...

ETL
Streaming
Replikasi
Messaging
Virtualisasi data
Microservices data
...

Ayo berlatih!

Memahami Arsitektur Data Modern