Data Mesh ve Data Fabric

Modern Veri Mimarilerini Anlama

Miller Trujillo

Senior Software Engineer

Data Mesh

  • Veri sahipliği ve yönetimini merkezsizleştiren mimari yaklaşım
  • Sahiplik ve yönetim:
    • Veriden tam sorumluluk
    • Kalite, güvenlik ve gizliliği sağlama
Modern Veri Mimarilerini Anlama

Data Mesh mimarisi

  • Her veri kümesi için sahipler
  • Veriyi ürün olarak sunma
  • Ortak altyapıyı paylaşma
  • Mikroservisler
  • Zihniyet değişimi!

30.000 fitten Data Mesh mimarisi

1 https://martinfowler.com/articles/data-monolith-to-mesh.html
Modern Veri Mimarilerini Anlama

Peki veriyi nasıl işleriz?

  • Veri yönetiminin örgütsel ve kültürel yönleri
  • Alan verisi ürünleri birinci sınıf ögeler
  • Araçlar ikinci sınıf ögeler
  • Veri gölleri ve ambarlar yalnızca düğümler, alan içi detaylardır
Modern Veri Mimarilerini Anlama

Data Mesh: faydalar ve zorluklar

  • Faydalar:
    • Verinin demokratikleşmesi
    • Merkezsizleşme
    • Net sahiplik
    • Ölçeklenebilirlik ve çeviklik
    • Piyasaya çıkış süresi kısalır
    • Teknoloji yığını esnekliği
    • ...
  • Zorluklar:
    • Kültürel değişim
    • Veri yönetişimi
    • İşbirliği ve koordinasyon
    • Teknik karmaşıklık
Modern Veri Mimarilerini Anlama

Data Fabric

  • Birleşik ve entegre görünüm
  • Verinin demokratikleşmesi
  • Metadata
    • Bilgi grafı
    • AI/ML algoritmaları
    • Aktif metadata
  • Akıllı entegrasyon
  • Daha iyi veri yönetimi ve koruma
1 https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration 2 https://www.ibm.com/topics/data-fabric
Modern Veri Mimarilerini Anlama

Bir Data Fabric şunları desteklemelidir...

  • ETL
  • Streaming
  • Replikasyon
  • Messaging
  • Veri sanallaştırma
  • Veri mikroservisleri
  • ...
Modern Veri Mimarilerini Anlama

Hadi pratik yapalım!

Modern Veri Mimarilerini Anlama

Preparing Video For Download...