データメッシュとデータファブリック

現代のデータアーキテクチャを理解する

Miller Trujillo

Senior Software Engineer

データメッシュ

データの所有と管理を分散化するアーキテクチャ手法
所有と管理:
- データへの全責任
- 品質・セキュリティ・プライバシーの確保

データメッシュのアーキテクチャ

データセットごとのオーナー
データをプロダクトとして公開
共通インフラの共有
マイクロサービス
マインドセットの転換

3万フィート視点のデータメッシュアーキテクチャ

¹ https://martinfowler.com/articles/data-monolith-to-mesh.html

では、どう処理するのか？

データマネジメントの組織・文化面
ドメインのデータプロダクトが最優先
ツールは二の次
データレイクや DWH はドメイン内の一要素に過ぎない

データメッシュの利点と課題

利点:
- データの民主化
- 分散化
- 明確な責任者
- スケーラビリティと俊敏性
- 市場投入の高速化
- 技術スタックの柔軟性
- ...

課題:
- 文化的転換
- データガバナンス
- 連携と調整
- 技術的複雑性

データファブリック

統合された一元ビュー
データの民主化
メタデータ
- ナレッジグラフ
- AI/ML アルゴリズム
- アクティブメタデータ
インテリジェント統合
より良いデータ管理と保護

¹ https://www.gartner.com/smarterwithgartner/data-fabric-architecture-is-key-to-modernizing-data-management-and-integration ² https://www.ibm.com/topics/data-fabric

データファブリックがサポートすべきもの

ETL
ストリーミング
レプリケーション
メッセージング
データ仮想化
データマイクロサービス
...

演習に進みましょう！

現代のデータアーキテクチャを理解する