数据集成

数据库设计

Lis Sulmont

Curriculum Manager

什么是数据集成

 

 

 

数据集成将来自不同来源、格式和技术的数据合并,为用户提供统一的"翻译后"视图。

数据库设计

业务案例示例

  • 客户 360 视图
  • 并购
  • 传统系统
数据库设计

统一数据模型

表示统一数据模型的数据库图标

数据库设计

数据源

三个数据源未连接到统一数据模型

数据库设计

数据源格式

三个数据源未连接到统一数据模型,且格式不同

数据库设计

统一数据模型的格式

三个不同格式的数据源,未连接到统一数据模型(Redshift 数据仓库)

数据库设计

示例:DataCamp

来自不同部门、不同格式的三个数据源,未连接到统一数据模型(Redshift 数据仓库)

数据库设计

更新频率——销售

三个数据源每日更新

数据库设计

更新频率——空中交通

三个数据源实时更新

数据库设计

不同的更新频率

三个数据源在不同时间更新

数据库设计

这么简单?

三个数据源连接到统一数据模型

数据库设计

并不如此

三个数据源每日更新,上面有一个大叉号

数据库设计

转换

将三个数据源转换以适配统一数据模型

数据库设计

转换——工具

通过 ETL 处理三个数据源至统一数据模型

数据库设计

如何选择数据集成工具

  • 灵活
  • 可靠
  • 可扩展
数据库设计

自动化测试与主动告警

ETL 示意图,每个阶段都有测试图标

数据库设计

安全

ETL 示意图,显示从源到目标需受限的数据部分

数据库设计

安全——信用卡匿名化

ETL 示意图,对信用卡数据进行匿名化

数据库设计

数据治理——血缘

ETL 示意图,展示数据从源到目标的流向线

数据库设计

¡Vamos a practicar!

数据库设计

Preparing Video For Download...