数据管道

理解 Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

如果数据是新石油……

¹ 经济学人，2017-05-06，David Parkins

回到数据工程

• 摄取
• 处理
• 存储
• 需要管道
• 自动化从一站到下一站
• 提供最新、准确、相关的数据

$$

数据管道确保高效数据流转

自动化

• 提取
• 转换
• 合并
• 校验
• 加载

减少

• 人工干预
• 错误
• 数据流转时间

ETL 与数据管道

ETL

• 设计数据管道的常用框架
• 1) Extract 数据
• 2) Transform 提取的数据
• 3) Load 转换后的数据到另一数据库

数据管道

• 在系统间移动数据
• 可能遵循 ETL
• 数据可不做转换
• 可直接加载到应用

小结

• 数据管道是什么
• 它的作用
• 为何重要
• Spotflix 的实现方式
• 什么是 ETL 及其要点

开始练习吧！

理解 Data Engineering