数据管道

数据科学概览

Sara Billen

Curriculum Manager

$$

$$

$$

如何扩展？

多个数据源：

• 公共记录
• API
• 数据库

不同数据类型：

• 非结构化数据
• 表格数据
• 实时流数据 如推文

什么是数据管道？

• 将数据推进到定义的阶段
• 自动收集与存储
  • 按小时、天、周等定时
  • 由事件触发
• 监控并生成告警
• 大数据项目所必需
• 数据工程师定制解决方案
• Extract Transform Load（ETL）

案例研究：智能家居

数据	来源	频率
天气状况	国家气象服务 API	每30分钟一次
你所在区域的推文	Twitter API	实时流
室内温度	智能家居恒温器	每5分钟一次
灯光状态	智能灯泡	每分钟一次
门锁状态	智能门锁	每15秒一次
能耗	智能电表	每周

抽取

来源	频率
国家气象 API	每30分钟一次
Twitter API	实时流
智能家居恒温器	每5分钟一次
智能灯泡	每分钟一次
智能门锁	每15秒一次
智能电表	每周

转换

转换

面对大量涌入的数据，如何保持有序且易用？

$$ 示例转换：

• 将多个数据源合并为一份数据集
• 转换数据结构以匹配数据库模式
• 移除无关数据

数据准备与探索不在此阶段进行

加载

自动化

Passons à la pratique !

数据科学概览