数据摄取

深入理解现代数据架构

Miller Trujillo

Senior Software Engineer

什么是数据摄取？

• 功能性需求
• 分析可影响功能性

批量摄取

• 按计划定期摄取
• 复制到平台供分析
• 读全量 vs 仅读新增
• 大型数据集需分片读取
• 小型数据集可覆盖写入

批量摄取：只带来变更

• 资源非无限
• 仅摄取变更部分
• 用更新时间戳或标记
• 获取数据最新状态
• 删除需标记或归并

流式摄取

• 推送模型
• 事件队列
• 7×24 计算
• 落地区

让我们来练习！

深入理解现代数据架构