数据处理

理解 Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

一般定义

• 数据处理：将原始数据转为有意义的信息

数据处理的价值

概念上

• 移除无用数据
• 优化内存、处理与网络开销
• 在类型间转换数据

在 Spotflix

• 测试特性数据无长期需求
• 无法承担存储与传输如此大的文件

数据处理的价值

概念上

• 移除无用数据
• 节省内存
• 在类型间转换数据
• 组织数据
• 以适配模式/结构
• 提升生产力

在 Spotflix

• 无需无损格式
• 无法存储如此大的文件
• 将歌曲从 .flac 转为 .ogg
• 将数据湖的数据重组到数据仓库
• 员工表示例
• 赋能数据科学家

数据工程师如何处理数据

• 数据操作、清洗与整理任务
  • 可自动化
  • 始终需要完成
• 将数据存入结构合理的数据库
• 在数据库表之上创建视图
• 优化数据库性能

• 拒收损坏的歌曲文件
• 决定缺失元数据的处理方式
• 将艺术家与专辑分成独立表…
• …但提供合并它们的视图
• 建索引

¹ 下一课将解释批处理与流处理的区别！

总结

• 什么是数据处理
• 为什么需要
• 包含哪些内容
• 我们在 Spotflix 如何处理数据

Vamos praticar!

理解 Data Engineering