数据工程与大数据

理解 Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

课程简介

• 概念课
• 无编码
• 目标
  • 能与数据工程师沟通
  • 为深入学习打下基础

第1章

什么是数据工程？

1. 数据工程与大数据
2. 数据工程师 vs. 数据科学家
3. 数据管道

第2章

数据存储如何工作

1. 结构化 vs 非结构化数据
2. SQL
3. 数仓与数据湖

第3章

如何移动与处理数据

1. 数据处理
2. 调度数据
3. 并行计算
4. 云计算

$$

$$

$$

数据工作流

数据工作流

数据工作流

数据工作流

数据工程师

数据工程师

数据工程师交付：

• 正确的数据
• 正确的形式
• 给正确的人
• 尽可能高效

数据工程师的职责

• 从多源摄取数据
• 为分析优化数据库
• 移除损坏数据
• 设计、构建、测试并维护数据架构

数据工程师与大数据

• 大数据成为常态 =>

数据工程师与大数据

• 大数据成常态 => 数据工程师需求激增
• 大数据：
  • 需考虑如何处理其规模
  • 传统方法已不再适用

大数据增长

• 传感器与设备
• 社交媒体
• 企业数据
• VoIP（语音通信，多媒体会话）

¹ Data Age 2025, Seagate, 2018年11月

五个V

• 量（有多少）
• 类（什么类型）
• 速（多频繁）
• 真（多准确）
• 值（多有用）

总结

• 课程内容预览
• 数据在组织内的流转
• 数据工程师介入时机
• 其职责
• 数据工程与大数据的关系

Ayo berlatih!

理解 Data Engineering