恭喜您

Data Engineering 入门

Vincent Vankrunkelsven

Data Engineer, DataCamp

数据工程入门

 

• 识别数据工程师的职责
• 他们常用的工具
• 云服务提供商

数据工程工具箱

 

• 数据库
• 并行计算与框架（Spark）
• 使用 Airflow 进行工作流调度

提取、转换、加载（ETL）

 

• 提取：从多种来源获取数据
• 转换：用并行计算进行转换
• 加载：将数据加载到目标数据库

案例研究：DataCamp

 

• 从多源抓取数据
• 转换以生成推荐
• 加载到目标数据库

做得好！

Data Engineering 入门