恭喜你

Data Engineering 入门

Vincent Vankrunkelsven

Data Engineer @ DataCamp

数据工程导论

 

• 了解数据工程师的职责
• 他们使用的工具
• 云服务提供商

数据工程工具箱

 

• 数据库
• 并行计算与框架（Spark）
• 使用 Airflow 进行工作流调度

提取、转换与加载（ETL）

 

• 提取：从多源获取数据
• 转换：用并行计算进行转换
• 载入：将数据写入目标数据库

案例研究：DataCamp

 

• 从多源抓取数据
• 转换以生成推荐
• 载入至目标数据库

做得好！

Data Engineering 入门