恭喜你

Data Engineering 入門

Vincent Vankrunkelsven

Data Engineer, DataCamp

資料工程導論

 

• 認識資料工程師的工作
• 他們常用的工具
• 雲端服務供應商

資料工程工具箱

 

• 資料庫
• 平行運算與框架（Spark）
• 使用 Airflow 的工作流程排程

Extract、Transform、Load（ETL）

 

• Extract：從多個來源擷取資料
• Transform：用平行運算進行轉換
• Load：將資料載入目標資料庫

案例研究：DataCamp

 

• 從多個來源擷取資料
• 轉換以產生推薦
• 載入到目標資料庫

做得好！

Data Engineering 入門