資料工程與大數據

Understanding Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

關於本課

• 觀念型課程
• 無需寫程式
• 學習目標
  • 能與資料工程師溝通
  • 打下紮實基礎以進一步學習

第 1 章

什麼是資料工程？

1. 資料工程與大數據
2. 資料工程師 vs. 資料科學家
3. 資料管線

第 2 章

資料儲存怎麼運作

1. 結構化 vs 非結構化資料
2. SQL
3. 資料倉儲與資料湖

第 3 章

如何搬移與處理資料

1. 資料處理
2. 排程資料
3. 平行運算
4. 雲端運算

$$

$$

$$

資料工作流程

資料工作流程

資料工作流程

資料工作流程

資料工程師

資料工程師

資料工程師要交付：

• 正確的資料
• 正確的格式
• 給正確的人
• 且盡可能高效

資料工程師的職責

• 從多種來源匯入資料
• 為分析最佳化資料庫
• 移除損毀資料
• 開發、建置、測試並維護資料架構

資料工程師與大數據

• 大數據成為常態 =>

資料工程師與大數據

• 大數據成為常態 => 對資料工程師的需求日增
• 大數據：
  • 必須思考如何處理其規模
  • 大到傳統方法已不適用

大數據成長

• 感測器與裝置
• 社群媒體
• 企業資料
• VoIP（語音通訊、多媒體傳輸）

¹ Data Age 2025, Seagate, November 2018

五個 V 指標

• 量（多少？）
• 多樣性（哪些種類？）
• 速度（多頻繁？）
• 真實性（多精確？）
• 價值（多有用？）

重點回顧

• 接下來你會學到
• 資料在組織中的流動
• 資料工程師何時介入
• 其主要職責
• 資料工程與大數據的關聯

一起來練習吧！

Understanding Data Engineering