資料匯入

理解現代資料架構

Miller Trujillo

Senior Software Engineer

什麼是資料匯入？

• 功能性需求
• 分析可能影響功能需求

批次匯入

• 依排程定期匯入資料
• 複製到我們的平台以供分析
• 讀取全部資料 vs 只讀取對我們而言的新資料
• 大型資料集需部分讀取
• 小型資料集可直接覆寫

批次匯入：只帶入變更

• 資源不可能無限
• 只匯入有變更的部分
• 依 timestamp 或旗標判斷更新
• 取得資料最新狀態
• 刪除需以旗標或彙整處理

串流匯入

• 推送模型
• 事件佇列
• 24/7 運算
• 落地區（Landing zone）

一起來練習吧！

理解現代資料架構