データパイプライン

データエンジニアリングの理解

Hadrien Lacroix

Content Developer at DataCamp

もしデータが新たな石油だとすれば…

¹ The Economist、2017年5月6日、David Parkins

データエンジニアリングに戻る

• インジェスト
• プロセス
• ストア
• パイプラインが必要
• 各工程から次の工程への流れを自動化する
• 最新かつ正確で関連性の高いデータを提供する

$$

データパイプラインはデータの効率的な流れを確保する

自動化

• 抽出中
• 変換中
• 結合
• 検証中
• 読み込み中

減らす

• 人間の介入
• エラー
• データが流れるのにかかる時間

ETLとデータパイプライン

ETL

• データパイプライン設計のための人気フレームワーク
• 1) 抽出 データ
• 2) 変換抽出データ
• 3) ロード変換済みデータを別のデータベースへ移す

データパイプライン

• データをあるシステムから別のシステムへ移動
• ETLに従う場合があります
• データは変換されない場合があります
• データはアプリケーションに直接ロードされる場合があります

概要

• データパイプラインとは何か
• その役割とは
• なぜ重要なのか
• Spotflix におけるデータパイプラインの実装方法
• ETLとは何かとそのニュアンス

練習しましょう！

データエンジニアリングの理解