おめでとうございます

データエンジニアリング入門

Vincent Vankrunkelsven

Data Engineer @ DataCamp

データエンジニアリング入門

 

• データエンジニアの主な業務を把握する
• 使用する主なツール
• クラウドサービスプロバイダー

データエンジニアのツールボックス

 

• データベース
• 並列計算とフレームワーク（Spark）
• Airflow によるワークフロー管理

抽出・変換・ロード（ETL）

 

• 抽出：複数ソースからデータを取得
• 変換：並列計算で変換を実行
• ロード：ターゲットDBに格納

ケーススタディ：DataCamp

 

• 複数ソースからデータ取得
• 推薦生成のために変換
• ターゲットDBへロード

お疲れさまでした！

データエンジニアリング入門