おめでとうございます

データエンジニアリング入門

Vincent Vankrunkelsven

Data Engineer, DataCamp

データエンジニアリング入門

 

• データエンジニアの業務を理解する
• 使用するツールの種類
• クラウドサービスプロバイダー

データエンジニアリングのツールボックス

 

• データベース
• 並列コンピューティングとフレームワーク（Spark）
• Airflow によるワークフロースケジューリング

抽出、変換、ロード（ETL）

 

• 抽出（Extract）：複数のソースからデータを取得
• 変換（Transform）：並列コンピューティングで変換を実行
• ロード（Load）：対象データベースへデータを読み込み

ケーススタディ：DataCamp

 

• 複数のソースからデータを取得
• 変換してレコメンデーションを作成
• 対象データベースへロード

よくできました！

データエンジニアリング入門