データパイプライン

データサイエンスを理解する

Sara Billen

Curriculum Manager

$$

$$

$$

どう拡張するのか？データソースが複数ある場合： {{1}}

• 公文書
• API
• データベース

さまざまなデータ型：

• 非構造化データ
• 表形式データ
• リアルタイム配信データ 例：ツイート

データパイプラインとは

• データにあらかじめ定めたプロセスを踏ませること
• データ収集と保存プロセスを自動化
  • 毎時間、毎日、毎週などスケジュール設定
  • 動作によってトリガーされる
• 設定したアラートで監視
• ビッグデータのプロジェクトに必要
• データエンジニア：ソリューションをカスタマイズする役目
• Extract Transform Load（ETL）

ケーススタディ：スマートホーム

データ	ソース	頻度
天気	気象情報API	30分ごと
近隣のツイート	X API	リアルタイム配信
室内温度	スマート温度計	5分ごと
電気の状態	スマート電球	毎分
ロックの状態	スマートドアロック	15秒ごと
エネルギー消費	スマートメーター	毎週

Extract（抽出）

ソース	頻度
気象情報API	30分ごと
X API	リアルタイム配信
スマート温度計	5分ごと
スマート電球	毎分
スマートドアロック	15秒ごと
スマートメーター	毎週

Transoform（変換）

Transoform（変換）

全てのデータを、見つけやすく、使いやすい状態を保つためには？$$

変換例：

• 違うデータソースを1つのデータセットに統合する
• データ構造をデータベーススキーマに合わせて変換する
• 関連性のないデータを削除

Load（読み込み）

自動化

練習しましょう！

データサイエンスを理解する