データパイプライン

DevOpsの基礎概念

Cem Sakarya

DevOps Risk Advisor

データパイプライン

マイクロサービスは API で相互通信し、データパイプラインを通じて独立データベースと連携する。パイプラインを強調表示。

DevOpsの基礎概念

ETL

Extract（抽出）； Transform（変換）； Load（格納）

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
DevOpsの基礎概念

バッチ処理

バッチ処理パイプラインがマイクロサービスからデータを取り込み、処理して独立データベースへ格納。

  • オフラインデータをバッチで移動
  • バッチ処理: 大量データを扱う
DevOpsの基礎概念

多数のユーザーが同時にバックエンドへ接続。

DevOpsの基礎概念

ユーザー接続は Ingestion API によりバックエンドへ取り込まれる。

DevOpsの基礎概念

ユーザー接続はストリーミングデータパイプラインを介して各マイクロサービスにルーティングされる。

DevOpsの基礎概念

まとめ

 

  • データエンジニアリングはインフラエンジニアリングの重要要素です
  • データパイプラインはデータ処理に有用な堅牢な仕組みです
  • バッチ処理は定期、ストリーム処理は継続的に動作します
  • バッチ処理は蓄積データの処理に有効です
  • ストリーム処理はリアルタイムデータを扱います
DevOpsの基礎概念

練習しましょう！

DevOpsの基礎概念

Preparing Video For Download...