Data Pipelines

แนวคิด DevOps

Cem Sakarya

DevOps Risk Advisor

Data pipelines

Microservice สื่อสารกันผ่าน API และเชื่อมต่อกับฐานข้อมูลอิสระผ่าน data pipeline โดย data pipeline ถูกไฮไลต์ไว้

Extract; Transform; Load

¹ https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL

Batch Processing Data Pipeline รับข้อมูลจาก microservice ประมวลผล แล้วโหลดลงฐานข้อมูลอิสระ

ผู้ใช้หลายคนเชื่อมต่อกับ backend พร้อมกัน

การเชื่อมต่อของผู้ใช้ถูกรับเข้า backend ผ่าน ingestion API

การเชื่อมต่อของผู้ใช้ถูกส่งต่อไปยัง microservice ต่าง ๆ ผ่าน streaming data pipeline

แนวคิด DevOps