Pipeline dữ liệu

Các Khái Niệm DevOps

Cem Sakarya

DevOps Risk Advisor

Pipeline dữ liệu

Các microservice giao tiếp qua API và tương tác với CSDL độc lập qua pipeline dữ liệu. Pipeline được tô đậm.

Các Khái Niệm DevOps

ETL

Extract; Transform; Load

1 https://www.istockphoto.com/nl/vector/data-extract-transform-load-gm1361894912-434102842?phrase=ETL
Các Khái Niệm DevOps

Xử lý theo lô

Pipeline xử lý theo lô lấy dữ liệu từ microservice, xử lý và nạp vào CSDL độc lập.

  • Di chuyển dữ liệu ngoại tuyến theo lô
  • Xử lý theo lô: lượng dữ liệu lớn
Các Khái Niệm DevOps

Nhiều người dùng kết nối với backend cùng lúc.

Các Khái Niệm DevOps

Kết nối người dùng được nạp vào backend qua Ingestion API.

Các Khái Niệm DevOps

Kết nối người dùng được định tuyến tới các microservice qua pipeline dữ liệu luồng.

Các Khái Niệm DevOps

Tóm tắt

 

  • Kỹ thuật dữ liệu là phần cốt lõi của Kỹ thuật hạ tầng
  • Pipeline dữ liệu là công cụ mạnh để xử lý dữ liệu
  • Batch chạy theo lịch; stream chạy liên tục
  • Batch hữu ích cho dữ liệu tích lũy
  • Stream xử lý dữ liệu thời gian thực
Các Khái Niệm DevOps

Ayo berlatih!

Các Khái Niệm DevOps

Preparing Video For Download...