Xử lý dữ liệu

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Miller Trujillo

Senior Software Engineer

Xử lý dữ liệu là gì?

• Khám phá
• Chất lượng dữ liệu: Kiểm tra và biến đổi
• Phân tích
• Tổng hợp
• Biến đổi

Xử lý batch

• Batch và streaming
• Lượng dữ liệu cố định

Xử lý streaming

Cửa sổ thời gian cố định

Cửa sổ thời gian trượt

¹ https://beam.apache.org/documentation/programming-guide/#windowing

Khái niệm xử lý streaming

• Khi dữ liệu được tạo ra
• Khi dữ liệu đến
• Watermark
• Dữ liệu đến muộn
• Kích hoạt xử lý mới

Công nghệ xử lý

Trường hợp sử dụng	Giải pháp	Giải pháp đám mây
Batch/stream, dữ liệu lớn, cụm	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/stream, dữ liệu lớn, serverless (máy chủ do nhà cung cấp quản lý)	Apache Spark, Beam	AWS Glue, Google Dataflow
Sự kiện đơn lẻ, xử lý đơn giản, hỗ trợ 24/7 không cần chạy máy chủ	Ngôn ngữ lập trình tổng quát: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

Ayo berlatih!

Tìm hiểu Kiến trúc Dữ liệu Hiện đại