Ví dụ về kiến trúc dữ liệu hiện đại

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Miller Trujillo

Senior Software Engineer

Kiến trúc Lambda

• Kiến trúc xử lý dữ liệu
• Cho phép xử lý bộ dữ liệu quy mô lớn
• Cho phép xử lý dữ liệu thời gian thực
• Kết hợp batch và streaming
• 3 lớp chính:
  • Lớp batch
  • Lớp tốc độ
  • Lớp phục vụ

Các lớp kiến trúc Lambda: Batch

• Tập dữ liệu gốc (master)
  • Dữ liệu bất biến
  • Chỉ thêm (append-only)
• Các chế độ xem tính sẵn
• Tài khoản ngân hàng
  • Tập dữ liệu gốc: Danh sách giao dịch
  • Chế độ xem: Áp dụng giao dịch để ra số dư
• Độ chính xác tuyệt đối

Các lớp kiến trúc Lambda: Tốc độ

• Job batch theo lịch
• Khoảng cách giữa dữ liệu đã biết và thực tế
• Lớp tốc độ thu hẹp khoảng cách đó
• Không hoàn toàn chính xác

Các lớp kiến trúc Lambda: Serving

• Hợp nhất chế độ xem batch và thời gian thực
• Chế độ xem dữ liệu thống nhất

Độ phức tạp của kiến trúc Lambda

• Hai lớp làm tăng độ phức tạp
• Lặp lại logic, mã, thuật toán
• Nhiều stack: Batch và streaming

Kiến trúc Kappa

Lambda vs. Kappa

Khía cạnh	Kiến trúc Lambda	Kiến trúc Kappa
Xử lý batch	Có	Bằng cách xử lý lại nguồn sự kiện
Xử lý luồng	Có	Có
Độ phức tạp	Cao	Thấp
Xử lý thời gian thực	Bị trễ do lớp batch	Trực tiếp, tinh gọn
Trường hợp sử dụng	Phân tích phức tạp, dữ liệu lịch sử	Phân tích thời gian thực, giám sát tức thời

Ayo berlatih!

Tìm hiểu Kiến trúc Dữ liệu Hiện đại