Đánh giá các giải pháp kiến trúc dữ liệu hiện đại

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Miller Trujillo

Senior Software Engineer

Thu nhận

Giải pháp đề xuất với phần thu nhận được tô sáng

  • Mẫu đến không dự đoán được
  • Nếu chúng ta kéo dữ liệu thì sao?
    • Phơi bày tệp
    • Hệ thống tệp mạng
Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Lưu trữ

Giải pháp đề xuất với lưu trữ được tô sáng

  • Lưu trữ đám mây:

    • rẻ hơn kho dữ liệu hoặc CSDL
    • Linh hoạt, có API cần thiết

  • BigQuery vẫn là lựa chọn?

    • Khá rẻ
    • Không khả thi do hạn chế nạp dữ liệu

  • Chính sách vòng đời để giảm chi phí hơn nữa

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Xử lý

Giải pháp đề xuất với xử lý streaming được tô sáng

  • Dataflow, Dataproc (Spark), hoặc Data Fusion
  • Mẫu đến không dự đoán được
  • Xử lý ngay khi dữ liệu đến
  • Đơn giản
  • Dữ liệu thời gian
  • Tự động dọn dẹp với chính sách vòng đời
  • Không cần bảo trì schema
Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Xử lý: Chấm điểm mô hình

Giải pháp đề xuất với xử lý theo lô được tô sáng

  • Khó theo dõi toàn bộ
  • Dễ bảo trì hơn
  • Job trước ghi vào NoSQL; job này bổ sung dữ liệu
Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Phục vụ dữ liệu

Giải pháp đề xuất với phần phục vụ được tô sáng

  • BigQuery cho phân tích
  • NoSQL => Mở rộng và linh hoạt dễ hơn
Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Một số chi tiết khác

  • Quản trị, điều phối, bảo mật, v.v.
  • Tiếp tục tinh chỉnh nền tảng và yêu cầu
  • Tăng cường quản lý
  • Không có giải pháp chung cho mọi trường hợp!

Mọi thứ đều là đánh đổi

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Ayo berlatih!

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Preparing Video For Download...