Nạp dữ liệu

Tìm hiểu Kiến trúc Dữ liệu Hiện đại

Miller Trujillo

Senior Software Engineer

Nạp dữ liệu là gì?

• Yêu cầu chức năng
• Chức năng có thể bị ảnh hưởng bởi phân tích

Nạp theo lô (batch)

• Lên lịch nạp định kỳ
• Sao chép vào nền tảng để phân tích
• Đọc toàn bộ vs chỉ dữ liệu mới
• Tập dữ liệu lớn cần đọc từng phần
• Tập nhỏ có thể ghi đè

Batch: Chỉ mang phần đã thay đổi

• Tài nguyên không vô hạn
• Chỉ nạp phần thay đổi
• Dựa vào updated at hoặc cờ đánh dấu
• Trạng thái dữ liệu mới nhất
• Xóa cần cờ hoặc hợp nhất

Nạp dữ liệu streaming

• Mô hình đẩy (push)
• Hàng đợi sự kiện
• Tính toán 24/7
• Vùng tiếp nhận (landing zone)

Hãy thực hành!

Tìm hiểu Kiến trúc Dữ liệu Hiện đại