Lập lịch dữ liệu

Tìm hiểu Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Lập lịch

• Áp dụng cho mọi tác vụ xử lý dữ liệu
• Lập lịch là chất keo của hệ thống
• Giữ các phần và tổ chức cách chúng phối hợp
• Chạy theo thứ tự và xử lý mọi phụ thuộc

Lập lịch thủ công, theo thời gian và cảm biến

• Thủ công

• Cập nhật bảng nhân viên thủ công

Lập lịch thủ công, theo thời gian và cảm biến

• Thủ công
• Tự động vào thời điểm nhất định
• Tự động khi thỏa điều kiện
  • Lập lịch bằng cảm biến

• Cập nhật bảng nhân viên thủ công
• Cập nhật bảng nhân viên lúc 6 giờ sáng

Lập lịch thủ công, theo thời gian và cảm biến

• Thủ công
• Tự động vào thời điểm nhất định
• Tự động khi thỏa điều kiện
  • Lập lịch bằng cảm biến

• Cập nhật bảng nhân viên thủ công
• Cập nhật bảng nhân viên lúc 6 giờ sáng
• Cập nhật các bảng phòng ban khi có nhân viên mới

Xử lý lô và dòng

• Lô
  • Gom bản ghi theo khoảng thời gian
  • Thường rẻ hơn
• Dòng
  • Gửi từng bản ghi ngay lập tức

• Bài hát do nghệ sĩ tải lên
• Bảng nhân viên
• Bảng doanh thu
• Người dùng mới đăng nhập
• Ví dụ khác: nghe online vs. offline

Công cụ lập lịch

Tóm tắt

• Lập lịch là gì
• Các cách thiết lập
• Khác biệt giữa lô và dòng
• Cách Spotflix triển khai lập lịch
• Airflow, Luigi

Hãy luyện tập!

Tìm hiểu Data Engineering