Chuỗi xử lý dữ liệu

Tìm hiểu Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Nếu dữ liệu là dầu mỏ mới...

¹ The Economist, 2017-05-06, by David Parkins

Quay lại kỹ thuật dữ liệu

• Thu nhận
• Xử lý
• Lưu trữ
• Cần chuỗi xử lý
• Tự động hóa luồng giữa các trạm
• Cung cấp dữ liệu cập nhật, chính xác, phù hợp

$$

Chuỗi xử lý đảm bảo luồng dữ liệu hiệu quả

Tự động hóa

• Trích xuất
• Biến đổi
• Kết hợp
• Kiểm định
• Nạp

Giảm

• Can thiệp thủ công
• Lỗi
• Thời gian dữ liệu luân chuyển

ETL và chuỗi xử lý dữ liệu

ETL

• Khung phổ biến để thiết kế chuỗi xử lý dữ liệu
• 1) Extract dữ liệu
• 2) Transform dữ liệu đã trích xuất
• 3) Load dữ liệu đã biến đổi vào CSDL khác

Chuỗi xử lý dữ liệu

• Chuyển dữ liệu giữa các hệ thống
• Có thể theo ETL
• Có thể không biến đổi dữ liệu
• Có thể nạp dữ liệu trực tiếp vào ứng dụng

Tóm tắt

• Chuỗi xử lý dữ liệu là gì
• Chức năng
• Tầm quan trọng
• Cách Spotflix triển khai
• ETL là gì và các sắc thái

Ayo berlatih!

Tìm hiểu Data Engineering