Xử lý dữ liệu

Tìm hiểu Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

đường ống dữ liệu

chuyển dữ liệu vào data lake

chuyển dữ liệu vào data lake

kiểm tra dữ liệu hỏng

Định nghĩa chung

Xử lý dữ liệu: biến dữ liệu thô thành thông tin có ý nghĩa

Giá trị của xử lý dữ liệu

Về khái niệm

Loại bỏ dữ liệu không cần thiết
Tối ưu chi phí bộ nhớ, xử lý và mạng
Chuyển đổi kiểu dữ liệu

Tại Spotflix

Không cần dữ liệu tính năng thử nghiệm lâu dài
Không thể lưu trữ và phát trực tuyến tệp quá lớn

đường ống dữ liệu

đường ống dữ liệu

đường ống dữ liệu

Giá trị của xử lý dữ liệu

Về khái niệm

Loại bỏ dữ liệu không cần thiết
Để tiết kiệm bộ nhớ
Chuyển đổi kiểu dữ liệu
Tổ chức dữ liệu
Để khớp lược đồ/cấu trúc
Tăng năng suất

Tại Spotflix

Không cần định dạng không mất dữ liệu
Không thể lưu trữ tệp quá lớn
Chuyển bài hát từ .flac sang .ogg
Tổ chức lại dữ liệu từ data lake sang data warehouse
Ví dụ bảng nhân viên
Hỗ trợ nhà khoa học dữ liệu

Cách kỹ sư dữ liệu xử lý dữ liệu

Tác vụ thao tác, làm sạch, sắp gọn dữ liệu
- có thể tự động hóa
- luôn cần thực hiện
Lưu dữ liệu trong cơ sở dữ liệu có cấu trúc hợp lý
Tạo view trên các bảng
Tối ưu hiệu năng cơ sở dữ liệu

Loại tệp bài hát hỏng
Xử lý thiếu metadata như thế nào
Tách bảng nghệ sĩ và album...
...nhưng cung cấp view kết hợp chúng
Đánh chỉ mục

¹ Sự khác nhau giữa batch và stream sẽ được giải thích ở bài học sau!

Logo Apache Spark

Tóm tắt

Xử lý dữ liệu là gì
Vì sao cần thiết
Gồm những gì
Cách chúng tôi xử lý dữ liệu tại Spotflix

Ayo berlatih!

Tìm hiểu Data Engineering

Preparing Video For Download...