Kỹ thuật dữ liệu và dữ liệu lớn

Tìm hiểu Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

Về khóa học

• Môn học khái niệm
• Không cần viết mã
• Mục tiêu
  • Giao tiếp được với kỹ sư dữ liệu
  • Nền tảng vững để học thêm

Chương 1

Kỹ thuật dữ liệu là gì?

1. Kỹ thuật dữ liệu và dữ liệu lớn
2. Kỹ sư dữ liệu vs. nhà khoa học dữ liệu
3. Pipeline dữ liệu

Chương 2

Cách lưu trữ dữ liệu hoạt động

1. Dữ liệu có cấu trúc vs. phi cấu trúc
2. SQL
3. Kho dữ liệu và hồ dữ liệu

Chương 3

Cách di chuyển và xử lý dữ liệu

1. Xử lý dữ liệu
2. Lập lịch dữ liệu
3. Tính toán song song
4. Điện toán đám mây

$$

$$

$$

Quy trình dữ liệu

Quy trình dữ liệu

Quy trình dữ liệu

Quy trình dữ liệu

Kỹ sư dữ liệu

Kỹ sư dữ liệu

Kỹ sư dữ liệu cung cấp:

• dữ liệu đúng
• đúng định dạng
• đến đúng người
• hiệu quả nhất có thể

Nhiệm vụ của kỹ sư dữ liệu

• Nạp dữ liệu từ nhiều nguồn
• Tối ưu cơ sở dữ liệu cho phân tích
• Loại bỏ dữ liệu hỏng
• Phát triển, xây dựng, kiểm thử và vận hành kiến trúc dữ liệu

Kỹ sư dữ liệu và dữ liệu lớn

• Dữ liệu lớn trở thành chuẩn =>

Kỹ sư dữ liệu và dữ liệu lớn

• Dữ liệu lớn trở thành chuẩn => nhu cầu kỹ sư dữ liệu tăng
• Dữ liệu lớn:
  • Cần cách xử lý kích thước của nó
  • Quá lớn nên phương pháp truyền thống không còn hiệu quả

Tăng trưởng dữ liệu lớn

• Cảm biến và thiết bị
• Mạng xã hội
• Dữ liệu doanh nghiệp
• VoIP (thoại, phiên đa phương tiện)

¹ Data Age 2025, Seagate, Tháng 11 2018

Năm chữ V

• Volume (bao nhiêu?)
• Variety (loại gì?)
• Velocity (tốc độ?)
• Veracity (độ tin cậy?)
• Value (giá trị?)

Tóm tắt

• Nội dung sắp học
• Dòng chảy dữ liệu trong tổ chức
• Khi nào kỹ sư dữ liệu can thiệp
• Trách nhiệm của họ
• Liên hệ giữa kỹ thuật dữ liệu và dữ liệu lớn

Ayo berlatih!

Tìm hiểu Data Engineering