Pipeline dữ liệu

Tìm hiểu về Khoa học Dữ liệu

Sara Billen

Curriculum Manager

$$ Thu thập và nạp dữ liệu với một nguồn

$$ Thu thập và nạp dữ liệu với ba nguồn

Hơn một nguồn dữ liệu:

Nhiều kiểu dữ liệu:

Pipeline dữ liệu là gì?

Đưa dữ liệu qua các giai đoạn xác định
Tự động thu thập và lưu trữ
- Lên lịch theo giờ, ngày, tuần, ...
- Kích hoạt theo sự kiện
Giám sát với cảnh báo
Cần thiết cho dự án dữ liệu lớn
Kỹ sư dữ liệu tùy chỉnh giải pháp
Extract Transform Load (ETL)

Pipeline dữ liệu

Dữ liệu	Nguồn	Tần suất
Điều kiện thời tiết	National Weather Service API	Mỗi 30 phút
Tweet trong khu vực	Twitter API	Luồng thời gian thực
Nhiệt độ trong nhà	Nhiệt kế nhà thông minh	Mỗi 5 phút
Trạng thái đèn	Bóng đèn thông minh	Mỗi phút
Trạng thái khóa	Khóa cửa thông minh	Mỗi 15 giây
Mức tiêu thụ điện	Công tơ thông minh	Hàng tuần

Giai đoạn Extract

Giai đoạn Load

$$ Ví dụ biến đổi:

Không chuẩn bị hay khám phá dữ liệu ở bước này

Giai đoạn Load

Tìm hiểu về Khoa học Dữ liệu