Chúc mừng

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Giới thiệu về data engineering

 

• Xác định các nhiệm vụ của data engineer
• Họ dùng những công cụ nào
• Nhà cung cấp dịch vụ đám mây

Hộp công cụ data engineering

 

• Cơ sở dữ liệu
• Tính toán song song & framework (Spark)
• Lên lịch quy trình với Airflow

Extract, Transform và Load (ETL)

 

• Extract: lấy dữ liệu từ nhiều nguồn
• Transform: biến đổi bằng tính toán song song
• Load: nạp dữ liệu vào cơ sở dữ liệu đích

Tình huống thực tế: DataCamp

 

• Lấy dữ liệu từ nhiều nguồn
• Biến đổi để tạo đề xuất
• Nạp vào cơ sở dữ liệu đích

Làm tốt lắm!

Introduction to Data Engineering