Data Pipeline

ทำความเข้าใจ Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

ถ้าข้อมูลคือน้ำมันชนิดใหม่...

¹ The Economist, 6 พฤษภาคม 2017, โดย David Parkins

กลับมาที่ data engineering

• นำเข้าข้อมูล
• ประมวลผล
• จัดเก็บ
• ต้องการ pipeline
• ทำให้ข้อมูลไหลจากจุดหนึ่งไปยังอีกจุดหนึ่งโดยอัตโนมัติ
• ให้ข้อมูลที่ทันสมัย ถูกต้อง และตรงประเด็น

$$

Data pipeline ช่วยให้ข้อมูลไหลได้อย่างมีประสิทธิภาพ

ทำให้เป็นอัตโนมัติ

• การดึงข้อมูล
• การแปลงข้อมูล
• การรวมข้อมูล
• การตรวจสอบความถูกต้อง
• การโหลดข้อมูล

ลด

• การแทรกแซงของมนุษย์
• ข้อผิดพลาด
• เวลาในการไหลของข้อมูล

ETL และ data pipeline

ETL

• กรอบงานยอดนิยมสำหรับออกแบบ data pipeline
• 1) Extract ข้อมูล
• 2) Transform ข้อมูลที่ดึงมา
• 3) Load ข้อมูลที่แปลงแล้วไปยังฐานข้อมูลอื่น

Data pipelines

• ย้ายข้อมูลจากระบบหนึ่งไปยังอีกระบบ
• อาจใช้รูปแบบ ETL
• ข้อมูลอาจไม่จำเป็นต้องถูกแปลง
• ข้อมูลอาจโหลดเข้าแอปพลิเคชันได้โดยตรง

สรุป

• Data pipeline คืออะไร
• ทำหน้าที่อะไร
• ทำไมจึงสำคัญ
• Data pipeline ถูกนำไปใช้ใน Spotflix อย่างไร
• ETL คืออะไร และมีความแตกต่างอย่างไร

มาฝึกกันเถอะ!

ทำความเข้าใจ Data Engineering