Data Pipelines

ทำความเข้าใจ Data Science

Sara Billen

Curriculum Manager

$$ การเก็บรวบรวมและนำเข้าข้อมูลจากแหล่งเดียว

$$ การเก็บรวบรวมและนำเข้าข้อมูลจากหลายแหล่ง

แหล่งข้อมูลมากกว่าหนึ่งแห่ง:

ข้อมูลหลายประเภท:

Data pipeline คืออะไร?

ส่งข้อมูลผ่านขั้นตอนที่กำหนดไว้
เก็บรวบรวมและจัดเก็บข้อมูลอัตโนมัติ
- กำหนดเวลาเป็นรายชั่วโมง รายวัน รายสัปดาห์ ฯลฯ
- ทำงานเมื่อมีเหตุการณ์กระตุ้น
ตรวจสอบด้วยการแจ้งเตือนอัตโนมัติ
จำเป็นสำหรับโปรเจกต์ข้อมูลขนาดใหญ่
วิศวกรข้อมูลปรับแต่งให้เหมาะกับงาน
Extract Transform Load (ETL)

Data pipeline

ข้อมูล	แหล่งที่มา	ความถี่
สภาพอากาศ	National Weather Service API	ทุก 30 นาที
ทวีตในพื้นที่ของคุณ	Twitter API	สตรีมแบบเรียลไทม์
อุณหภูมิภายในอาคาร	เทอร์โมสตัทบ้านอัจฉริยะ	ทุก 5 นาที
สถานะของไฟ	หลอดไฟอัจฉริยะ	ทุก 1 นาที
สถานะของกุญแจ	ล็อคประตูอัจฉริยะ	ทุก 15 วินาที
การใช้พลังงาน	มิเตอร์อัจฉริยะ	รายสัปดาห์

ขั้นตอน Extract

ขั้นตอน Load

$$ ตัวอย่างการแปลงข้อมูล:

การเตรียมและสำรวจข้อมูลไม่เกิดขึ้นในขั้นตอนนี้

ขั้นตอน Load

การทำงานอัตโนมัติ

ทำความเข้าใจ Data Science