การตั้งเวลาข้อมูล

ทำความเข้าใจ Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

การตั้งเวลา

• ใช้ได้กับทุกงานในกระบวนการประมวลผลข้อมูล
• การตั้งเวลาคือตัวเชื่อมระบบทั้งหมด
• ยึดแต่ละส่วนและจัดการให้ทำงานร่วมกัน
• รันงานตามลำดับและจัดการ dependency ทั้งหมด

การตั้งเวลาแบบด้วยตนเอง ตามเวลา และตามเซ็นเซอร์

• ด้วยตนเอง

• อัปเดตตารางพนักงานด้วยตนเอง

การตั้งเวลาแบบด้วยตนเอง ตามเวลา และตามเซ็นเซอร์

• ด้วยตนเอง
• รันอัตโนมัติตามเวลาที่กำหนด
• รันอัตโนมัติเมื่อเงื่อนไขที่กำหนดเป็นจริง
  • การตั้งเวลาแบบเซ็นเซอร์

• อัปเดตตารางพนักงานด้วยตนเอง
• อัปเดตตารางพนักงานเวลา 6.00 น.

การตั้งเวลาแบบด้วยตนเอง ตามเวลา และตามเซ็นเซอร์

• ด้วยตนเอง
• รันอัตโนมัติตามเวลาที่กำหนด
• รันอัตโนมัติเมื่อเงื่อนไขที่กำหนดเป็นจริง
  • การตั้งเวลาแบบเซ็นเซอร์

• อัปเดตตารางพนักงานด้วยตนเอง
• อัปเดตตารางพนักงานเวลา 6.00 น.
• อัปเดตตารางแผนกเมื่อมีพนักงานใหม่ถูกเพิ่ม

Batches และ Streams

• Batches
  • จัดกลุ่มข้อมูลเป็นช่วงๆ
  • มักมีต้นทุนต่ำกว่า
• Streams
  • ส่งข้อมูลแต่ละรายการทันที

• เพลงที่ศิลปินอัปโหลด
• ตารางพนักงาน
• ตารางรายได้
• ผู้ใช้ใหม่ที่เข้าสู่ระบบ
• ตัวอย่างเพิ่มเติม: การฟังออนไลน์กับออฟไลน์

เครื่องมือตั้งเวลา

สรุป

• การตั้งเวลาคืออะไร
• วิธีตั้งค่าแบบต่างๆ
• ความแตกต่างระหว่าง Batches กับ Streams
• การนำการตั้งเวลาไปใช้งานที่ Spotflix
• Airflow, Luigi

มาฝึกกันเถอะ!

ทำความเข้าใจ Data Engineering