การนำเข้าข้อมูล

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Miller Trujillo

Senior Software Engineer

การนำเข้าข้อมูลคืออะไร?

ข้อกำหนดเชิงฟังก์ชัน
ฟังก์ชันอาจได้รับผลกระทบจาก analytics

สถาปัตยกรรม Big Data ทั่วไป ครอบคลุมแหล่งข้อมูล การนำเข้า การจัดเก็บ การประมวลผล การจัดการ การกำกับดูแล การให้บริการ และ analytics storage และการรายงาน

การนำเข้าแบบ Batch

กำหนดการนำเข้าข้อมูลเป็นรอบ
คัดลอกเข้าแพลตฟอร์มสำหรับ analytics
อ่านข้อมูลทั้งหมด หรืออ่านเฉพาะข้อมูลใหม่
ชุดข้อมูลขนาดใหญ่ต้องอ่านแบบบางส่วน
ชุดข้อมูลขนาดเล็กสามารถเขียนทับได้

การนำเข้าแบบ Batch: นำเข้าเฉพาะที่เปลี่ยนแปลง

ทรัพยากรไม่มีที่สิ้นสุดไม่ใช่สิ่งที่เป็นไปได้
นำเข้าเฉพาะข้อมูลที่เปลี่ยนแปลง
ใช้ timestamp หรือ flag ในการอัปเดต
สะท้อนสถานะล่าสุดของข้อมูล
การลบต้องใช้ flag หรือการรวมข้อมูล

การนำเข้าแบบ Streaming

Push model
Event queues
การประมวลผลตลอด 24/7
Landing zone

ขั้นตอนการนำเข้าข้อมูลแบบ Streaming

มาฝึกกันเถอะ!

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่