การประเมินโซลูชันสถาปัตยกรรมข้อมูลสมัยใหม่

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Miller Trujillo

Senior Software Engineer

การรับข้อมูล (Ingestion)

โซลูชันที่นำเสนอโดยเน้นที่ส่วน Ingestion

  • รูปแบบที่คาดเดาไม่ได้
  • จะดึงข้อมูลเองได้ไหม?
    • เปิดเผยไฟล์
    • ระบบไฟล์ผ่านเครือข่าย
ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

การจัดเก็บข้อมูล (Storage)

โซลูชันที่นำเสนอโดยเน้นที่ส่วน Storage

  • Cloud storage:

    • ราคาถูกกว่า data warehouse หรือฐานข้อมูล
    • ยืดหยุ่นและรองรับ API ที่จำเป็น

  • BigQuery ยังเป็นตัวเลือกได้ไหม?

    • ราคาต่ำพอ
    • ไม่เหมาะเนื่องจากข้อจำกัดด้านการโหลด

  • Life-cycle policies ช่วยลดต้นทุนได้มากขึ้น

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

การประมวลผล (Processing)

โซลูชันที่นำเสนอโดยเน้นที่ส่วน Streaming Processing

  • Dataflow, Dataproc (Spark) หรือ Data Fusion
  • รูปแบบการมาถึงของข้อมูลที่คาดเดาไม่ได้
  • ประมวลผลข้อมูลทันทีที่ได้รับ
  • เรียบง่าย
  • ข้อมูลเชิงเวลา
  • ทำความสะอาดอัตโนมัติด้วย life-cycle policies
  • ไม่ต้องดูแล schema
ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

การประมวลผล: คะแนนโมเดล

โซลูชันที่นำเสนอโดยเน้นที่ส่วน Batch Processing

  • ติดตามทุกอย่างได้ยาก
  • ดูแลรักษาง่ายขึ้น
  • Job ก่อนหน้าเขียนลง NoSQL DB และ job นี้เติมข้อมูลให้สมบูรณ์
ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

การให้บริการข้อมูล (Serving)

โซลูชันที่นำเสนอโดยเน้นที่ส่วน Serving

  • BigQuery สำหรับงานวิเคราะห์
  • NoSQL DB => ขยายและปรับได้ง่ายกว่า
ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

รายละเอียดอื่น ๆ

  • Governance, orchestration, security และอื่น ๆ
  • ปรับปรุงแพลตฟอร์มและข้อกำหนดให้ดียิ่งขึ้น
  • จัดการได้อย่างมีประสิทธิภาพมากขึ้น
  • ไม่มีสูตรสำเร็จที่ใช้ได้กับทุกกรณี!

ทุกอย่างล้วนเป็นเรื่องของการแลกเปลี่ยน (trade-offs)

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

มาฝึกกันเถอะ!

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Preparing Video For Download...