การประมวลผลข้อมูล

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่

Miller Trujillo

Senior Software Engineer

การประมวลผลข้อมูลคืออะไร?

• การสำรวจข้อมูล
• คุณภาพข้อมูล: การตรวจสอบและแปลง
• การวิเคราะห์
• การรวมกลุ่มข้อมูล
• การแปลงข้อมูล

การประมวลผลแบบ Batch

• แบบ Batch และ Streaming
• ข้อมูลปริมาณคงที่

การประมวลผลแบบ Streaming

Fixed time window

Sliding time window

¹ https://beam.apache.org/documentation/programming-guide/#windowing

แนวคิดในการประมวลผลแบบ Streaming

• เวลาที่ข้อมูลถูกสร้าง
• เวลาที่ข้อมูลมาถึง
• Watermarks
• ข้อมูลที่มาช้า
• กระตุ้นการประมวลผลใหม่

เทคโนโลยีการประมวลผล

กรณีการใช้งาน	โซลูชัน	โซลูชันบน Cloud
Batch/Streaming, Big Data, Cluster	Apache Spark, Flink, Beam	AWS EMR, AWS Glue, Google Dataproc, Google Dataflow
Batch/Streaming, Big Data, Serverless (เซิร์ฟเวอร์ถูกจัดการทั้งหมดโดยผู้ให้บริการ)	Apache Spark, Beam	AWS Glue, Google Dataflow
เหตุการณ์รายครั้ง, การประมวลผลแบบง่าย, รองรับตลอด 24/7 โดยไม่ต้องเดินเซิร์ฟเวอร์ตลอดเวลา	ภาษาโปรแกรมทั่วไป: Python, Javascript, C#, Java, Go	AWS Lambda, Google Cloud Functions

มาฝึกกันเถอะ!

ทำความเข้าใจสถาปัตยกรรมข้อมูลสมัยใหม่