การประมวลผลข้อมูล

ทำความเข้าใจ Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

data pipeline

การย้ายข้อมูลไปยัง data lake

การย้ายข้อมูลไปยัง data lake

การตรวจสอบข้อมูลที่เสียหาย

นิยามทั่วไป

การประมวลผลข้อมูล: การแปลงข้อมูลดิบให้เป็นสารสนเทศที่มีความหมาย

คุณค่าของการประมวลผลข้อมูล

เชิงแนวคิด

ลบข้อมูลที่ไม่ต้องการ
ลดต้นทุนด้านหน่วยความจำ การประมวลผล และเครือข่าย
แปลงข้อมูลจากประเภทหนึ่งไปยังอีกประเภท

ที่ Spotflix

ข้อมูล feature สำหรับทดสอบไม่จำเป็นต้องเก็บระยะยาว
ไม่สามารถรับต้นทุนการจัดเก็บและสตรีมไฟล์ขนาดใหญ่ได้

data pipeline

data pipeline

data pipeline

คุณค่าของการประมวลผลข้อมูล

เชิงแนวคิด

ลบข้อมูลที่ไม่ต้องการ
เพื่อประหยัดหน่วยความจำ
แปลงข้อมูลจากประเภทหนึ่งไปยังอีกประเภท
จัดระเบียบข้อมูล
ให้สอดคล้องกับ schema/โครงสร้าง
เพิ่มประสิทธิภาพการทำงาน

ที่ Spotflix

ไม่จำเป็นต้องใช้รูปแบบ lossless
ไม่สามารถรับต้นทุนการจัดเก็บไฟล์ขนาดใหญ่ได้
แปลงเพลงจาก .flac เป็น .ogg
จัดระเบียบข้อมูลจาก data lake ไปยัง data warehouse
ตัวอย่างตาราง Employee
เปิดโอกาสให้นักวิทยาศาสตร์ข้อมูลทำงานได้

วิธีที่วิศวกรข้อมูลประมวลผลข้อมูล

งานจัดการ ทำความสะอาด และจัดระเบียบข้อมูล
- ที่สามารถทำแบบอัตโนมัติได้
- ที่ต้องทำอยู่เสมอ
จัดเก็บข้อมูลในฐานข้อมูลที่มีโครงสร้างชัดเจน
สร้าง view บนตารางในฐานข้อมูล
ปรับปรุงประสิทธิภาพของฐานข้อมูล

ปฏิเสธไฟล์เพลงที่เสียหาย
กำหนดวิธีจัดการ metadata ที่ขาดหายไป
แยกตาราง artists และ albums...
...แต่สร้าง view ที่รวมทั้งสองไว้
การทำ Indexing

¹ ความแตกต่างระหว่าง batch และ stream จะอธิบายในบทเรียนถัดไป!

โลโก้ Apache Spark

สรุป

การประมวลผลข้อมูลคืออะไร
เหตุใดจึงจำเป็น
ประกอบด้วยอะไรบ้าง
วิธีประมวลผลข้อมูลที่ Spotflix

มาฝึกกันเถอะ!

ทำความเข้าใจ Data Engineering

Preparing Video For Download...