Data engineering และ big data

ทำความเข้าใจ Data Engineering

Hadrien Lacroix

Content Developer at DataCamp

เกี่ยวกับคอร์สนี้

• คอร์สเชิงแนวคิด
• ไม่มีการเขียนโค้ด
• วัตถุประสงค์
  • สามารถสื่อสารกับ data engineer ได้
  • สร้างรากฐานที่มั่นคงสำหรับการเรียนรู้เพิ่มเติม

บทที่ 1

Data engineering คืออะไร?

1. Data engineering และ big data
2. Data engineer vs. data scientist
3. Data pipeline

บทที่ 2

การจัดเก็บข้อมูลทำงานอย่างไร

1. ข้อมูลแบบมีโครงสร้าง vs. ไม่มีโครงสร้าง
2. SQL
3. Data warehouse และ data lake

บทที่ 3

การเคลื่อนย้ายและประมวลผลข้อมูล

1. การประมวลผลข้อมูล
2. การจัดตารางข้อมูล
3. Parallel computing
4. Cloud computing

$$

$$

$$

Data workflow

Data workflow

Data workflow

Data workflow

Data engineer

Data engineer

Data engineer ส่งมอบ:

• ข้อมูลที่ถูกต้อง
• ในรูปแบบที่เหมาะสม
• ไปยังผู้ที่ต้องการ
• อย่างมีประสิทธิภาพสูงสุด

ความรับผิดชอบของ data engineer

• นำเข้าข้อมูลจากหลายแหล่ง
• ปรับปรุงฐานข้อมูลให้เหมาะสมกับการวิเคราะห์
• ลบข้อมูลที่เสียหาย
• พัฒนา สร้าง ทดสอบ และดูแลสถาปัตยกรรมข้อมูล

Data engineer และ big data

• Big data กลายเป็นเรื่องปกติ =>

Data engineer และ big data

• Big data กลายเป็นเรื่องปกติ => data engineer จึงเป็นที่ต้องการมากขึ้นเรื่อยๆ
• Big data:
  • ต้องคิดวิธีรับมือกับขนาดข้อมูล
  • ใหญ่เกินกว่าที่วิธีการแบบเดิมจะรองรับได้

การเติบโตของ big data

• เซ็นเซอร์และอุปกรณ์ต่างๆ
• โซเชียลมีเดีย
• ข้อมูลองค์กร
• VoIP (การสื่อสารด้วยเสียงและมัลติมีเดีย)

¹ Data Age 2025, Seagate, November 2018

5 V ของ big data

• Volume (ปริมาณมากแค่ไหน?)
• Variety (ข้อมูลประเภทใด?)
• Velocity (ความถี่มากแค่ไหน?)
• Veracity (ความแม่นยำมากแค่ไหน?)
• Value (มีประโยชน์มากแค่ไหน?)

สรุป

• สิ่งที่รอคุณอยู่
• ข้อมูลไหลผ่านองค์กรอย่างไร
• data engineer เข้ามาช่วยเมื่อใด
• ความรับผิดชอบของ data engineer คืออะไร
• data engineering เกี่ยวข้องกับ big data อย่างไร

มาฝึกกันเถอะ!

ทำความเข้าใจ Data Engineering