เฟรมเวิร์กสำหรับการประมวลผลแบบขนาน

Data Engineering เบื้องต้น

Vincent Vankrunkelsven

Data Engineer @ DataCamp

โลโก้ Apache Hadoop

HDFS

แผนภาพ HDFS ในฐานะระบบไฟล์แบบกระจาย

โลโก้ Hadoop MapReduce

แผนภาพตัวอย่างกิจกรรมโอลิมปิก

โลโก้ Apache Hive

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

แผนภาพ Hive สู่ MapReduce

โลโก้ Spark

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Data Engineering เบื้องต้น