Parallel computation frameworks

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Apache Hadoop का लोगो

HDFS

डिस्ट्रिब्यूटेड फाइल सिस्टम के रूप में HDFS का डायग्राम

Hadoop MapReduce का लोगो

ओलंपिक इवेंट्स उदाहरण दर्शाता डायग्राम

Apache Hive का लोगो

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Hive से MapReduce का डायग्राम

Spark लोगो की छवि

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Introduction to Data Engineering