Ramverk för parallell beräkning

Introduktion till datatekniker

Vincent Vankrunkelsven

Data Engineer, DataCamp

Logo av Apache Hadoop

HDFS

Diagram över HDFS som distribuerat filsystem

Logo för Hadoop MapReduce

Diagram som illustrerar OS-exempel med olympiska grenar

Logo för Apache Hive

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Diagram över Hive till MapReduce

Bild på Spark-logotyp

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Introduktion till datatekniker