Ramverk för parallell beräkning

Introduktion till datatekniker

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Logo av Apache Hadoop

HDFS

Diagram över HDFS som distribuerat filsystem

Logo för Hadoop MapReduce

Diagram som illustrerar OS-exempel med olympiska grenar

Logo för Apache Hive

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Diagram över Hive till MapReduce

Bild på Spark-logotyp

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Introduktion till datatekniker