Framework per il calcolo parallelo

Introduzione al Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

Logo di Apache Hadoop

HDFS

Schema di HDFS come file system distribuito

Logo di Hadoop MapReduce

Schema che illustra l'esempio delle Olimpiadi

Logo di Apache Hive

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Schema da Hive a MapReduce

Immagine del logo Spark

# Carica prima l'insieme di dati in athlete_events_spark

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Introduzione al Data Engineering