Фреймворки паралельних обчислень

Вступ до Data Engineering

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Логотип Apache hadoop

HDFS

Схема HDFS як розподіленої файлової системи

Логотип Hadoop MapReduce

Схема з прикладом олімпійських подій

Логотип Apache Hive

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Схема Hive до MapReduce

Зображення логотипу Spark

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Вступ до Data Engineering