Фреймворки параллельных вычислений

Введение в дата-инжиниринг

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Логотип Apache Hadoop

HDFS

Схема HDFS как распределённой файловой системы

Логотип Hadoop MapReduce

Схема с примером Олимпийских игр

Логотип Apache Hive

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Схема Hive — MapReduce

Логотип Spark

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Введение в дата-инжиниринг