Frameworky pro paralelní výpočty

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

 

Logo Apache Hadoop

Introduction to Data Engineering

HDFS

 

Diagram HDFS jako distribuovaný souborový systém

Introduction to Data Engineering

MapReduce

 

Logo Hadoop MapReduce

 

Diagram s příkladem olympijských událostí

Introduction to Data Engineering

Hive

 

  • Běží na Hadoopu
  • Strukturovaný dotazovací jazyk: Hive SQL
  • Původně MapReduce, nyní i jiné nástroje

Logo Apache Hive

Introduction to Data Engineering

Hive: příklad

 

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

 

Diagram Hive a MapReduce

Introduction to Data Engineering

Logo Spark

  • Zabraňuje zápisům na disk
  • Spravováno nadací Apache Software Foundation
Introduction to Data Engineering

Odolné distribuované datové sady (RDD)

 

  • Spark na nich závisí
  • Podobné seznamu n-tic
  • Transformace: .map() nebo .filter()
  • Akce: .count() nebo .first()
Introduction to Data Engineering

PySpark

 

  • Pythonové rozhraní pro Spark
  • Abstrakce DataFrame
  • Podobné Pandas
Introduction to Data Engineering

PySpark: příklad

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year
Introduction to Data Engineering

Lass uns üben!

Introduction to Data Engineering

Preparing Video For Download...