병렬 계산 프레임워크

데이터 엔지니어링 입문

Vincent Vankrunkelsven

Data Engineer, DataCamp

Apache Hadoop 로고

HDFS

분산 파일 시스템인 HDFS 다이어그램

Hadoop MapReduce 로고

올림픽 이벤트 예시를 보여주는 다이어그램

Apache Hive 로고

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Hive에서 MapReduce로의 다이어그램

Spark 로고 이미지

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

데이터 엔지니어링 입문