병렬 계산 프레임워크

데이터 엔지니어링 입문

Vincent Vankrunkelsven

Data Engineer @ DataCamp

Apache Hadoop 로고

HDFS

분산 파일 시스템인 HDFS 다이어그램

Hadoop MapReduce 로고

올림픽 이벤트 예시를 보여주는 다이어그램

Apache Hive 로고

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

Hive에서 MapReduce로의 다이어그램

Spark 로고 이미지

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

데이터 엔지니어링 입문