Các khung tính toán song song

Introduction to Data Engineering

Vincent Vankrunkelsven

Data Engineer, DataCamp

 

Logo của Apache Hadoop

Introduction to Data Engineering

HDFS

 

Sơ đồ HDFS như một hệ thống tệp phân tán

Introduction to Data Engineering

MapReduce

 

Logo Hadoop MapReduce

 

Sơ đồ minh họa ví dụ về sự kiện Olympic

Introduction to Data Engineering

Hive

 

  • Chạy trên Hadoop
  • Ngôn ngữ truy vấn có cấu trúc: Hive SQL
  • Ban đầu dùng MapReduce, nay có thêm công cụ khác

Logo của Apache Hive

Introduction to Data Engineering

Hive: ví dụ

 

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year

 

Sơ đồ Hive sang MapReduce

Introduction to Data Engineering

Hình ảnh logo Spark

  • Tránh ghi đĩa
  • Được Apache Software Foundation duy trì
Introduction to Data Engineering

Resilient Distributed Datasets (RDD)

 

  • Spark dựa vào chúng
  • Tương tự danh sách các bộ (tuple)
  • Biến đổi: .map() hoặc .filter()
  • Hành động: .count() hoặc .first()
Introduction to Data Engineering

PySpark

 

  • Giao diện Python cho Spark
  • Trừu tượng DataFrame
  • Trông giống Pandas
Introduction to Data Engineering

PySpark: ví dụ

# Load the dataset into athlete_events_spark first

(athlete_events_spark
  .groupBy('Year')
  .mean('Age')
  .show())

SELECT year, AVG(age)
FROM views.athlete_events
GROUP BY year
Introduction to Data Engineering

Cùng luyện tập nào!

Introduction to Data Engineering

Preparing Video For Download...