Nền tảng Big Data với PySpark
Upendra Devisetty
Science Analyst, CyVerse
Chương 1: Tổng quan Big Data và giới thiệu Spark như một khung tính toán phân tán
Thành phần chính: Spark Core và thư viện tích hợp — Spark SQL, Spark MLlib, GraphX, và Spark Streaming
PySpark: API Python của Apache Spark để chạy các job Spark
PySpark shell: Phát triển ứng dụng tương tác bằng Python
Chế độ Spark: Local và Cluster
Chương 2: Giới thiệu RDD, các đặc tính của RDD, cách tạo RDD và các phép toán RDD (Transformations và Actions)
Chương 3: Giới thiệu Spark SQL, trừu tượng DataFrame, tạo DataFrame, thao tác DataFrame và trực quan hóa Big Data qua DataFrame
Chương 4: Giới thiệu Spark MLlib, ba chữ C của Machine Learning (Collaborative filtering, Classification, Clustering)
Nền tảng Big Data với PySpark