PySpark: Spark với Python

Nền tảng Big Data với PySpark

Upendra Devisetty

Science Analyst, CyVerse

Tổng quan về PySpark

  • Apache Spark được viết bằng Scala

  • Để hỗ trợ Python với Spark, cộng đồng Apache Spark phát hành PySpark

  • Tốc độ và sức mạnh tính toán tương tự Scala

  • API PySpark giống Pandas và Scikit-learn

Nền tảng Big Data với PySpark

Spark shell là gì?

  • Môi trường tương tác để chạy job Spark

  • Hữu ích cho tạo mẫu nhanh tương tác

  • Spark shell cho phép tương tác với dữ liệu trên đĩa hoặc trong bộ nhớ

  • Ba loại shell Spark:

    • Spark-shell cho Scala

    • PySpark-shell cho Python

    • SparkR cho R

Nền tảng Big Data với PySpark

PySpark shell

  • PySpark shell là công cụ dòng lệnh dựa trên Python

  • PySpark shell cho phép nhà khoa học dữ liệu tương tác với cấu trúc dữ liệu Spark

  • PySpark shell hỗ trợ kết nối tới cụm

Nền tảng Big Data với PySpark

Hiểu về SparkContext

  • SparkContext là điểm vào thế giới Spark

  • Điểm vào là cách kết nối tới cụm Spark

  • Điểm vào giống như chìa khóa vào nhà

  • PySpark có SparkContext mặc định tên là sc

1 https://www.datacamp.com/cheat-sheet/pyspark-cheat-sheet-spark-in-python
Nền tảng Big Data với PySpark

Kiểm tra SparkContext

  • Version: Lấy phiên bản của SparkContext
sc.version

2.3.1
  • Python Version: Lấy phiên bản Python của SparkContext
sc.pythonVer

3.6
  • Master: URL của cụm hoặc chuỗi local để chạy ở chế độ cục bộ của SparkContext
sc.master

local[*]
1 https://www.datacamp.com/cheat-sheet/pyspark-cheat-sheet-spark-in-python
Nền tảng Big Data với PySpark

Nạp dữ liệu trong PySpark

  • Phương thức parallelize() của SparkContext
rdd = sc.parallelize([1,2,3,4,5])
  • Phương thức textFile() của SparkContext
rdd2 = sc.textFile("test.txt")
1 https://www.datacamp.com/cheat-sheet/pyspark-cheat-sheet-spark-in-python
Nền tảng Big Data với PySpark

Ayo berlatih!

Nền tảng Big Data với PySpark

Preparing Video For Download...