Kết nối với Spark

Machine Learning với PySpark

Andrew Collier

Data Scientist, Fathom Data

Tương tác với Spark

Logo cho Java, Scala, Python và R.

Ngôn ngữ tương tác với Spark.

Java — cấp thấp, biên dịch
Scala, Python và R — cấp cao với REPL tương tác

Nhập pyspark

Từ Python, nhập mô-đun pyspark.

import pyspark

Kiểm tra phiên bản của mô-đun pyspark.

pyspark.__version__

'2.4.1'

Các mô-đun con

Ngoài pyspark còn có:

Dữ liệu có cấu trúc — pyspark.sql
Dữ liệu streaming — pyspark.streaming
Học máy — pyspark.mllib (lỗi thời) và pyspark.ml

Spark URL

Cụm từ xa dùng Spark URL — spark://<IP address | DNS name>:<port>

Ví dụ:

spark://13.59.151.161:7077

Cụm cục bộ

Ví dụ:

local — chỉ 1 nhân;
local[4] — 4 nhân; hoặc
local[*] — toàn bộ nhân sẵn có.

Tạo SparkSession

from pyspark.sql import SparkSession

Tạo cụm cục bộ bằng trình tạo SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Tương tác với Spark...

# Đóng kết nối tới Spark
>>> spark.stop()

Hãy kết nối với Spark!

Machine Learning với PySpark