連線到 Spark

使用 PySpark 的機器學習

Andrew Collier

Data Scientist, Fathom Data

與 Spark 互動

Java、Scala、Python 與 R 的標誌。

與 Spark 互動的程式語言。

Java — 低階、編譯式
Scala、Python 與 R — 高階，具互動式 REPL

匯入 pyspark

在 Python 中匯入 pyspark 模組。

import pyspark

檢查 pyspark 模組的版本。

pyspark.__version__

'2.4.1'

子模組

除了 pyspark，還有：

結構化資料 — pyspark.sql
串流資料 — pyspark.streaming
機器學習 — pyspark.mllib（已淘汰）與 pyspark.ml

Spark URL

遠端叢集 使用 Spark URL — spark://<IP address | DNS name>:<port>

範例：

spark://13.59.151.161:7077

本機叢集

範例：

local — 僅 1 核心；
local[4] — 4 核心；或
local[*] — 全部可用核心。

建立 SparkSession

from pyspark.sql import SparkSession

使用 SparkSession 產生器建立本機叢集。

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

開始與 Spark 互動…

# 關閉與 Spark 的連線
>>> spark.stop()

一起連上 Spark 吧！

使用 PySpark 的機器學習