Spark への接続

Machine Learning with PySpark

Andrew Collier

Data Scientist, Fathom Data

Spark との対話

Java、Scala、Python、R のロゴ。

Spark と対話するための言語。

Java — 低レベル、コンパイル型
Scala、Python、R — 高レベル、対話的 REPL あり

pyspark のインポート

Python から pyspark モジュールをインポートします。

import pyspark

pyspark のバージョンを確認します。

pyspark.__version__

'2.4.1'

サブモジュール

pyspark には次もあります：

構造化データ — pyspark.sql
ストリーミング — pyspark.streaming
機械学習 — pyspark.mllib（非推奨）と pyspark.ml

Spark URL

リモートクラスター（Spark URL）— spark://<IP address | DNS name>:<port>

例：

spark://13.59.151.161:7077

ローカルクラスター

例：

local — コア 1 のみ；
local[4] — 4 コア；または
local[*] — 利用可能なすべてのコア。

SparkSession の作成

from pyspark.sql import SparkSession

SparkSession ビルダーでローカルクラスターを作成します。

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Spark と対話します…

# Spark との接続を終了
>>> spark.stop()

Spark に接続しましょう！

Machine Learning with PySpark