Підключення до Spark

Machine Learning з PySpark

Andrew Collier

Data Scientist, Fathom Data

Взаємодія зі Spark

Логотипи Java, Scala, Python і R.

Мови для роботи зі Spark.

Java — низькорівнева, компільована
Scala, Python і R — високорівневі з інтерактивним REPL

Імпорт pyspark

Із Python імпортуйте модуль pyspark.

import pyspark

Перевірте версію модуля pyspark.

pyspark.__version__

'2.4.1'

Підмодулі

Окрім pyspark, є ще:

Структуровані дані — pyspark.sql
Потоки даних — pyspark.streaming
Машинне навчання — pyspark.mllib (застаріле) і pyspark.ml

Spark URL

Віддалений кластер через Spark URL — spark://<IP address | DNS name>:<port>

Приклад:

spark://13.59.151.161:7077

Локальний кластер

Приклади:

local — лише 1 ядро;
local[4] — 4 ядра; або
local[*] — усі доступні ядра.

Створення SparkSession

from pyspark.sql import SparkSession

Створіть локальний кластер за допомогою будівника SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Працюйте зі Spark...

# Close connection to Spark
>>> spark.stop()

Під'єднаємося до Spark!

Machine Learning з PySpark