Подключение к Spark

Машинное обучение с PySpark

Andrew Collier

Data Scientist, Fathom Data

Взаимодействие со Spark

Логотипы Java, Scala, Python и R.

Языки для работы со Spark.

Java — низкоуровневый, компилируемый
Scala, Python и R — высокоуровневые с интерактивным REPL

Импорт pyspark

Импортируйте модуль pyspark в Python.

import pyspark

Проверьте версию модуля pyspark.

pyspark.__version__

'2.4.1'

Подмодули

Помимо pyspark доступны подмодули:

Структурированные данные — pyspark.sql
Потоковые данные — pyspark.streaming
Машинное обучение — pyspark.mllib (устарел) и pyspark.ml

Spark URL

Удалённый кластер через Spark URL — spark://<IP address | DNS name>:<port>

Пример:

spark://13.59.151.161:7077

Локальный кластер

Примеры:

local — только 1 ядро;
local[4] — 4 ядра; или
local[*] — все доступные ядра.

Создание SparkSession

from pyspark.sql import SparkSession

Создайте локальный кластер с помощью строителя SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Работа со Spark...

# Close connection to Spark
>>> spark.stop()

Давайте потренируемся!

Машинное обучение с PySpark