Verbindung zu Spark

Maschinelles Lernen mit PySpark

Andrew Collier

Data Scientist, Fathom Data

Mit Spark arbeiten

Logos für Java, Scala, Python und R.

Sprachen zur Arbeit mit Spark.

Java — Low-Level, kompiliert
Scala, Python und R — High-Level mit interaktivem REPL

pyspark importieren

Importiere in Python das Modul pyspark.

import pyspark

Prüfe die Version von pyspark.

pyspark.__version__

'2.4.1'

Submodule

Zusätzlich zu pyspark gibt es:

Strukturierte Daten — pyspark.sql
Streaming-Daten — pyspark.streaming
Maschinelles Lernen — pyspark.mllib (veraltet) und pyspark.ml

Spark-URL

Remote-Cluster mit Spark-URL — spark://<IP address | DNS name>:<port>

Beispiel:

spark://13.59.151.161:7077

Lokaler Cluster

Beispiele:

local — nur 1 Kern;
local[4] — 4 Kerne; oder
local[*] — alle verfügbaren Kerne.

Eine SparkSession erstellen

from pyspark.sql import SparkSession

Erstelle mit einem SparkSession-Builder einen lokalen Cluster.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Interagiere mit Spark ...

# Verbindung zu Spark schließen
>>> spark.stop()

Lass uns eine Verbindung zu Spark herstellen!

Maschinelles Lernen mit PySpark