Connexion à Spark

Apprentissage automatique avec PySpark

Andrew Collier

Data Scientist, Fathom Data

Interagir avec Spark

Logos pour Java, Scala, Python et R.

Langages pour interagir avec Spark.

Java — bas niveau, compilé
Scala, Python et R — haut niveau avec REPL interactif

Importer pyspark

Depuis Python, importez le module pyspark.

import pyspark

Vérifiez la version du module pyspark.

pyspark.__version__

'2.4.1'

Sous-modules

En plus de pyspark, il existe

Données structurées — pyspark.sql
Données en streaming — pyspark.streaming
Machine Learning — pyspark.mllib (obsolète) et pyspark.ml

Spark URL

Cluster distant via Spark URL — spark://<IP address | DNS name>:<port>

Exemple :

spark://13.59.151.161:7077

Cluster local

Exemples :

local — 1 seul cœur ;
local[4] — 4 cœurs ; ou
local[*] — tous les cœurs disponibles.

Créer une SparkSession

from pyspark.sql import SparkSession

Créez un cluster local avec un générateur SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Interagir avec Spark…

# Close connection to Spark
>>> spark.stop()

Connectons-nous à Spark !

Apprentissage automatique avec PySpark