Connexion à Spark

Machine Learning avec PySpark

Andrew Collier

Data Scientist, Fathom Data

Interagir avec Spark

Logos de Java, Scala, Python et R.

Langages pour interagir avec Spark.

Java — bas niveau, compilé
Scala, Python et R — haut niveau avec REPL interactif

Importer pyspark

Depuis Python, importez le module pyspark.

import pyspark

Vérifiez la version du module pyspark.

pyspark.__version__

'2.4.1'

Sous-modules

En plus de pyspark, on trouve :

Données structurées — pyspark.sql
Données en continu — pyspark.streaming
Machine Learning — pyspark.mllib (désapprouvé) et pyspark.ml

URL Spark

Grappe distante avec URL Spark — spark://<adresse IP | nom DNS>:<port>

Exemple :

spark://13.59.151.161:7077

Grappe locale

Exemples :

local — 1 seul cœur ;
local[4] — 4 cœurs ; ou
local[*] — tous les cœurs disponibles.

Créer une SparkSession

from pyspark.sql import SparkSession

Créez une grappe locale avec un générateur de SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Interagir avec Spark…

# Fermer la connexion à Spark
>>> spark.stop()

Connectons-nous à Spark !

Machine Learning avec PySpark