Conectando con Spark

Machine learning con PySpark

Andrew Collier

Data Scientist, Fathom Data

Interactuar con Spark

Logotipos de Java, Scala, Python y R.

Lenguajes para interactuar con Spark.

Java — bajo nivel, compilado
Scala, Python y R — alto nivel con REPL interactivo

Importar pyspark

Desde Python, importa el módulo pyspark.

import pyspark

Comprueba la versión del módulo pyspark.

pyspark.__version__

'2.4.1'

Submódulos

Además de pyspark, existen:

Datos estructurados — pyspark.sql
Datos en streaming — pyspark.streaming
Machine Learning — pyspark.mllib (obsoleto) y pyspark.ml

Spark URL

Clúster remoto con Spark URL — spark://<IP address | DNS name>:<port>

Ejemplo:

spark://13.59.151.161:7077

Clúster local

Ejemplos:

local — solo 1 núcleo;
local[4] — 4 núcleos; o
local[*] — todos los núcleos disponibles.

Crear una SparkSession

from pyspark.sql import SparkSession

Crea un clúster local con el builder de SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Interactúa con Spark...

# Cierra la conexión con Spark
>>> spark.stop()

¡Conectemos con Spark!

Machine learning con PySpark