Conectando ao Spark

Machine learning com PySpark

Andrew Collier

Data Scientist, Fathom Data

Interagindo com o Spark

Logotipos de Java, Scala, Python e R.

Linguagens para interagir com o Spark.

Java — baixo nível, compilada
Scala, Python e R — alto nível com REPL interativo

Importando o pyspark

No Python, importe o módulo pyspark.

import pyspark

Confira a versão do módulo pyspark.

pyspark.__version__

'2.4.1'

Submódulos

Além de pyspark, existem:

Dados estruturados — pyspark.sql
Dados em streaming — pyspark.streaming
Machine Learning — pyspark.mllib (obsoleto) e pyspark.ml

Spark URL

Cluster remoto usando Spark URL — spark://<IP address | DNS name>:<port>

Exemplo:

spark://13.59.151.161:7077

Cluster local

Exemplos:

local — apenas 1 core;
local[4] — 4 cores; ou
local[*] — todos os cores disponíveis.

Criando uma SparkSession

from pyspark.sql import SparkSession

Crie um cluster local com o builder de SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Interaja com o Spark...

# Fechar a conexão com o Spark
>>> spark.stop()

Vamos nos conectar ao Spark!

Machine learning com PySpark