Łączenie ze Spark

Uczenie maszynowe z PySpark

Andrew Collier

Data Scientist, Fathom Data

Interakcja ze Spark

Logo Java, Scala, Pythona i R.

Języki do pracy ze Spark.

Java — niskopoziomowy, kompilowany
Scala, Python i R — wysokopoziomowe z interaktywnym REPL

Importowanie pyspark

Importowanie modułu pyspark w Pythonie.

import pyspark

Sprawdzenie wersji modułu pyspark.

pyspark.__version__

'2.4.1'

Podmoduły

Oprócz pyspark dostępne są również:

Dane strukturalne — pyspark.sql
Dane strumieniowe — pyspark.streaming
Uczenie maszynowe — pyspark.mllib (przestarzały) i pyspark.ml

Adres URL Spark

Klaster zdalny z użyciem adresu URL Spark — spark://<IP address | DNS name>:<port>

Przykład:

spark://13.59.151.161:7077

Klaster lokalny

Przykłady:

local — tylko 1 rdzeń;
local[4] — 4 rdzenie; lub
local[*] — wszystkie dostępne rdzenie.

Tworzenie SparkSession

from pyspark.sql import SparkSession

Tworzenie klastra lokalnego przy użyciu konstruktora SparkSession.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Praca ze Spark...

# Close connection to Spark
>>> spark.stop()

Czas na ćwiczenia!

Uczenie maszynowe z PySpark