Spark에 연결하기

PySpark로 하는 Machine Learning

Andrew Collier

Data Scientist, Fathom Data

Spark와 상호작용하기

Java, Scala, Python, R 로고.

Spark와 상호작용하는 언어

Java — 저수준, 컴파일형
Scala, Python, R — 고수준, 대화형 REPL 제공

pyspark 임포트하기

Python에서 pyspark 모듈을 임포트합니다.

import pyspark

pyspark 모듈 버전을 확인합니다.

pyspark.__version__

'2.4.1'

하위 모듈

pyspark 외에도 다음이 있습니다.

구조적 데이터 — pyspark.sql
스트리밍 데이터 — pyspark.streaming
머신 러닝 — pyspark.mllib (사용 중단) 및 pyspark.ml

Spark URL

원격 클러스터: Spark URL — spark://<IP address | DNS name>:<port>

예:

spark://13.59.151.161:7077

로컬 클러스터

예:

local — 코어 1개만 사용;
local[4] — 코어 4개; 또는
local[*] — 사용 가능한 모든 코어

SparkSession 생성하기

from pyspark.sql import SparkSession

SparkSession 빌더로 로컬 클러스터를 생성합니다.

spark = SparkSession.builder \
                    .master('local[*]') \
                    .appName('first_spark_application') \
                    .getOrCreate()

Spark와 상호작용합니다...

# Spark 연결 종료
>>> spark.stop()

Spark에 연결해 봅시다!

PySpark로 하는 Machine Learning