PySpark：Pythonで使うSpark

PySparkで学ぶBig Data入門

Upendra Devisetty

Science Analyst, CyVerse

PySpark の概要

  • Apache Spark は Scala で実装

  • Spark を Python で使うため、PySpark が提供されています

  • Scala と同等の計算速度・性能

  • PySpark の API は Pandas や Scikit-learn に類似

PySparkで学ぶBig Data入門

Spark シェルとは

  • Spark ジョブを実行する対話型環境

  • 迅速なプロトタイピングに有用

  • ディスク/メモリ上のデータと対話可能

  • Spark シェルは3種：

    • Scala 用 Spark-shell

    • Python 用 PySpark-shell

    • R 用 SparkR

PySparkで学ぶBig Data入門

PySpark シェル

  • PySpark シェルは Python ベースのコマンドラインツール

  • データサイエンティストが Spark のデータ構造を操作可能

  • クラスター接続をサポート

PySparkで学ぶBig Data入門

SparkContext の理解

  • SparkContext は Spark へのエントリーポイント

  • エントリーポイントは Spark クラスターへの接続手段

  • エントリーポイントは家の鍵のようなもの

  • PySpark には既定の SparkContext sc がある

1 https://www.datacamp.com/cheat-sheet/pyspark-cheat-sheet-spark-in-python
PySparkで学ぶBig Data入門

SparkContext の確認

  • Version: SparkContext のバージョンを取得
sc.version

2.3.1
  • Python Version: SparkContext の Python バージョンを取得
sc.pythonVer

3.6
  • Master: クラスターの URL またはローカル実行用の文字列（SparkContext）
sc.master

local[*]
1 https://www.datacamp.com/cheat-sheet/pyspark-cheat-sheet-spark-in-python
PySparkで学ぶBig Data入門

PySpark でのデータ読み込み

  • SparkContext の parallelize() メソッド
rdd = sc.parallelize([1,2,3,4,5])
  • SparkContext の textFile() メソッド
rdd2 = sc.textFile("test.txt")
1 https://www.datacamp.com/cheat-sheet/pyspark-cheat-sheet-spark-in-python
PySparkで学ぶBig Data入門

Ayo berlatih!

PySparkで学ぶBig Data入門

Preparing Video For Download...