PySparkで学ぶBig Data入門
Upendra Devisetty
Science Analyst, CyVerse
第1章: BigDataの基礎と、分散処理フレームワークとしてのSparkの導入
主な構成要素: Spark Core と標準ライブラリ(Spark SQL、Spark MLlib、GraphX、Spark Streaming)
PySpark: Sparkジョブを実行するためのApache SparkのPython API
PySparkシェル: Pythonでの対話型アプリ開発用
Sparkの実行モード: ローカル/クラスタ
第2章: RDDの概要、特徴、作成方法、RDDの操作(変換とアクション)
第3章: Spark SQLの概要、DataFrameの抽象化、作成、操作、DataFrameによるビッグデータの可視化
第4章: Spark MLlibの概要、機械学習の3つのC(協調フィルタリング、分類、クラスタリング)
PySparkで学ぶBig Data入門