PySpark: Spark con Python
Fondamenti di Big Data con PySpark
Upendra Devisetty
Science Analyst, CyVerse
Panoramica di PySpark
Apache Spark è scritto in Scala
Per supportare Python in Spark, la community di Apache Spark ha rilasciato PySpark
Velocità e potenza di calcolo simili a Scala
Le API di PySpark sono simili a Pandas e Scikit-learn
Cos'è la Spark shell?
Ambiente interattivo per eseguire job Spark
Utile per un rapido prototyping interattivo
Le shell di Spark permettono di interagire con dati su disco o in memoria
Tre shell Spark:
Spark-shell per Scala
PySpark-shell per Python
SparkR per R
Shell PySpark
La shell PySpark è lo strumento da riga di comando basato su Python
Consente ai data scientist di interfacciarsi con le strutture dati di Spark
La shell PySpark supporta la connessione a un cluster
Capire SparkContext
SparkContext è il punto di ingresso al mondo di Spark
Un punto di ingresso è un modo per connettersi al cluster Spark
Un punto di ingresso è come la chiave di casa
PySpark ha uno SparkContext predefinito chiamato
sc
Ispezionare SparkContext
- Versione: per ottenere la versione di SparkContext
sc.version
2.3.1
- Versione di Python: per ottenere la versione Python di SparkContext
sc.pythonVer
3.6
- Master: URL del cluster o stringa
localper eseguire in modalità locale di SparkContext
sc.master
local[*]
Caricare dati in PySpark
- Metodo
parallelize()di SparkContext
rdd = sc.parallelize([1,2,3,4,5])
- Metodo
textFile()di SparkContext
rdd2 = sc.textFile("test.txt")
Esercitiamoci!
Fondamenti di Big Data con PySpark
