PySpark : Spark avec Python
Principes de Big Data avec PySpark
Upendra Devisetty
Science Analyst, CyVerse
Aperçu de PySpark
Apache Spark est écrit en Scala
Pour prendre en charge Python avec Spark, la communauté Apache Spark a publié PySpark
Vitesse et puissance de calcul comparables à Scala
Les API PySpark ressemblent à Pandas et Scikit-learn
Qu'est-ce que la coquille Spark ?
Environnement interactif pour exécuter des tâches Spark
Utile pour un prototypage interactif rapide
Les coquilles Spark permettent d'interagir avec les données sur disque ou en mémoire
Trois coquilles Spark :
Spark-shell pour Scala
PySpark-shell pour Python
SparkR pour R
Coquille PySpark
La coquille PySpark est l'outil en ligne de commande basé sur Python
Elle permet aux spécialistes des données d'interagir avec les structures de données de Spark
Elle permet aussi de se connecter à un grapppeur
Comprendre SparkContext
SparkContext est la porte d'entrée dans l'univers Spark
Une porte d'entrée est une façon de se connecter à un grapppeur Spark
Une porte d'entrée, c'est comme la clé de la maison
PySpark a un SparkContext par défaut nommé
sc
Inspecter SparkContext
- Version : pour obtenir la version de SparkContext
sc.version
2.3.1
- Version de Python : pour obtenir la version Python de SparkContext
sc.pythonVer
3.6
- Maître : URL du grapppeur ou chaîne « local » pour exécuter SparkContext en mode local
sc.master
local[*]
Charger des données dans PySpark
- Méthode
parallelize()de SparkContext
rdd = sc.parallelize([1,2,3,4,5])
- Méthode
textFile()de SparkContext
rdd2 = sc.textFile("test.txt")
Passons à la pratique !
Principes de Big Data avec PySpark
