Fondamenti di Big Data con PySpark
Upendra Devisetty
Science Analyst, CyVerse
Capitolo 1: Fondamenti di Big Data e introduzione a Spark come framework di calcolo distribuito
Componenti principali: Spark Core e librerie integrate — Spark SQL, Spark MLlib, GraphX e Spark Streaming
PySpark: l'API Python di Apache Spark per eseguire job Spark
Shell PySpark: per sviluppare applicazioni interattive in Python
Modalità di Spark: locale e cluster
Capitolo 2: Introduzione agli RDD, caratteristiche degli RDD, metodi per creare RDD e operazioni sugli RDD (Transformations e Actions)
Capitolo 3: Introduzione a Spark SQL, astrazione DataFrame, creazione dei DataFrame, operazioni sui DataFrame e visualizzazione dei Big Data tramite DataFrame
Capitolo 4: Introduzione a Spark MLlib, le tre C del Machine Learning (Collaborative filtering, Classification e Clustering)
Fondamenti di Big Data con PySpark