Introducere în PySpark

Introducere în PySpark

Benjamin Schmidt

Data Engineer

Cunoașteți instructorul

  • Aproape un deceniu de experiență în date cu PySpark

  • Utilizat PySpark pentru Machine Learning, sarcini ETL și multe altele

  • Profesor entuziast al noilor instrumente pentru toți!

-Ben Schmidt

Introducere în PySpark

Ce este PySpark?

  • Procesare distribuită a datelor: concepută pentru seturi mari de date pe clustere

  • Suportă diverse formate: CSV, Parquet și JSON

  • Integrare SQL permite interogarea datelor în Python și SQL

  • Optimizat pentru viteză la scară

Ecosistemul datelor

Introducere în PySpark

Când utilizăm PySpark?

  • Analiză de date mari

  • Procesare distribuită a datelor

  • Streaming de date în timp real

  • Machine learning pe seturi mari de date

  • Pipeline-uri ETL și ELT

  • Lucrul cu surse diverse de date:

    1. CSV
    2. JSON
    3. Parquet
    4. Multe altele
Introducere în PySpark

Cluster Spark

Nodul master

  • Gestionează clusterul, coordonează sarcinile și planifică joburile

Nodurile worker

  • Execută sarcinile atribuite de master
  • Responsabile de calcule efective și stocarea datelor în memorie sau pe disc

Nodul master

Nodul worker

Introducere în PySpark

SparkSession

  • SparkSession permite accesul la clusterul Spark și este esențial pentru utilizarea PySpark.
# Import SparkSession
from pyspark.sql import SparkSession

# Initialize a SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

$$

  • .builder() configurează o sesiune
  • getOrCreate() creează sau recuperează o sesiune
  • .appName() ajută la gestionarea mai multor sesiuni
Introducere în PySpark

DataFrame-uri PySpark

  • Similar cu alte DataFrame-uri, dar
  • Optimizat pentru PySpark
# Import and initialize a Spark session
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

# Create a DataFrame
census_df = spark.read.csv("census.csv",
                ["gender","age","zipcode","salary_range_usd","marriage_status"])

# Show the DataFrame
census_df.show()
Introducere în PySpark

Să exersăm!

Introducere în PySpark

Preparing Video For Download...