Introduktion till PySpark

Introduktion till PySpark

Benjamin Schmidt

Data Engineer

Möt din instruktör

  • Nästan ett decennium av erfarenhet med PySpark

  • Använt PySpark för maskininlärning, ETL-uppgifter och mycket mer

  • Entusiastisk lärare av nya verktyg för alla!

-Ben Schmidt

Introduktion till PySpark

Vad är PySpark?

  • Distribuerad databearbetning: Designad för att hantera stora datamängder över kluster

  • Stöder olika dataformat, inklusive CSV, Parquet och JSON

  • SQL-integration möjliggör frågor med både Python- och SQL-syntax

  • Optimerad för hastighet i stor skala

Data_ecosystem

Introduktion till PySpark

När använder vi PySpark?

  • Stordataanalys

  • Distribuerad databearbetning

  • Dataströmning i realtid

  • Maskininlärning på stora datamängder

  • ETL- och ELT-pipelines

  • Arbete med olika datakällor:

    1. CSV
    2. JSON
    3. Parquet
    4. Mycket mer
Introduktion till PySpark

Spark-kluster

Masternod

  • Hanterar klustret, koordinerar uppgifter och schemalägger jobb

Arbetarnoder

  • Utför de uppgifter som masternoden tilldelar
  • Ansvarar för beräkningar och lagring av data i minne eller på disk

Master node

Worker node

Introduktion till PySpark

SparkSession

  • SparkSessions ger dig åtkomst till ditt Spark-kluster och är centrala för att använda PySpark.
# Import SparkSession
from pyspark.sql import SparkSession

# Initialize a SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

$$

  • .builder() sätter upp en session
  • getOrCreate() skapar eller hämtar en session
  • .appName() hjälper till att hantera flera sessioner
Introduktion till PySpark

PySpark DataFrames

  • Liknar andra DataFrames men
  • Optimerad för PySpark
# Import and initialize a Spark session
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

# Create a DataFrame
census_df = spark.read.csv("census.csv",
                ["gender","age","zipcode","salary_range_usd","marriage_status"])

# Show the DataFrame
census_df.show()
Introduktion till PySpark

Nu kör vi en övning!

Introduktion till PySpark

Preparing Video For Download...