Úvod do PySparku

Introduction to PySpark

Benjamin Schmidt

Data Engineer

Váš instruktor

  • Téměř dekáda zkušeností s PySparkem

  • Využití PySparku pro strojové učení, ETL úlohy a mnoho dalšího

  • Nadšený průvodce novými nástroji pro všechny!

-Ben Schmidt

Introduction to PySpark

Co je PySpark?

  • Distribuované zpracování dat: navrženo pro velké datové sady napříč clustery

  • Podporuje různé formáty včetně CSV, Parquet a JSON

  • Integrace SQL umožňuje dotazování pomocí Pythonu i SQL

  • Optimalizováno pro rychlost ve velkém měřítku

Datový ekosystém

Introduction to PySpark

Kdy použít PySpark?

  • Analytika velkých dat

  • Distribuované zpracování dat

  • Streamování dat v reálném čase

  • Strojové učení na velkých datových sadách

  • ETL a ELT pipeline

  • Práce s různorodými zdroji dat:

    1. CSV
    2. JSON
    3. Parquet
    4. A mnoho dalšího
Introduction to PySpark

Spark cluster

Hlavní uzel

  • Spravuje cluster, koordinuje úlohy a plánuje jejich provádění

Pracovní uzly

  • Provádějí úlohy přidělené hlavním uzlem
  • Zajišťují výpočty a ukládají data do paměti nebo na disk

Hlavní uzel

Pracovní uzel

Introduction to PySpark

SparkSession

  • SparkSession umožňuje přístup ke clusteru Spark a je nezbytná pro práci s PySparkem.
# Import SparkSession
from pyspark.sql import SparkSession

# Initialize a SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

$$

  • .builder() nastaví relaci
  • getOrCreate() vytvoří nebo načte relaci
  • .appName() pomáhá spravovat více relací
Introduction to PySpark

DataFramy v PySparku

  • Podobné jiným DataFramům, ale
  • optimalizované pro PySpark
# Import and initialize a Spark session
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

# Create a DataFrame
census_df = spark.read.csv("census.csv",
                ["gender","age","zipcode","salary_range_usd","marriage_status"])

# Show the DataFrame
census_df.show()
Introduction to PySpark

Pojďme si procvičit!

Introduction to PySpark

Preparing Video For Download...