Úvod do Spark SQL

Introduction to PySpark

Benjamin Schmidt

Data Engineer

Co je Spark SQL

Modul Apache Spark pro zpracování strukturovaných dat
Umožňuje spouštět SQL dotazy souběžně se zpracováním dat
Bezproblémová kombinace Pythonu a SQL v jedné aplikaci

Rozhraní DataFrame: Poskytuje programový přístup ke strukturovaným datům

Vytváření dočasných tabulek

# Initialize Spark session
spark = SparkSession.builder.appName("Spark SQL Example").getOrCreate()

# Sample DataFrame
data = [("Alice", "HR", 30), ("Bob", "IT", 40), ("Cathy", "HR", 28)]
columns = ["Name", "Department", "Age"]
df = spark.createDataFrame(data, schema=columns)

# Register DataFrame as a temporary view
df.createOrReplaceTempView("people")

# Query using SQL
result = spark.sql("SELECT Name, Age FROM people WHERE Age > 30")
result.show()

Dočasné pohledy podrobněji

Dočasné pohledy chrání zdrojová data při analýze

Načítání z CSV využívá již známé metody

df = spark.read.csv("path/to/your/file.csv", header=True, inferSchema=True)

# Register DataFrame as a temporary view
df.createOrReplaceTempView("employees")

Kombinace SQL a operací s DataFrame

# SQL query result
query_result = spark.sql("SELECT Name, Salary FROM employees WHERE Salary > 3000")

# DataFrame transformation
high_earners = query_result.withColumn("Bonus", query_result.Salary * 0.1)
high_earners.show()

Pojďme si procvičit!

Introduction to PySpark