Introducere în Spark SQL

Introducere în PySpark

Benjamin Schmidt

Data Engineer

Ce este Spark SQL

Modul Apache Spark pentru procesarea datelor structurate
Permite rularea interogărilor SQL alături de sarcini de procesare
Combinație perfectă între Python și SQL într-o singură aplicație

Interfațare DataFrame: acces programatic la datele structurate

Crearea tabelelor temporare

# Initialize Spark session
spark = SparkSession.builder.appName("Spark SQL Example").getOrCreate()

# Sample DataFrame
data = [("Alice", "HR", 30), ("Bob", "IT", 40), ("Cathy", "HR", 28)]
columns = ["Name", "Department", "Age"]
df = spark.createDataFrame(data, schema=columns)

# Register DataFrame as a temporary view
df.createOrReplaceTempView("people")

# Query using SQL
result = spark.sql("SELECT Name, Age FROM people WHERE Age > 30")
result.show()

Vizualizări temporare în detaliu

Vizualizările temporare protejează datele sursă în timpul analizei

Încărcarea dintr-un CSV folosește metode cunoscute

df = spark.read.csv("path/to/your/file.csv", header=True, inferSchema=True)

# Register DataFrame as a temporary view
df.createOrReplaceTempView("employees")

Combinarea SQL cu operații DataFrame

# SQL query result
query_result = spark.sql("SELECT Name, Salary FROM employees WHERE Salary > 3000")

# DataFrame transformation
high_earners = query_result.withColumn("Bonus", query_result.Salary * 0.1)
high_earners.show()

Să exersăm!

Introducere în PySpark