Вступ до PySpark

Вступ до PySpark

Benjamin Schmidt

Data Engineer

Познайомтеся з викладачем

  • Майже десятирічний досвід роботи з даними в PySpark

  • Використовував PySpark для машинного навчання, ETL та багато чого іншого

  • Захоплено навчаю новим інструментам усіх!

-Ben Schmidt

Вступ до PySpark

Що таке PySpark?

  • Розподілена обробка даних: створено для великих наборів даних у кластерах

  • Підтримує формати даних, зокрема CSV, Parquet і JSON

  • Інтеграція з SQL дає змогу робити запити як у Python, так і в SQL

  • Оптимізовано для швидкості на масштабі

Data_ecosystem

Вступ до PySpark

Коли використовувати PySpark?

  • Аналітика великих даних

  • Розподілена обробка даних

  • Потокова обробка в реальному часі

  • Машинне навчання на великих наборах даних

  • Конвеєри ETL та ELT

  • Працює з різними джерелами даних:

    1. CSV
    2. JSON
    3. Parquet
    4. Та багато іншого
Вступ до PySpark

Кластер Spark

Головний вузол

  • Керує кластером, координує завдання та планує джоби

Робочі вузли

  • Виконують завдання, призначені головним вузлом
  • Безпосередньо виконують обчислення та зберігають дані в пам'яті або на диску

Master node

Worker node

Вступ до PySpark

SparkSession

  • SparkSession дає змогу під'єднатися до вашого кластера Spark і є критично важливим для роботи з PySpark.
# Import SparkSession
from pyspark.sql import SparkSession

# Initialize a SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

$$

  • .builder() налаштовує сесію
  • getOrCreate() створює або повертає сесію
  • .appName() допомагає керувати кількома сесіями
Вступ до PySpark

Датафрейми PySpark

  • Подібні до інших датафреймів, але
  • Оптимізовані для PySpark
# Import and initialize a Spark session
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("MySparkApp").getOrCreate()

# Create a DataFrame
census_df = spark.read.csv("census.csv",
                ["gender","age","zipcode","salary_range_usd","marriage_status"])

# Show the DataFrame
census_df.show()
Вступ до PySpark

Давайте потренуємось!

Вступ до PySpark

Preparing Video For Download...