Введение в конвейеры данных

Очистка данных с помощью PySpark

Mike Metzger

Data Engineering Consultant

Что такое конвейер данных?

Набор шагов для обработки данных от источника к результату
Может включать любое количество шагов и компонентов
Может охватывать множество систем
Рассмотрим конвейеры данных в Spark

Как выглядит конвейер данных?

Входные данные
- CSV, JSON, веб-сервисы, базы данных
Преобразования
- withColumn(), .filter(), .drop()
Выходные данные
- CSV, Parquet, база данных
Валидация
Анализ

Детали конвейера

В Spark не имеет формального определения

Как правило, включает весь код Spark для выполнения задачи

schema = StructType([
StructField('name', StringType(), False),
StructField('age', StringType(), False)
])
df = spark.read.format('csv').load('datafile').schema(schema)
df = df.withColumn('id', monotonically_increasing_id())
...
df.write.parquet('outdata.parquet')
df.write.json('outdata.json')

Давайте потренируемся!

Очистка данных с помощью PySpark