Introdução a pipelines de dados

Limpeza de dados com o PySpark

Mike Metzger

Data Engineering Consultant

O que é um pipeline de dados?

Conjunto de etapas para processar dados da(s) fonte(s) até a saída final
Pode ter qualquer número de etapas ou componentes
Pode abranger muitos sistemas
Vamos focar em pipelines de dados no Spark

Como é um pipeline de dados?

Entrada(s)
- CSV, JSON, serviços web, bancos de dados
Transformações
- withColumn(), .filter(), .drop()
Saída(s)
- CSV, Parquet, banco de dados
Validação
Análise

Detalhes do pipeline

Não é definido formalmente no Spark

Normalmente é todo o código Spark necessário para a tarefa

schema = StructType([
StructField('name', StringType(), False),
StructField('age', StringType(), False)
])
df = spark.read.format('csv').load('datafile').schema(schema)
df = df.withColumn('id', monotonically_increasing_id())
...
df.write.parquet('outdata.parquet')
df.write.json('outdata.json')

Vamos praticar!

Limpeza de dados com o PySpark