Wprowadzenie do potoków danych

Czyszczenie danych w PySpark

Mike Metzger

Data Engineering Consultant

Czym jest potok danych?

Zestaw kroków przetwarzających dane ze źródeł do wyników
Może składać się z dowolnej liczby kroków lub komponentów
Może obejmować wiele systemów
Skupimy się na potokach danych w Sparku

Jak wygląda potok danych?

Dane wejściowe
- CSV, JSON, usługi sieciowe, bazy danych
Transformacje
- withColumn(), .filter(), .drop()
Dane wyjściowe
- CSV, Parquet, baza danych
Walidacja
Analiza

Szczegóły potoku

Nie jest formalnie zdefiniowany w Sparku

Zazwyczaj cały kod Spark wymagany do zadania

schema = StructType([
StructField('name', StringType(), False),
StructField('age', StringType(), False)
])
df = spark.read.format('csv').load('datafile').schema(schema)
df = df.withColumn('id', monotonically_increasing_id())
...
df.write.parquet('outdata.parquet')
df.write.json('outdata.json')

Czas na ćwiczenia!

Czyszczenie danych w PySpark