Förbättra importprestanda

Datarensning med PySpark

Mike Metzger

Data Engineering Consultant

Spark-kluster

Spark-kluster består av två typer av processer

Viktiga parametrar:

Antal objekt (filer, nätverksplatser m.m.)
- Fler mindre objekt är bättre än färre stora
- Kan importeras med jokertecken
```
airport_df = spark.read.csv('airports-*.txt.gz')
```
Objektens ungefärliga storlek
- Spark fungerar bättre om objekten är ungefär lika stora

Ett väldefinierat schema förbättrar importprestandan avsevärt

Använd OS-verktyg / skript (split, cut, awk)
```
split -l 10000 -d largefile chunk-
```
Använd egna skript

Skriv ut till Parquet

df_csv = spark.read.csv('singlelargefile.csv')
df_csv.write.parquet('data.parquet')
df = spark.read.parquet('data.parquet')

Datarensning med PySpark