Vizualizarea datelor în PySpark cu DataFrames

Fundamentele Big Data cu PySpark

Upendra Devisetty

Science Analyst, CyVerse

Ce este vizualizarea datelor?

Vizualizarea datelor reprezintă datele prin grafice sau diagrame
Instrumente open source pentru vizualizare în Python:
- Matplotlib, Seaborn, Bokeh etc.,
Reprezentarea grafică cu PySpark DataFrames se realizează prin trei metode
- Biblioteca pyspark_dist_explore
- toPandas()
- Biblioteca HandySpark

Biblioteca Pyspark_dist_explore oferă informații rapide despre DataFrames
Disponibile în prezent trei funcții: hist(), distplot() și pandas_histogram()

test_df = spark.read.csv("test.csv", header=True, inferSchema=True)

test_df_age = test_df.select('Age')

hist(test_df_age, bins=20, color="red")

test_df = spark.read.csv("test.csv", header=True, inferSchema=True)

test_df_sample_pandas = test_df.toPandas()

test_df_sample_pandas.hist('Age')

Notă: Pentru volume mari de date, utilizarea toPandas() nu este recomandată

Pandas DataFrames sunt structuri în memorie, pe un singur server, iar operațiunile PySpark rulează în paralel
În Pandas, rezultatele sunt generate imediat, pe când în PySpark DataFrame operațiunile sunt evaluate leneș
Pandas DataFrames sunt mutabile, iar PySpark DataFrames sunt imuabile
API-ul Pandas suportă mai multe operațiuni decât API-ul PySpark DataFrame

HandySpark este un pachet conceput pentru a îmbunătăți experiența utilizatorilor PySpark
- Preluare ușoară a datelor
- Calcul distribuit păstrat

test_df = spark.read.csv('test.csv', header=True, inferSchema=True)

hdf = test_df.toHandy()

hdf.cols["Age"].hist()

Fundamentele Big Data cu PySpark