Spark UI

Úvod do Spark SQL v Pythonu

Mark Plutowski

Data Scientist

Spark UI – analýza provádění

  • Spark Task je jednotka výpočtu spuštěná na jednom CPU

  • Spark Stage je skupina tasků provádějících stejný výpočet paralelně, přičemž každý task zpracovává zpravidla jinou část dat

  • Spark Job je výpočet spuštěný akcí, rozdělený do jedné nebo více stages

Úvod do Spark SQL v Pythonu

Jak najít Spark UI

  1. http://[DRIVER_HOST]:4040
  2. http://[DRIVER_HOST]:4041
  3. http://[DRIVER_HOST]:4042
  4. http://[DRIVER_HOST]:4043
    ...
Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Operace se Spark katalogem

  • spark.catalog.cacheTable('table1')
  • spark.catalog.uncacheTable('table1')
  • spark.catalog.isCached('table1')
  • spark.catalog.dropTempView('table1')
Úvod do Spark SQL v Pythonu

Spark Catalog

spark.catalog.listTables()

[Table(name='text', database=None, description=None, tableType='TEMPORARY', isTemporary=True)]
Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Spark UI – záložka Storage

Zobrazuje umístění datových oddílů

  • v paměti,
  • nebo na disku,
  • napříč clusterem,
  • v daném okamžiku.
Úvod do Spark SQL v Pythonu

Spark UI – záložka SQL

query3agg = """
SELECT w1, w2, w3, COUNT(*) as count FROM (
   SELECT 
   word AS w1,
   LEAD(word,1) OVER(PARTITION BY part ORDER BY id ) AS w2,
   LEAD(word,2) OVER(PARTITION BY part ORDER BY id ) AS w3
   FROM df
)
GROUP BY w1, w2, w3 
ORDER BY count DESC
""" 

spark.sql(query3agg).show()
Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Úvod do Spark SQL v Pythonu

Pojďme procvičovat!

Úvod do Spark SQL v Pythonu

Preparing Video For Download...