Die Spark-UI

Einführung in Spark SQL mit Python

Mark Plutowski

Data Scientist

Mit der Spark-UI die Ausführung prüfen

  • Ein Spark-Task ist eine Ausführungseinheit auf einer CPU.

  • Eine Spark-Stage ist eine Gruppe gleichartiger Tasks, parallel auf unterschiedlichen Datenteilen.

  • Ein Spark-Job ist eine durch eine Action ausgelöste Berechnung, aufgeteilt in eine oder mehrere Stages.

Einführung in Spark SQL mit Python

Die Spark-UI finden

  1. http://[DRIVER_HOST]:4040
  2. http://[DRIVER_HOST]:4041
  3. http://[DRIVER_HOST]:4042
  4. http://[DRIVER_HOST]:4043
    ...
Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Spark-Katalog: Operationen

  • spark.catalog.cacheTable('table1')
  • spark.catalog.uncacheTable('table1')
  • spark.catalog.isCached('table1')
  • spark.catalog.dropTempView('table1')
Einführung in Spark SQL mit Python

Spark-Katalog

spark.catalog.listTables()

[Table(name='text', database=None, description=None, tableType='TEMPORARY', isTemporary=True)]
Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Spark-UI: Storage-Tab

Zeigt, wo Datenpartitionen liegen

  • im Speicher,
  • oder auf Platte,
  • im Cluster verteilt,
  • zu einem Zeitpunkt-Snapshot.
Einführung in Spark SQL mit Python

Spark-UI: SQL-Tab

query3agg = """
SELECT w1, w2, w3, COUNT(*) as count FROM (
   SELECT 
   word AS w1,
   LEAD(word,1) OVER(PARTITION BY part ORDER BY id ) AS w2,
   LEAD(word,2) OVER(PARTITION BY part ORDER BY id ) AS w3
   FROM df
)
GROUP BY w1, w2, w3 
ORDER BY count DESC
""" 

spark.sql(query3agg).show()
Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Einführung in Spark SQL mit Python

Lass uns üben!

Einführung in Spark SQL mit Python

Preparing Video For Download...