Mise en cache

Introduction à Spark SQL en Python

Mark Plutowski

Data Scientist

Qu’est-ce que la mise en cache ?

  • Garder les données en mémoire
  • Spark libère la mémoire de façon agressive
Introduction à Spark SQL en Python

Politique d’éviction

  • Least Recently Used (LRU)
  • L’éviction est indépendante sur chaque worker
  • Dépend de la mémoire disponible de chaque worker
Introduction à Spark SQL en Python

Mettre en cache un dataframe

Pour mettre en cache un dataframe :
df.cache()
Pour le retirer du cache :
df.unpersist()
Introduction à Spark SQL en Python

Savoir si un dataframe est en cache

df.is_cached

False

df.cache()
df.is_cached

True
Introduction à Spark SQL en Python

Retirer un dataframe du cache

df.unpersist()
df.is_cached()

False
Introduction à Spark SQL en Python

Niveau de stockage

df.unpersist()
df.cache()
df.storageLevel

StorageLevel(True, True, False, True, 1)

Au niveau de stockage ci-dessus, on a :

  1. useDisk = True
  2. useMemory = True
  3. useOffHeap = False
  4. deserialized = True
  5. replication = 1
Introduction à Spark SQL en Python

Persister un dataframe

Les éléments suivants sont équivalents dans Spark 2.1+ :

  • df.persist()

  • df.persist(storageLevel=pyspark.StorageLevel.MEMORY_AND_DISK)

  • df.cache() est identique à df.persist()

Introduction à Spark SQL en Python

Mettre en cache une table

df.createOrReplaceTempView('df')
spark.catalog.isCached(tableName='df')

False

spark.catalog.cacheTable('df')
spark.catalog.isCached(tableName='df')

True
Introduction à Spark SQL en Python

Retirer une table du cache

spark.catalog.uncacheTable('df')
spark.catalog.isCached(tableName='df')

False

spark.catalog.clearCache()
Introduction à Spark SQL en Python

Conseils

  • La mise en cache est paresseuse
  • Ne mettez en cache que si vous exécutez plusieurs opérations
  • Libérez (unpersist) quand l’objet n’est plus utile
  • Mettez en cache sélectivement
Introduction à Spark SQL en Python

Passons à la pratique !

Introduction à Spark SQL en Python

Preparing Video For Download...