Conseils pour dimensionner un cluster

Nettoyer des données avec PySpark

Mike Metzger

Data Engineering Consultant

Options de configuration

  • Spark propose de nombreux paramètres de configuration
  • Ils peuvent être ajustés selon les besoins
  • Lecture des paramètres :
    spark.conf.get(<configuration name>)
  • Écriture des paramètres
    spark.conf.set(<configuration name>)
Nettoyer des données avec PySpark

Types de clusters

Options de déploiement Spark :

  • Nœud unique
  • Autonome
  • Géré
    • YARN
    • Mesos
    • Kubernetes
Nettoyer des données avec PySpark

Driver

  • Attribution des tâches
  • Consolidation des résultats
  • Accès partagé aux données

Astuces :

  • Le nœud driver doit avoir deux fois la mémoire d'un worker
  • Un stockage local rapide aide
Nettoyer des données avec PySpark

Worker

  • Exécute les tâches
  • Idéalement, possède tout le code, les données et ressources d'une tâche

Recommandations :

  • Plus de nœuds worker vaut souvent mieux que des workers plus gros
  • Tester pour trouver le bon équilibre
  • Un stockage local très rapide est précieux
Nettoyer des données avec PySpark

Passons à la pratique !

Nettoyer des données avec PySpark

Preparing Video For Download...