Gérer et configurer les grappes

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Trouver vos grappes

$$

  • Toutes les grappes : tout l'espace de travail
  • Mes grappes : celles que vous avez créées
  • Partagées avec moi : accès accordé par d'autres
  • Filtrer par état : En cours d'exécution, Arrêtée

$$

recraft: half: Un classeur avec des dossiers codés par couleur et des étiquettes montrant des catégories organisées, représentant le filtrage et l'organisation des grappes

Introduction à Databricks Lakehouse

États d'une grappe

organigramme : En attente, En cours d'exécution, Redémarrage, En cours d'arrêt, Arrêtée

Introduction à Databricks Lakehouse

Arrêt : ce qui est conservé ou perdu

comparaison : Conservé : Configuration, Carnets, Stockage infonuagique | Perdu : Données en mémoire, Bibliothèques installées, Fichiers temporaires

  • L'arrêt n'est pas une suppression : la config et les carnets restent
  • Les données en mémoire, caches et paquets installés avec pip sont effacés
Introduction à Databricks Lakehouse

Quand redémarrer

$$

  • Nouvelle bibliothèque installée qui ne se charge pas
  • Grappe instable ou lente
  • Besoin de vider les données en cache en mémoire
  • Script d'initialisation ou variable d'environnement mis à jour

$$

recraft: half: Une icône de bouton d'alimentation avec des flèches circulaires autour, luisant en bleu et vert, représentant un redémarrage ou un rafraîchissement du système

Introduction à Databricks Lakehouse

Mise à l'échelle et arrêt automatiques

$$

Mise à l'échelle automatique et arrêt automatique

$$

  • La mise à l'échelle automatique ajoute ou retire des travailleurs selon la demande
  • Gère les charges irrégulières sans surprovisionnement
  • L'arrêt automatique éteint après une période d'inactivité définie
  • Évite que des grappes oubliées grugent le budget
Introduction à Databricks Lakehouse

Stratégies de grappes

$$

  • Garde-fous définis par l'admin pour créer des grappes
  • Limiter types de nœuds, nb max de travailleurs et versions d'exécution
  • Imposer l'arrêt automatique et l'étiquetage
  • Les utilisateurs créent des grappes selon la stratégie

$$

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}
Introduction à Databricks Lakehouse

Résumé

$$

  • Filtrez les grappes pour trouver vite ce qu'il faut
  • Arrêter réduit les coûts mais vide la mémoire et les bibliothèques
  • Redémarrer pour charger de nouvelles bibliothèques ou dépanner
  • Mise à l'échelle et arrêt automatiques maîtrisent les coûts
  • Les stratégies de grappes permettent aux admins d'appliquer des normes
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...