Types de grappes et environnements d'exécution

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

Qu'est-ce qu'une grappe ?

$$

  • Un ensemble de machines virtuelles exécute votre code
  • Un nœud pilote coordonne le travail
  • Un ou plusieurs nœuds ouvriers font le traitement
  • Les grappes lisent les données du stockage infonuagique

$$

$$

hiérarchie : nœud pilote, ouvrier 1, ouvrier 2, ouvrier 3, stockage infonuagique

Introduction à Databricks Lakehouse

Grappes polyvalentes

$$

  • Développement interactif et requêtes ponctuelles
  • Partagée entre plusieurs membres de l'équipe
  • Reste active jusqu'à arrêt manuel
  • Pensez à une voiture personnelle : toujours disponible, mais des frais même à l'arrêt

$$

recraft: half: Une voiture personnelle stationnée dans une entrée, toujours disponible mais coûte même à l'arrêt, représentant une ressource de calcul toujours active

Introduction à Databricks Lakehouse

Grappes de travaux

$$

  • Créées automatiquement au démarrage d'un travail
  • Exécutent une seule tâche, puis se terminent
  • Aucune gestion manuelle requise
  • Optimisées pour les coûts en production

$$

recraft: half: Un taxi moderne avec un indicateur lumineux, représentant une ressource de calcul à la demande qui démarre et s'arrête automatiquement

Introduction à Databricks Lakehouse

Quand utiliser quoi ?

$$

comparaison : Polyvalente, Dév. interactif, Carnets, SQL ponctuel, Partage d'équipe | Travaux, ETL nocturne, Rapports planifiés, Tests auto, Production

  • Erreur courante : exécuter des pipelines de production sur des grappes polyvalentes
Introduction à Databricks Lakehouse

Databricks Runtime

$$

  • Empilement logiciel versionné exécuté sur chaque grappe
  • Inclut Apache Spark, Delta Lake, Python, R, Scala
  • Versions LTS : soutien à long terme, recommandé pour la production
  • ML Runtime ajoute des bibliothèques ML préinstallées

$$

couches : Runtime 15.4 LTS, Apache Spark 3.5.x, Delta Lake 3.2.x, Python 3.11 / Scala 2.12 / R 4.3, Bibliothèques système

Introduction à Databricks Lakehouse

Résumé

$$

  • Grappes polyvalentes : interactives, partagées, gérées manuellement
  • Grappes de travaux : automatisées, tâche unique, optimisées pour les coûts
  • Databricks Runtime : empilement logiciel versionné (utiliser LTS en production)
  • Adaptez le type de grappe à la charge pour maîtriser les coûts
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...