Gestión y configuración de clústeres

Introducción a Databricks Lakehouse

Gang Wang

Senior Data Scientist

Cómo encontrar tus clústeres

All Clusters: todo el espacio de trabajo
My Clusters: los que creaste
Shared with Me: clústeres con acceso compartido
Filtra por estado: Running, Terminated

recraft: half: Un archivador con carpetas codificadas por colores y etiquetas que muestran categorías organizadas, representando el filtrado y la organización de clústeres

Estados del clúster

diagrama de flujo: Pending, Running, Restarting, Terminating, Terminated

Terminación: qué se conserva y qué se pierde

comparación: Conservado, Configuración, Notebooks, Almacenamiento en la nube | Perdido, Datos en memoria, Bibliotecas instaladas, Archivos temporales

Termination no es eliminación: la config y los notebooks se conservan
Los datos en memoria, cachés y paquetes instalados con pip se borran

Cuándo reiniciar

Has instalado una biblioteca nueva que no carga
El clúster se comporta de forma impredecible o va lento
Necesitas vaciar datos en caché de la memoria
Has actualizado un init script o una variable de entorno

recraft: half: Un icono de botón de encendido con flechas circulares alrededor brillando en azul y verde, que representa reinicio o actualización del sistema

Autoescalado y autoterminación

Autoscaling añade o quita workers según la demanda
Maneja picos sin sobreaprovisionar
Auto-termination apaga tras un periodo de inactividad
Evita que clústeres olvidados consuman presupuesto

Políticas de clúster

Límites definidos por el admin para crear clústeres
Restringe tipos de nodo, máximo de workers y versiones de runtime
Obliga a usar autoterminación y etiquetado
Los usuarios crean clústeres dentro de la política

{
  "max_workers": 8,
  "auto_termination_minutes": 30,
  "allowed_node_types": [
    "Standard_DS3_v2",
    "Standard_DS4_v2"
  ]
}

Resumen

Filtra clústeres para encontrar rápido lo que necesitas
La terminación ahorra costes, pero borra memoria y bibliotecas
Reinicia para aplicar bibliotecas nuevas o diagnosticar problemas
Autoscaling y auto-termination controlan costes automáticamente
Las políticas de clúster permiten imponer estándares

¡Vamos a practicar!

Introducción a Databricks Lakehouse