Architettura della piattaforma

Introduzione a Databricks Lakehouse

Gang Wang

Senior Data Scientist

L'analogia dell'hotel

Control plane - «La reception»

recraft: half: Una moderna reception d'hotel con un concierge che gestisce le prenotazioni su schermi, a rappresentare Databricks che coordina e pianifica

Gestito da Databricks
Gestisce coordinamento e richieste

Data plane - «La tua camera»

recraft: half: Una camera d'hotel privata e sicura con cassaforte e scrivania, a rappresentare l'account cloud del cliente dove risiedono dati e compute

Risiede nel tuo account cloud
Qui vivono dati e compute

Il control plane

Gestito da Databricks
Workspace UI e notebook
Pianificazione e orchestrazione dei job
Gestione e configurazione dei cluster

recraft: half: Una reception moderna con monitor organizzati che mostrano dashboard e planning, a rappresentare un centro di controllo

Il data plane

recraft: half: Una stanza-caveau sicura con rack di server e contenitori chiusi, a rappresentare l'infrastruttura cloud di proprietà del cliente

Risiede nel tuo account cloud
Qui girano i cluster di compute
Dati archiviati nel tuo cloud storage
Tu controlli accessi e rete

Cosa sta dove?

nanobanana: full: Diagramma diviso con due sezioni collegate da frecce: a sinistra Control Plane con Workspace UI e Job Scheduler, a destra Data Plane con Clusters e Cloud Storage, frecce tra i due

Audit log e tabelle di sistema

Gli audit log tracciano tutta l'attività del workspace
Salvati nel tuo account cloud come tabelle di sistema
Interrogali con SQL per la conformità

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

Riepilogo

Control plane - gestito da Databricks (UI, scheduling, gestione)
Data plane - tuo cloud (compute, storage, dati)
Audit log - salvati come tabelle di sistema nel tuo account
I tuoi dati non lasciano mai il tuo ambiente cloud

Esercitiamoci!

Introduzione a Databricks Lakehouse