Architecture de la plateforme

Introduction à Databricks Lakehouse

Gang Wang

Senior Data Scientist

L'analogie de l'hôtel

$$

Plan de contrôle - « The Front Desk »

recraft: half: Une réception d'hôtel moderne avec un concierge gérant des réservations sur des écrans, représentant Databricks assurant la coordination et la planification

  • Géré par Databricks
  • Gère la coordination et les demandes

$$

Plan de données - « Your Hotel Room »

recraft: half: Une chambre d'hôtel privée sécurisée avec un coffre-fort et un bureau, représentant le compte cloud client où résident les données et s'exécute le calcul

  • Situé dans votre compte cloud
  • Là où résident vos données et vos calculs
Introduction à Databricks Lakehouse

Le plan de contrôle

$$

  • Géré par Databricks
  • Interface de l'espace de travail et notebooks
  • Planification et orchestration des jobs
  • Gestion et configuration des clusters

$$

recraft: half: Une réception moderne avec des écrans organisés affichant des tableaux de bord et des plannings, représentant un centre de contrôle

Introduction à Databricks Lakehouse

Le plan de données

$$

recraft: half: Une salle forte sécurisée avec des baies de serveurs et des conteneurs verrouillés, représentant l'infrastructure cloud détenue par le client

$$

  • Situé dans votre compte cloud
  • Les clusters de calcul s'exécutent ici
  • Données stockées dans votre stockage cloud
  • Vous contrôlez l'accès et le réseau
Introduction à Databricks Lakehouse

Qu'est-ce qui vit où ?

nanobanana: full: Schéma scindé en deux sections reliées par des flèches : côté gauche « Plan de contrôle » avec l'interface de l'espace de travail et l'ordonnanceur de jobs, côté droit « Plan de données » avec les clusters et le stockage cloud, flèches entre les deux

Introduction à Databricks Lakehouse

Journaux d'audit et tables système

$$

  • Les journaux d'audit tracent toute l'activité de l'espace de travail
  • Stockés dans votre compte cloud comme tables système
  • Interroger en SQL pour les rapports de conformité

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Introduction à Databricks Lakehouse

Récapitulatif

$$

  • Plan de contrôle : géré par Databricks (UI, planification, gestion)
  • Plan de données : votre cloud (calcul, stockage, données)
  • Journaux d'audit : stockés comme tables système dans votre compte
  • Vos données ne quittent jamais votre environnement cloud
Introduction à Databricks Lakehouse

Passons à la pratique !

Introduction à Databricks Lakehouse

Preparing Video For Download...