Arhitectura platformei

Introducere în Databricks Lakehouse

Gang Wang

Senior Data Scientist

Analogia cu hotelul

$$

Planul de control - "Recepția"

recraft: half: Un recepționer modern gestionând rezervări pe ecrane, reprezentând coordonarea și planificarea în Databricks

  • Gestionat de Databricks
  • Coordonează și procesează cererile

$$

Planul de date - "Camera ta"

recraft: half: O cameră de hotel privată și securizată cu un seif personal și un birou de lucru, reprezentând contul cloud al clientului unde sunt stocate datele și rulează calculele

  • Se află în contul tău cloud
  • Aici trăiesc datele și resursele de calcul
Introducere în Databricks Lakehouse

Planul de control

$$

  • Gestionat de Databricks
  • Interfața workspace și notebook-urile
  • Planificarea și orchestrarea job-urilor
  • Gestionarea și configurarea clusterelor

$$

recraft: half: Un birou de recepție modern cu monitoare organizate afișând tablouri de bord și planificări, reprezentând un centru de control

Introducere în Databricks Lakehouse

Planul de date

$$

recraft: half: O cameră tip seif cu rack-uri de servere și containere de stocare securizate, reprezentând infrastructura cloud deținută de client

$$

  • Se află în contul tău cloud
  • Clusterele de calcul rulează aici
  • Datele sunt stocate în spațiul tău cloud
  • Tu controlezi accesul și rețeaua
Introducere în Databricks Lakehouse

Ce se află unde?

nanobanana: full: Diagramă împărțită în două secțiuni conectate prin săgeți: stânga — Planul de control cu Workspace UI și Job Scheduler, dreapta — Planul de date cu Clustere și Stocare cloud, săgeți între ele

Introducere în Databricks Lakehouse

Jurnale de audit și tabele de sistem

$$

  • Jurnalele de audit înregistrează toată activitatea din workspace
  • Stocate în contul tău cloud ca tabele de sistem
  • Interogabile cu SQL pentru raportări de conformitate

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Introducere în Databricks Lakehouse

Rezumat

$$

  • Planul de control - gestionat de Databricks (UI, planificare, administrare)
  • Planul de date - cloud-ul tău (calcul, stocare, date)
  • Jurnalele de audit - stocate ca tabele de sistem în contul tău
  • Datele tale nu părăsesc niciodată mediul tău cloud
Introducere în Databricks Lakehouse

Hai să exersăm!

Introducere în Databricks Lakehouse

Preparing Video For Download...