Plattformsarkitektur

Introduktion till Databricks Lakehouse

Gang Wang

Senior Data Scientist

Hotellanalogin

Kontrollplan – "Receptionen"

recraft: half: A modern hotel front desk with a concierge managing bookings on screens, representing Databricks managing coordination and scheduling

Hanteras av Databricks
Sköter koordinering och förfrågningar

Dataplan – "Ditt hotellrum"

recraft: half: A secure private hotel room with a personal safe and workspace desk, representing the customer cloud account where data lives and compute runs

Finns i ditt molnkonto
Här lagras din data och körs din beräkning

Kontrollplanet

Hanteras av Databricks
Workspace-gränssnitt och notebooks
Jobbschemaläggning och orkestrering
Klusterhantering och konfiguration

recraft: half: A modern reception desk with organized monitors showing dashboards and scheduling boards, representing a control center

Datalanet

recraft: half: A secure vault room with server racks and locked storage containers, representing customer-owned cloud infrastructure

Finns i ditt molnkonto
Beräkningskluster körs här
Data lagras i din molnlagring
Du styr åtkomst och nätverkstrafik

Vad finns var?

nanobanana: full: Split diagram with two sections connected by arrows: left side labeled Control Plane showing Workspace UI and Job Scheduler, right side labeled Data Plane showing Clusters and Cloud Storage, arrows flowing between them

Granskningsloggar och systemtabeller

Granskningsloggar spårar all workspace-aktivitet
Lagras i ditt molnkonto som systemtabeller
Fråga med SQL för efterlevnadsrapportering

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

Sammanfattning

Kontrollplan – hanteras av Databricks (gränssnitt, schemaläggning, hantering)
Dataplan – ditt moln (beräkning, lagring, data)
Granskningsloggar – lagras som systemtabeller i ditt konto
Din data lämnar aldrig din molnmiljö

Nu kör vi en övning!

Introduktion till Databricks Lakehouse