Platformarchitectuur

Introductie tot Databricks Lakehouse

Gang Wang

Senior Data Scientist

De hotelmetafoor

Control plane - "De receptie"

recraft: half: Een moderne hotelreceptie met een conciërge die boekingen beheert op schermen, als metafoor voor Databricks dat coördinatie en planning beheert

Beheerd door Databricks
Verwerkt coördinatie en verzoeken

Data plane - "Je hotelkamer"

recraft: half: Een veilige, private hotelkamer met een kluis en werkplek, als metafoor voor het cloudaccount van de klant waar data staat en compute draait

Staat in je cloudaccount
Hier leven je data en compute

De control plane

Beheerd door Databricks
Workspace-UI en notebooks
Taakplanning en orkestratie
Clustermanagement en configuratie

recraft: half: Een moderne receptie met geordende monitors met dashboards en planningsborden, als metafoor voor een controlecentrum

De data plane

recraft: half: Een beveiligde kluisruimte met serverracks en afgesloten opslag, als metafoor voor cloudinfrastructuur van de klant

Staat in je cloudaccount
Compute-clusters draaien hier
Data opgeslagen in je cloudopslag
Jij regelt toegang en networking

Wat staat waar?

nanobanana: full: Gesplitst diagram met twee secties verbonden door pijlen: linkerkant met label Control Plane met Workspace-UI en Job Scheduler, rechterkant met label Data Plane met Clusters en Cloud Storage, pijlen die ertussen lopen

Auditlogs en systeemtabels

Auditlogs volgen alle workspace-activiteiten
Opgeslagen in je cloudaccount als systeemtabels
Query met SQL voor compliance-rapportage

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;

Samenvatting

Control plane - beheerd door Databricks (UI, planning, beheer)
Data plane - jouw cloud (compute, opslag, data)
Auditlogs - opgeslagen als systeemtabels in je account
Je data verlaat je cloudomgeving nooit

Laten we oefenen!

Introductie tot Databricks Lakehouse