Architektura platformy

Wprowadzenie do Databricks Lakehouse

Gang Wang

Senior Data Scientist

Analogia hotelowa

$$

Płaszczyzna sterowania – „recepcja hotelu"

recraft: half: A modern hotel front desk with a concierge managing bookings on screens, representing Databricks managing coordination and scheduling

  • Zarządzana przez Databricks
  • Obsługuje koordynację i żądania

$$

Płaszczyzna danych – „twój pokój hotelowy"

recraft: half: A secure private hotel room with a personal safe and workspace desk, representing the customer cloud account where data lives and compute runs

  • Działa w twoim koncie chmurowym
  • Tu przechowujesz dane i uruchamiasz obliczenia
Wprowadzenie do Databricks Lakehouse

Płaszczyzna sterowania

$$

  • Zarządzana przez Databricks
  • Interfejs obszaru roboczego i notebooki
  • Harmonogramowanie i orkiestracja zadań
  • Zarządzanie klastrami i ich konfiguracja

$$

recraft: half: A modern reception desk with organized monitors showing dashboards and scheduling boards, representing a control center

Wprowadzenie do Databricks Lakehouse

Płaszczyzna danych

$$

recraft: half: A secure vault room with server racks and locked storage containers, representing customer-owned cloud infrastructure

$$

  • Działa w twoim koncie chmurowym
  • Tu uruchamiane są klastry obliczeniowe
  • Dane przechowywane w twoim magazynie chmurowym
  • Ty kontrolujesz dostęp i sieć
Wprowadzenie do Databricks Lakehouse

Co gdzie się znajduje?

nanobanana: full: Split diagram with two sections connected by arrows: left side labeled Control Plane showing Workspace UI and Job Scheduler, right side labeled Data Plane showing Clusters and Cloud Storage, arrows flowing between them

Wprowadzenie do Databricks Lakehouse

Dzienniki audytu i tabele systemowe

$$

  • Dzienniki audytu rejestrują całą aktywność w obszarze roboczym
  • Przechowywane w twoim koncie chmurowym jako tabele systemowe
  • Zapytania SQL do raportowania zgodności z przepisami

$$

SELECT user_name, action_name,
       event_time
FROM system.access.audit
WHERE action_name = 'clusterCreate'
ORDER BY event_time DESC
LIMIT 5;
Wprowadzenie do Databricks Lakehouse

Podsumowanie

$$

  • Płaszczyzna sterowania – zarządzana przez Databricks (interfejs, harmonogramowanie, zarządzanie)
  • Płaszczyzna danych – twoja chmura (obliczenia, magazyn, dane)
  • Dzienniki audytu – przechowywane jako tabele systemowe na twoim koncie
  • Twoje dane nigdy nie opuszczają twojego środowiska chmurowego
Wprowadzenie do Databricks Lakehouse

Czas na praktykę!

Wprowadzenie do Databricks Lakehouse

Preparing Video For Download...