Vše dohromady

Introduction to Databricks Lakehouse

Gang Wang

Senior Data Scientist

Scénář

Jsi datový inženýr/datová inženýrka, který/která nastupuje na nový projekt v retailové firmě
Cíl: nastavit výpočetní prostředí, ověřit datový pipeline, zkontrolovat governance a připravit nasazení

recraft: half: Datový inženýr u moderního stolu s laptopem zobrazujícím rozhraní ve stylu Databricks, za ním na tabuli diagramy pipeline – ilustrace nástupu na nový datový projekt

Krok 1: Výběr správného výpočetního prostředí

Pipeline běží každou noc podle plánu
Interaktivní vývoj není potřeba
Správnou volbou je jobs cluster s LTS runtime
Nastav autoscaling (2–6 workers) pro proměnlivý objem dat

	All-Purpose	Jobs Cluster
Režim	Interaktivní	Automatizovaný
Správa	Ruční	Automatické ukončení
Náklady	Vyšší (idle čas)	Optimalizované

Krok 2: Ověření medallion pipeline

SELECT COUNT(*) FROM bronze_sales;
-- 1,247,832 rows

SELECT COUNT(*) FROM silver_sales;
-- 1,189,456 rows (nulls removed)

SELECT COUNT(*) FROM gold_daily_revenue;
-- 365 rows (daily aggregates)

Bronze: surová data, nejvyšší počet řádků
Silver: vyčištěná, odstraněny null hodnoty a duplicity
Gold: agregovaná pro business reporting
Počet řádků klesá s rostoucí kvalitou dat

Krok 3: Kontrola governance

Přejdi do Unity Catalog a prohlédni si tabulku gold_daily_revenue
Prověř lineage zpětně a ověř, že čte z silver_sales
Zkontroluj řízení přístupu – SELECT na gold má pouze analytický tým
Ověř, že Delta Sharing je nakonfigurováno pro externího partnera

recraft: half: Lupa vznášející se nad grafem datového lineage s propojenými uzly tabulek a zaškrtnutými symboly – ilustrace ověření governance

Krok 4: Příprava na nasazení

Projdi Asset Bundle databricks.yml
Ověř, že je definován resource pro noční job
Zkontroluj, že production target odkazuje na správnou cestu v workspace
Před nasazením spusť bundle validate

targets:
  production:
    workspace:
      root_path: /Shared/production
resources:
  jobs:
    nightly_sales_etl:
      schedule:
        quartz_cron: "0 0 3 * * ?"

Shrnutí

Výpočetní prostředí: přizpůsob typ clusteru zátěži (jobs cluster pro automatizaci)
Data: ověř, že medallion vrstvy správně proudí
Governance: prověř lineage, zkontroluj přístupy, potvrď sdílení
Nasazení: projdi Asset Bundle, validuj, nasaď

Pojďme cvičit!

Introduction to Databricks Lakehouse