Star-schema’s implementeren

Gegevens transformeren en analyseren met Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Medallionarchitectuur

Diagram van de medallionarchitectuur: data uit bronnen naar de bronze-laag, getransformeerd naar opgeschoonde data in de silver-laag en verder naar een star-schema in de gold-laag, geschikt voor analytics

Ontwerppatroon voor data-organisatie
Drie lagen met stapsgewijze verfijning van data

Medallionarchitectuur

Diagram van de medallionarchitectuur, met de Bronze-laag gemarkeerd

Bronze-laag: Data uit de bron in ruwe, originele vorm.

Medallionarchitectuur

Diagram van de medallionarchitectuur, met de Silver-laag gemarkeerd

Silver-laag: Opgeschoonde en gestandaardiseerde data.

Medallionarchitectuur

Diagram van de medallionarchitectuur, met de Gold-laag gemarkeerd

Gold-laag: Data geschikt voor analytics, meestal star-schema.

Medallionarchitectuur in Fabric

Diagram van de medallionarchitectuur in Fabric, met pijplijnen die data uit bronnen naar een lakehouse in de bronze-laag laden, spark-notebooks en dataflows die data transformeren naar een lakehouse in de silver-laag, en verder getransformeerd naar een star-schema in een warehouse in de gold-laag.

Bronze-laag: Lakehouse
Silver-laag: Lakehouse
Gold-laag: Lakehouse of Warehouse

Een star-schema implementeren

Gebruik de T-SQL-instructie CREATE TABLE om tabellen te definiëren.
Fabric ondersteunt de meest gebruikte T-SQL-datatypen.

Structuur van een dimensietabel

Beschrijven bedrijfsentiteiten (bijv. producten).
Bevatten meestal deze kolommen:

Voorbeeld-dimensietabel Dim Product met kolommen Product ID, Product Key, Product Name en Product Brand

Structuur van een dimensietabel

Beschrijven bedrijfsentiteiten (bijv. producten).
Bevatten meestal deze kolommen:
- Surrogaatsleutel. Unieke identificator in één kolom voor dimensie-items.

Voorbeeld-dimensietabel Dim Product met kolommen Product ID, Product Key, Product Name en Product Brand. Product ID is gemarkeerd als de surrogaatsleutel

Structuur van een dimensietabel

Beschrijven bedrijfsentiteiten (bijv. producten).
Bevatten meestal deze kolommen:
- Surrogaatsleutel. Unieke identificator in één kolom voor dimensie-items.
- Natuurlijke sleutel (business key). Unieke éénkoloms-ID uit bronsystemen.

Voorbeeld-dimensietabel Dim Product met kolommen Product ID, Product Key, Product Name en Product Brand. Product Key is gemarkeerd als de natuurlijke sleutel

Structuur van een dimensietabel

Beschrijven bedrijfsentiteiten (bijv. producten).
Bevatten meestal deze kolommen:
- Surrogaatsleutel. Unieke identificator in één kolom voor dimensie-items.
- Natuurlijke sleutel (business key). Unieke éénkoloms-ID uit bronsystemen.
- Dimensie-attributen. Kolommen om te filteren en context te geven aan data in de facttabel.

Voorbeeld-dimensietabel Dim Product met kolommen Product ID, Product Key, Product Name en Product Brand. Product Name en Product Brand zijn gemarkeerd als de dimensie-attributen

Dimensietabellen bouwen

T-SQL-script met CREATE TABLE om de voorbeeld-dimensietabel dim_Product te maken

Voorbeeld-dimensietabel Dim Product met kolommen Product ID, Product Key, Product Name en Product Brand. Product ID is de surrogaatsleutel, Product Key de natuurlijke sleutel, en Product Name en Product Brand zijn de dimensie-attributen

Structuur van een facttabel

Beschrijven bedrijfsevenementen (bijv. verkoop van een product).
Kolommen:

Voorbeeld-facttabel Fact Sales met kolommen Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units en Sale Price

Structuur van een facttabel

Beschrijven bedrijfsevenementen (bijv. verkoop van een product).
Kolommen:
- Dimensiesleutels. Verwijzingen naar surrogaatsleutels van dimensietabellen.

Voorbeeld-facttabel Fact Sales met kolommen Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units en Sale Price. Date ID, Store ID, Product ID, Customer ID en Payment ID zijn gemarkeerd als de dimensiesleutels

Structuur van een facttabel

Beschrijven bedrijfsevenementen (bijv. verkoop van een product).
Kolommen:
- Dimensiesleutels. Verwijzingen naar surrogaatsleutels van dimensietabellen.
- Attributen. Extra info over het feit; geen dimensie en geen numerieke maat.

Voorbeeld-facttabel Fact Sales met kolommen Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units en Sale Price. Packaging Notes en Sale Order Number zijn gemarkeerd als de attributen

Structuur van een facttabel

Beschrijven bedrijfsevenementen (bijv. verkoop van een product).
Kolommen:
- Dimensiesleutels. Verwijzingen naar surrogaatsleutels van dimensietabellen.
- Attributen. Extra info over het feit; geen dimensie en geen numerieke maat.
- Maten. Kwantificeren het feit; numeriek en vaak optelbaar, bijv. aantal eenheden, bedrag, etc.

Voorbeeld-facttabel Fact Sales met kolommen Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units en Sale Price. Sale Units en Sale Price zijn gemarkeerd als de maten

Facttabellen bouwen

T-SQL-script met CREATE TABLE om de voorbeeld-facttabel fact_Sales te maken

Voorbeeld-facttabel Fact Sales met kolommen Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units en Sale Price

Laten we oefenen!

Gegevens transformeren en analyseren met Microsoft Fabric