Implementace hvězdicových schémat

Transform and Analyze Data with Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Architektura medailonu

Diagram architektury medailonu: data jsou přijímána ze zdrojů do vrstvy Bronze, transformována na vyčištěná data ve vrstvě Silver a dále transformována do hvězdicového schématu ve vrstvě Gold vhodného pro analytiku

Návrhový vzor pro organizaci dat
Tři odlišné vrstvy představující postupné zpřesňování dat

Architektura medailonu

Diagram architektury medailonu se zvýrazněnou vrstvou Bronze

Vrstva Bronze: Data přijatá ze zdroje v původním surovém formátu.

Architektura medailonu

Diagram architektury medailonu se zvýrazněnou vrstvou Silver

Vrstva Silver: Vyčištěná a standardizovaná data.

Architektura medailonu

Diagram architektury medailonu se zvýrazněnou vrstvou Gold

Vrstva Gold: Data ve formátu vhodném pro analytiku, obvykle hvězdicové schéma.

Architektura medailonu ve Fabric

Diagram architektury medailonu ve Fabric: datové pipeline pro příjem dat ze zdrojů do laketouse ve vrstvě Bronze, Spark notebooky a datové toky pro transformaci dat do laketouse ve vrstvě Silver a další transformace do hvězdicového schématu ve skladu ve vrstvě Gold.

Vrstva Bronze: Lakehouse
Vrstva Silver: Lakehouse
Vrstva Gold: Lakehouse nebo Warehouse

Implementace hvězdicového schématu

Tabulky se definují příkazem T-SQL CREATE TABLE.
Fabric podporuje nejběžněji používané datové typy T-SQL.

Struktura dimenzionální tabulky

Popisují obchodní entity (např. produkty).
Obvykle obsahují tyto sloupce:

Ukázková dimenzionální tabulka Dim Product se sloupci Product ID, Product Key, Product Name a Product Brand

Struktura dimenzionální tabulky

Popisují obchodní entity (např. produkty).
Obvykle obsahují tyto sloupce:
- Náhradní klíč. Jednosloupečný jedinečný identifikátor položek dimenze.

Ukázková dimenzionální tabulka Dim Product se sloupci Product ID, Product Key, Product Name a Product Brand. Product ID je zvýrazněn jako náhradní klíč

Struktura dimenzionální tabulky

Popisují obchodní entity (např. produkty).
Obvykle obsahují tyto sloupce:
- Náhradní klíč. Jednosloupečný jedinečný identifikátor položek dimenze.
- Přirozený klíč (obchodní klíč). Jednosloupečný jedinečný identifikátor pocházející ze zdrojových systémů.

Ukázková dimenzionální tabulka Dim Product se sloupci Product ID, Product Key, Product Name a Product Brand. Product Key je zvýrazněn jako přirozený klíč

Struktura dimenzionální tabulky

Popisují obchodní entity (např. produkty).
Obvykle obsahují tyto sloupce:
- Náhradní klíč. Jednosloupečný jedinečný identifikátor položek dimenze.
- Přirozený klíč (obchodní klíč). Jednosloupečný jedinečný identifikátor pocházející ze zdrojových systémů.
- Atributy dimenze. Jeden nebo více sloupců pro filtrování dat a poskytování kontextu k datům uloženým v tabulce faktů.

Ukázková dimenzionální tabulka Dim Product se sloupci Product ID, Product Key, Product Name a Product Brand. Product Name a Product Brand jsou zvýrazněny jako atributy dimenze

Vytváření dimenzionálních tabulek

T-SQL skript používající příkaz CREATE TABLE k vytvoření ukázkové dimenzionální tabulky dim_Product

Ukázková dimenzionální tabulka Dim Product se sloupci Product ID, Product Key, Product Name a Product Brand. Product ID je náhradní klíč, Product Key je přirozený klíč a Product Name a Product Brand jsou atributy dimenze

Struktura tabulky faktů

Popisují obchodní události (např. prodej produktu).
Sloupce:

Ukázková tabulka faktů Fact Sales se sloupci Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units a Sale Price

Struktura tabulky faktů

Popisují obchodní události (např. prodej produktu).
Sloupce:
- Klíče dimenzí. Odkazy na náhradní klíče dimenzionálních tabulek.

Ukázková tabulka faktů Fact Sales se sloupci Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units a Sale Price. Date ID, Store ID, Product ID, Customer ID a Payment ID jsou zvýrazněny jako klíče dimenzí

Struktura tabulky faktů

Popisují obchodní události (např. prodej produktu).
Sloupce:
- Klíče dimenzí. Odkazy na náhradní klíče dimenzionálních tabulek.
- Atributy. Poskytují doplňující informace o faktu, ale nejsou ani dimenzí, ani číselnou mírou.

Ukázková tabulka faktů Fact Sales se sloupci Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units a Sale Price. Packaging Notes a Sale Order Number jsou zvýrazněny jako atributy

Struktura tabulky faktů

Popisují obchodní události (např. prodej produktu).
Sloupce:
- Klíče dimenzí. Odkazy na náhradní klíče dimenzionálních tabulek.
- Atributy. Poskytují doplňující informace o faktu, ale nejsou ani dimenzí, ani číselnou mírou.
- Míry. Kvantifikují aspekt faktu; jsou numerické a obvykle aditivní, např. počet jednotek, peněžní částka apod.

Ukázková tabulka faktů Fact Sales se sloupci Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units a Sale Price. Sale Units a Sale Price jsou zvýrazněny jako míry

Vytváření tabulek faktů

T-SQL skript používající příkaz CREATE TABLE k vytvoření ukázkové tabulky faktů fact_Sales

Ukázková tabulka faktů Fact Sales se sloupci Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units a Sale Price

Pojďme si procvičit!

Transform and Analyze Data with Microsoft Fabric