Implementowanie schematów gwiazdy

Przekształcanie i analizowanie danych w Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Architektura medalionowa

Diagram architektury medalionowej: dane ze źródeł trafiają do warstwy Bronze, są oczyszczane w warstwie Silver, a następnie przekształcane do schematu gwiazdy w warstwie Gold, gotowej do analityki

Wzorzec projektowy organizacji danych
Trzy odrębne warstwy reprezentujące kolejne etapy przetwarzania danych

Architektura medalionowa

Diagram architektury medalionowej z wyróżnioną warstwą Bronze

Warstwa Bronze: Dane pobrane ze źródła w oryginalnym formacie surowym.

Architektura medalionowa

Diagram architektury medalionowej z wyróżnioną warstwą Silver

Warstwa Silver: Dane oczyszczone i ustandaryzowane.

Architektura medalionowa

Diagram architektury medalionowej z wyróżnioną warstwą Gold

Warstwa Gold: Dane w formacie gotowym do analityki, zazwyczaj schemat gwiazdy.

Architektura medalionowa w Fabric

Diagram architektury medalionowej w Fabric: potoki danych pobierają dane do lakehouse w warstwie Bronze, notebooki Spark i dataflow przekształcają je w warstwie Silver, a w warstwie Gold trafiają do schematu gwiazdy w magazynie danych.

Warstwa Bronze: Lakehouse
Warstwa Silver: Lakehouse
Warstwa Gold: Lakehouse lub Warehouse

Implementowanie schematu gwiazdy

Do definiowania tabel należy używać instrukcji T-SQL CREATE TABLE.
Fabric obsługuje najpopularniejsze typy danych T-SQL.

Struktura tabeli wymiarów

Opisują encje biznesowe (np. produkty).
Zazwyczaj zawierają następujące kolumny:

Przykładowa tabela wymiarów Dim Product z kolumnami Product ID, Product Key, Product Name i Product Brand

Struktura tabeli wymiarów

Opisują encje biznesowe (np. produkty).
Zazwyczaj zawierają następujące kolumny:
- Klucz zastępczy. Jednokolumnowy unikalny identyfikator elementów wymiaru.

Przykładowa tabela wymiarów Dim Product z kolumnami Product ID, Product Key, Product Name i Product Brand. Kolumna Product ID jest wyróżniona jako klucz zastępczy

Struktura tabeli wymiarów

Opisują encje biznesowe (np. produkty).
Zazwyczaj zawierają następujące kolumny:
- Klucz zastępczy. Jednokolumnowy unikalny identyfikator elementów wymiaru.
- Klucz naturalny (klucz biznesowy). Jednokolumnowy unikalny identyfikator pochodzący z systemów źródłowych.

Przykładowa tabela wymiarów Dim Product z kolumnami Product ID, Product Key, Product Name i Product Brand. Kolumna Product Key jest wyróżniona jako klucz naturalny

Struktura tabeli wymiarów

Opisują encje biznesowe (np. produkty).
Zazwyczaj zawierają następujące kolumny:
- Klucz zastępczy. Jednokolumnowy unikalny identyfikator elementów wymiaru.
- Klucz naturalny (klucz biznesowy). Jednokolumnowy unikalny identyfikator pochodzący z systemów źródłowych.
- Atrybuty wymiaru. Jedna lub więcej kolumn służących do filtrowania danych i dostarczania kontekstu do danych w tabeli faktów.

Przykładowa tabela wymiarów Dim Product z kolumnami Product ID, Product Key, Product Name i Product Brand. Kolumny Product Name i Product Brand są wyróżnione jako atrybuty wymiaru

Tworzenie tabel wymiarów

Skrypt T-SQL z instrukcją CREATE TABLE tworzącą przykładową tabelę wymiarów dim_Product

Przykładowa tabela wymiarów Dim Product z kolumnami Product ID, Product Key, Product Name i Product Brand. Product ID to klucz zastępczy, Product Key to klucz naturalny, a Product Name i Product Brand to atrybuty wymiaru

Struktura tabeli faktów

Opisują zdarzenia biznesowe (np. sprzedaż produktu).
Kolumny:

Przykładowa tabela faktów Fact Sales z kolumnami Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units i Sale Price

Struktura tabeli faktów

Opisują zdarzenia biznesowe (np. sprzedaż produktu).
Kolumny:
- Klucze wymiarów. Odwołania do kluczy zastępczych tabel wymiarów.

Przykładowa tabela faktów Fact Sales z kolumnami Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units i Sale Price. Kolumny Date ID, Store ID, Product ID, Customer ID i Payment ID są wyróżnione jako klucze wymiarów

Struktura tabeli faktów

Opisują zdarzenia biznesowe (np. sprzedaż produktu).
Kolumny:
- Klucze wymiarów. Odwołania do kluczy zastępczych tabel wymiarów.
- Atrybuty. Dostarczają dodatkowych informacji o fakcie, ale nie są wymiarem ani miarą liczbową.

Przykładowa tabela faktów Fact Sales z kolumnami Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units i Sale Price. Kolumny Packaging Notes i Sale Order Number są wyróżnione jako atrybuty

Struktura tabeli faktów

Opisują zdarzenia biznesowe (np. sprzedaż produktu).
Kolumny:
- Klucze wymiarów. Odwołania do kluczy zastępczych tabel wymiarów.
- Atrybuty. Dostarczają dodatkowych informacji o fakcie, ale nie są wymiarem ani miarą liczbową.
- Miary. Kwantyfikują aspekt faktu; są numeryczne i zazwyczaj addytywne, np. liczba jednostek, kwota w dolarach itp.

Przykładowa tabela faktów Fact Sales z kolumnami Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units i Sale Price. Kolumny Sale Units i Sale Price są wyróżnione jako miary

Tworzenie tabel faktów

Skrypt T-SQL z instrukcją CREATE TABLE tworzącą przykładową tabelę faktów fact_Sales

Przykładowa tabela faktów Fact Sales z kolumnami Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units i Sale Price

Czas na ćwiczenia!

Przekształcanie i analizowanie danych w Microsoft Fabric