Slowly Changing Dimensions

Gegevens transformeren en analyseren met Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Hoe vaak verandert een dimensie?

Tabel met de kenmerken van een dimensie die nooit verandert

Hoe vaak verandert een dimensie?

Tabel met de kenmerken van een dimensie die nooit verandert en een snel veranderende dimensie

Hoe vaak verandert een dimensie?

Tabel met de kenmerken van een dimensie die nooit verandert, een snel veranderende dimensie en een langzaam veranderende dimensie

Slowly Changing Dimensions

SCD-types op basis van manieren om wijzigingen te beheren:
- Type 0 (Geen wijziging)
- Type 1 (Overschrijven)
- Type 2 (Alle historie bewaren)
- Type 3 (Beperkte historie)
- Andere types (4, 5, 6, 7)

SCD Type 0: No change

No change accepted
Data changes are discarded
Data always reflects the original state
Used when data is not meant to change after the original load

Diagram showing a person's record in a dimension table. When a new record arrives for the same person with a different data of = 70 birth, the change is ignored and the original record is kept

SCD Type 1: Overschrijven

Bestaand record wordt overschreven met nieuwe data
Data toont altijd de laatste waarden
Voor aanvullende waarden zonder historische behoefte, bv. een telefoonnummer

Diagram met het record van een persoon in een dimensietabel. Als er een nieuw record voor dezelfde persoon komt met een ander telefoonnummer, wordt het record bijgewerkt met het nieuwe nummer

SCD Type 2: Alle historie bewaren

Behoud het bestaande record en maak een nieuw record met de nieuwe data
Alle historie blijft behouden
Extra kolommen volgen de datum waarop wijzigingen zijn toegepast

Diagram met het record van een verkoper in een dimensietabel. Als er een nieuw record komt voor dezelfde verkoper met een andere regio, wordt het record bijgewerkt met de start- en einddatum van geldigheid, en er wordt een nieuw record gemaakt met de nieuwe waarden. Het originele record wordt gemarkeerd als niet-actueel en het nieuwe als actueel

SCD Type 3: Beperkte historie

Bewaart alleen de historie van één of enkele attributen
Per attribuut komt er een extra kolom voor de vorige waarde
Gebruik als beperkte historie (huidig + vorige) nodig is zonder extra rijen

Diagram met het record van een verkoper in een dimensietabel. Bij een nieuw record voor dezelfde verkoper met een andere functietitel wordt het record bijgewerkt met de nieuwe en vorige titel, plus een datum van wijziging

Andere SCD-types

Andere types (4, 5, 6, 7) zijn varianten op type 1, 2 en 3
Minder gangbaar door complexiteit
Meest gebruikt: Type 1 en Type 2. Kies bij voorkeur:
- SCD Type 1 als historie niet nodig is.
- SCD Type 2 als historie nodig is.

Laten we oefenen!

Gegevens transformeren en analyseren met Microsoft Fabric