Slowly Changing Dimensions

Gegevens transformeren en analyseren met Microsoft Fabric

Luis Silva

Solution Architect - Data & AI

Hoe vaak verandert een dimensie?

Tabel met de kenmerken van een dimensie die nooit verandert

Hoe vaak verandert een dimensie?

Tabel met de kenmerken van een dimensie die nooit verandert en een snel veranderende dimensie

Hoe vaak verandert een dimensie?

Tabel met de kenmerken van een dimensie die nooit verandert, een snel veranderende dimensie en een langzaam veranderende dimensie

Slowly Changing Dimensions

SCD-typen op basis van verschillende manieren om wijzigingen te beheren:
- Type 0 (Geen wijziging)
- Type 1 (Overschrijven)
- Type 2 (Alle historie bewaren)
- Type 3 (Beperkte historie bewaren)
- Andere typen (4, 5, 6, 7)

SCD Type 0: Geen wijziging

Geen wijzigingen geaccepteerd
Wijzigingen worden genegeerd
Data weerspiegelt altijd de oorspronkelijke staat
Gebruik als data na de initiële load niet meer hoort te wijzigen

Diagram met een persoonsrecord in een dimensionele tabel. Wanneer een nieuw record voor dezelfde persoon binnenkomt met een andere geboortedatum, wordt de wijziging genegeerd en blijft het oorspronkelijke record staan

SCD Type 1: Overschrijven

Bestaand record wordt overschreven met nieuwe data
Data weerspiegelt altijd de laatste waarden
Gebruik voor aanvullende waarden waarvoor geen historische vastlegging nodig is, zoals een telefoonnummer

Diagram met een persoonsrecord in een dimensionele tabel. Wanneer een nieuw record binnenkomt voor dezelfde persoon met een ander telefoonnummer, wordt het record bijgewerkt met het nieuwe telefoonnummer

SCD Type 2: Alle historie bewaren

Bewaar het bestaande record en maak een nieuw record met de nieuwe data
Alle historie blijft bewaard
Extra kolommen volgen de datum waarop wijzigingen zijn doorgevoerd

Diagram met het record van een verkoper in een dimensionele tabel. Wanneer een nieuw record binnenkomt voor dezelfde verkoper met een andere salesregio, wordt het record bijgewerkt met start- en einddatum die de geldigheid aangeven, en er wordt een nieuw record gemaakt met de nieuwe waarden. Het oude record wordt gemarkeerd als niet-actueel, het nieuwe als actueel

SCD Type 3: Beperkte historie bewaren

Bewaart alleen de historie van één of enkele attributen
Voor elk attribuut komt er een extra kolom met de vorige waarde
Gebruik als beperkte historie (huidig en vorige waarde) nodig is zonder extra rijen

Diagram met het record van een verkoper in een dimensionele tabel. Wanneer een nieuw record binnenkomt voor dezelfde verkoper met een andere functietitel, wordt het record bijgewerkt met de nieuwe en vorige functietitel, plus een datum waarop de wijziging is doorgevoerd

Andere SCD-typen

Andere typen (4, 5, 6, 7) zijn varianten op de kerntypen 1, 2 en 3
Deze varianten zijn minder gangbaar door hun complexiteit
Meest gebruikt: Type 1 en Type 2. Gebruik ze waar mogelijk:
- SCD Type 1 als historie niet nodig is.
- SCD Type 2 als historie nodig is.

Laten we oefenen!

Gegevens transformeren en analyseren met Microsoft Fabric