Dataintegrering

Databasdesign

Lis Sulmont

Curriculum Manager

Vad är dataintegrering

 

 

 

Dataintegrering kombinerar data från olika källor, format och tekniker för att ge användare en enhetlig vy över datan.

Databasdesign

Exempel på affärsfall

  • 360-graders kundvy
  • Förvärv
  • Äldre system
Databasdesign

Enhetlig datamodell

Databasikon som representerar en enhetlig datamodell

Databasdesign

Datakällor

Tre datakällor utan koppling till den enhetliga datamodellen

Databasdesign

Datakällornas format

Tre datakällor utan koppling till den enhetliga datamodellen, med olika format

Databasdesign

Enhetlig datamodells format

Tre datakällor med olika format utan koppling till den enhetliga datamodellen, ett Redshift-datalager

Databasdesign

Exempel: DataCamp

Tre datakällor med olika format från olika avdelningar, utan koppling till den enhetliga datamodellen som är ett Redshift-datalager

Databasdesign

Uppdateringsfrekvens – försäljning

De tre datakällorna uppdateras dagligen

Databasdesign

Uppdateringsfrekvens – lufttrafik

De tre datakällorna uppdateras i realtid

Databasdesign

Olika uppdateringsfrekvenser

De tre datakällorna uppdateras vid olika tidpunkter

Databasdesign

Så enkelt?

De tre datakällorna kopplas till den enhetliga datamodellen

Databasdesign

Inte riktigt

De tre datakällorna som uppdateras dagligen med ett stort X över bilden

Databasdesign

Transformationer

De tre datakällorna transformeras för att passa den enhetliga datamodellen

Databasdesign

Transformation – verktyg

Bearbetning av de tre datakällorna via ETL till den enhetliga datamodellen

Databasdesign

Välja ett dataintegreringsverktyg

  • Flexibelt
  • Tillförlitligt
  • Skalbart
Databasdesign

Automatiserad testning och proaktiva varningar

ETL-diagram med testikoner i varje fas

Databasdesign

Säkerhet

ETL-diagram som visar delar av data som ska begränsas från källa till destination

Databasdesign

Säkerhet – anonymisering av kreditkortsdata

ETL-diagram med anonymisering av kreditkortsdata

Databasdesign

Datastyrning – datahärkomst

ETL-diagram med en linje som visar dataflödet från källa till destination

Databasdesign

Nu kör vi en övning!

Databasdesign

Preparing Video For Download...