Integrarea datelor

Proiectarea bazelor de date

Lis Sulmont

Curriculum Manager

Ce este integrarea datelor

 

 

 

Integrarea datelor combină date din surse, formate și tehnologii diferite pentru a oferi utilizatorilor o vizualizare tradusă și unificată a acestora.

Proiectarea bazelor de date

Exemple de cazuri de utilizare

  • Vizualizare 360° a clientului
  • Achiziții
  • Sisteme legacy
Proiectarea bazelor de date

Modelul unificat de date

Pictogramă de bază de date reprezentând un model unificat de date

Proiectarea bazelor de date

Surse de date

Trei surse de date fără conexiune la modelul unificat de date

Proiectarea bazelor de date

Formatul surselor de date

Trei surse de date fără conexiuni la modelul unificat de date și cu formate diferite

Proiectarea bazelor de date

Formatul modelului unificat de date

Trei surse de date cu formate diferite, neconectate la modelul unificat de date, un depozit de date Redshift

Proiectarea bazelor de date

Exemplu: DataCamp

Trei surse de date cu formate diferite și din departamente diferite, neconectate la modelul unificat de date, un depozit de date Redshift

Proiectarea bazelor de date

Frecvența actualizărilor - vânzări

Cele trei surse de date actualizate zilnic

Proiectarea bazelor de date

Frecvența actualizărilor - trafic aerian

Cele trei surse de date actualizate în timp real

Proiectarea bazelor de date

Frecvențe de actualizare diferite

Cele trei surse de date actualizate la momente diferite

Proiectarea bazelor de date

Atât de simplu?

Cele trei surse de date conectate la modelul unificat de date

Proiectarea bazelor de date

Nu chiar

Cele trei surse de date actualizate zilnic, cu un X mare peste ele

Proiectarea bazelor de date

Transformări

Cele trei surse de date transformate pentru a corespunde modelului unificat de date

Proiectarea bazelor de date

Transformări - instrumente

Procesarea celor trei surse de date prin ETL către modelul unificat de date

Proiectarea bazelor de date

Alegerea unui instrument de integrare a datelor

  • Flexibil
  • Fiabil
  • Scalabil
Proiectarea bazelor de date

Testare automată și alerte proactive

Diagramă ETL cu pictograme de testare la fiecare fază

Proiectarea bazelor de date

Securitate

Diagramă ETL care arată porțiunile de date ce trebuie restricționate de la sursă la destinație

Proiectarea bazelor de date

Securitate - anonimizarea datelor cardului de credit

Diagramă ETL cu anonimizarea datelor cardului de credit

Proiectarea bazelor de date

Guvernanța datelor - trasabilitate

Diagramă ETL cu o linie reprezentând fluxul de date de la sursă la destinație

Proiectarea bazelor de date

Să exersăm!

Proiectarea bazelor de date

Preparing Video For Download...