Інтеграція даних

Проєктування баз даних

Lis Sulmont

Curriculum Manager

Що таке інтеграція даних

 

 

 

Інтеграція даних поєднує дані з різних джерел, форматів і технологій, щоб надати користувачам узгоджене та єдине подання цих даних.

Проєктування баз даних

Приклади бізнес-кейсів

  • 360-градусний огляд клієнта
  • Придбання
  • Застарілі системи
Проєктування баз даних

Уніфікована модель даних

Піктограма бази даних, що позначає уніфіковану модель даних

Проєктування баз даних

Джерела даних

Три джерела даних без з'єднання з уніфікованою моделлю даних

Проєктування баз даних

Формати джерел даних

Три джерела даних без з'єднань з уніфікованою моделлю даних і з різними форматами

Проєктування баз даних

Формат уніфікованої моделі даних

Три джерела даних з різними форматами, не під'єднані до уніфікованої моделі даних, якою є сховище даних Redshift

Проєктування баз даних

Приклад: DataCamp

Три джерела даних із різними форматами та з різних відділів, не під'єднані до уніфікованої моделі даних, якою є сховище даних Redshift

Проєктування баз даних

Частота оновлень — продажі

Три джерела даних оновлюються щодня

Проєктування баз даних

Частота оновлень — авіатрафік

Три джерела даних оновлюються в реальному часі

Проєктування баз даних

Різна частота оновлень

Три джерела даних оновлюються в різний час

Проєктування баз даних

Так просто?

Три джерела даних під'єднуються до уніфікованої моделі даних

Проєктування баз даних

Не зовсім

Три джерела даних оновлюються щодня з великим хрестом зверху

Проєктування баз даних

Трансформації

Три джерела даних трансформуються під уніфіковану модель даних

Проєктування баз даних

Трансформації — інструменти

Обробка трьох джерел даних через ETL до уніфікованої моделі даних

Проєктування баз даних

Вибір інструмента для інтеграції даних

  • Гнучкий
  • Надійний
  • Масштабований
Проєктування баз даних

Автотестування та проактивні сповіщення

Діаграма ETL з піктограмами тестування на кожній фазі

Проєктування баз даних

Безпека

Діаграма ETL, що показує частини даних, які слід обмежити від джерела до призначення

Проєктування баз даних

Безпека — анонімізація карток

Діаграма ETL з анонімізацією даних банківських карток

Проєктування баз даних

Управління даними — походження

Діаграма ETL з лінією, що відображає потік даних від джерела до призначення

Проєктування баз даних

Давайте потренуємось!

Проєктування баз даних

Preparing Video For Download...