Интеграция данных

Проектирование баз данных

Lis Sulmont

Curriculum Manager

Что такое интеграция данных

 

 

 

Интеграция данных объединяет данные из разных источников, форматов и технологий, предоставляя пользователям единое согласованное представление этих данных.

Проектирование баз данных

Примеры бизнес-задач

  • Полный профиль клиента
  • Слияния и поглощения
  • Устаревшие системы
Проектирование баз данных

Единая модель данных

Значок базы данных, представляющий единую модель данных

Проектирование баз данных

Источники данных

Три источника данных без связи с единой моделью данных

Проектирование баз данных

Форматы источников данных

Три источника данных без связи с единой моделью данных и с разными форматами

Проектирование баз данных

Формат единой модели данных

Три источника данных с разными форматами, не подключённые к единой модели данных на основе хранилища Redshift

Проектирование баз данных

Пример: DataCamp

Три источника данных с разными форматами из разных отделов, не подключённые к единой модели данных на основе хранилища Redshift

Проектирование баз данных

Периодичность обновления — продажи

Три источника данных с ежедневным обновлением

Проектирование баз данных

Периодичность обновления — авиатрафик

Три источника данных с обновлением в реальном времени

Проектирование баз данных

Разная периодичность обновления

Три источника данных с разной периодичностью обновления

Проектирование баз данных

Всё так просто?

Три источника данных, подключённые к единой модели данных

Проектирование баз данных

Не совсем

Три источника данных с ежедневным обновлением и большим крестом поверх

Проектирование баз данных

Преобразования

Три источника данных, преобразуемых для соответствия единой модели данных

Проектирование баз данных

Преобразования — инструменты

Обработка трёх источников данных через ETL в единую модель данных

Проектирование баз данных

Выбор инструмента интеграции данных

  • Гибкость
  • Надёжность
  • Масштабируемость
Проектирование баз данных

Автоматическое тестирование и проактивные оповещения

Схема ETL с иконками тестирования на каждом этапе

Проектирование баз данных

Безопасность

Схема ETL с указанием данных, доступ к которым должен быть ограничен при передаче от источника к получателю

Проектирование баз данных

Безопасность — анонимизация данных банковских карт

Схема ETL с анонимизацией данных банковских карт

Проектирование баз данных

Управление данными — происхождение данных

Схема ETL с линией, отображающей поток данных от источника к получателю

Проектирование баз данных

Давайте потренируемся!

Проектирование баз данных

Preparing Video For Download...