Integracja danych

Projektowanie baz danych

Lis Sulmont

Curriculum Manager

Czym jest integracja danych

 

 

 

Integracja danych łączy dane z różnych źródeł, formatów i technologii, zapewniając użytkownikom przetłumaczony i ujednolicony widok tych danych.

Projektowanie baz danych

Przykłady zastosowań biznesowych

  • Pełny widok 360° klienta
  • Przejęcia
  • Systemy legacy
Projektowanie baz danych

Ujednolicony model danych

Ikona bazy danych reprezentująca ujednolicony model danych

Projektowanie baz danych

Źródła danych

Trzy źródła danych niepołączone z ujednoliconym modelem danych

Projektowanie baz danych

Format źródeł danych

Trzy źródła danych w różnych formatach, niepołączone z ujednoliconym modelem danych

Projektowanie baz danych

Format ujednoliconego modelu danych

Trzy źródła danych w różnych formatach niepołączone z ujednoliconym modelem danych, którym jest hurtownia Redshift

Projektowanie baz danych

Przykład: DataCamp

Trzy źródła danych w różnych formatach z różnych działów, niepołączone z ujednoliconym modelem danych – hurtownią Redshift

Projektowanie baz danych

Częstotliwość aktualizacji – sprzedaż

Trzy źródła danych aktualizowane codziennie

Projektowanie baz danych

Częstotliwość aktualizacji – ruch lotniczy

Trzy źródła danych aktualizowane w czasie rzeczywistym

Projektowanie baz danych

Różne częstotliwości aktualizacji

Trzy źródła danych aktualizowane w różnych momentach

Projektowanie baz danych

Takie proste?

Trzy źródła danych połączone z ujednoliconym modelem danych

Projektowanie baz danych

Niekoniecznie

Trzy źródła danych aktualizowane codziennie z dużym znakiem X

Projektowanie baz danych

Transformacje

Trzy źródła danych przekształcane w celu dopasowania do ujednoliconego modelu danych

Projektowanie baz danych

Transformacje – narzędzia

Przetwarzanie trzech źródeł danych przez ETL do ujednoliconego modelu danych

Projektowanie baz danych

Wybór narzędzia do integracji danych

  • Elastyczne
  • Niezawodne
  • Skalowalne
Projektowanie baz danych

Testy automatyczne i proaktywne alerty

Diagram ETL z ikonami testowania na każdym etapie

Projektowanie baz danych

Bezpieczeństwo

Diagram ETL pokazujący fragmenty danych z ograniczonym dostępem między źródłem a miejscem docelowym

Projektowanie baz danych

Bezpieczeństwo – anonimizacja kart kredytowych

Diagram ETL z anonimizacją danych kart kredytowych

Projektowanie baz danych

Zarządzanie danymi – rodowód danych

Diagram ETL z linią przedstawiającą przepływ danych od źródła do miejsca docelowego

Projektowanie baz danych

Czas na ćwiczenia!

Projektowanie baz danych

Preparing Video For Download...