데이터 통합

데이터베이스 설계

Lis Sulmont

Curriculum Manager

데이터 통합이란

 

 

 

데이터 통합은 서로 다른 소스, 형식, 기술의 데이터를 결합하여 변환되고 통합된 뷰를 제공합니다.

데이터베이스 설계

비즈니스 사례 예시

  • 360도 고객 뷰
  • 인수합병
  • 레거시 시스템
데이터베이스 설계

통합 데이터 모델

통합 데이터 모델을 나타내는 데이터베이스 아이콘

데이터베이스 설계

데이터 소스

통합 데이터 모델에 연결되지 않은 세 가지 데이터 소스

데이터베이스 설계

데이터 소스 형식

통합 데이터 모델에 연결되지 않은 서로 다른 형식의 세 가지 데이터 소스

데이터베이스 설계

통합 데이터 모델 형식

서로 다른 형식의 세 가지 데이터 소스가 Redshift 데이터 웨어하우스인 통합 데이터 모델에 연결되지 않은 모습

데이터베이스 설계

예시: DataCamp

서로 다른 부서의 다양한 형식의 세 가지 데이터 소스가 Redshift 데이터 웨어하우스인 통합 데이터 모델에 연결되지 않은 모습

데이터베이스 설계

업데이트 주기 - 판매

매일 업데이트되는 세 가지 데이터 소스

데이터베이스 설계

업데이트 주기 - 항공 교통

실시간으로 업데이트되는 세 가지 데이터 소스

데이터베이스 설계

다양한 업데이트 주기

서로 다른 시간에 업데이트되는 세 가지 데이터 소스

데이터베이스 설계

간단할까요?

세 가지 데이터 소스가 통합 데이터 모델에 연결된 모습

데이터베이스 설계

그렇지 않습니다

매일 업데이트되는 세 가지 데이터 소스에 큰 X 표시가 있는 모습

데이터베이스 설계

변환

세 가지 데이터 소스가 통합 데이터 모델에 맞게 변환되는 모습

데이터베이스 설계

변환 - 도구

세 가지 데이터 소스를 ETL을 통해 통합 데이터 모델로 처리하는 모습

데이터베이스 설계

데이터 통합 도구 선택 기준

  • 유연성
  • 안정성
  • 확장성
데이터베이스 설계

자동화된 테스트 및 사전 알림

각 단계에 테스트 아이콘이 있는 ETL 다이어그램

데이터베이스 설계

보안

소스에서 대상으로 제한되어야 할 데이터 부분을 보여주는 ETL 다이어그램

데이터베이스 설계

보안 - 신용카드 익명화

신용카드 데이터 익명화가 적용된 ETL 다이어그램

데이터베이스 설계

데이터 거버넌스 - 계보

소스에서 대상까지 데이터 흐름을 나타내는 선이 있는 ETL 다이어그램

데이터베이스 설계

연습해 봅시다!

데이터베이스 설계

Preparing Video For Download...