스타 스키마 구현

Microsoft Fabric로 데이터 변환 및 분석

Luis Silva

Solution Architect - Data & AI

메달리온 아키텍처

메달리온 데이터 아키텍처 다이어그램. 소스에서 Bronze 계층으로 적재, Silver에서 정제, Gold에서 분석용 스타 스키마로 변환됨

  • 데이터 구성 디자인 패턴
  • 데이터의 점진적 정제를 나타내는 세 개의 구분된 계층
Microsoft Fabric로 데이터 변환 및 분석

메달리온 아키텍처

메달리온 데이터 아키텍처 다이어그램, Bronze 계층 강조

  • Bronze 계층: 소스에서 원시 형식 그대로 적재된 데이터.
Microsoft Fabric로 데이터 변환 및 분석

메달리온 아키텍처

메달리온 데이터 아키텍처 다이어그램, Silver 계층 강조

  • Silver 계층: 정제되고 표준화된 데이터.
Microsoft Fabric로 데이터 변환 및 분석

메달리온 아키텍처

메달리온 데이터 아키텍처 다이어그램, Gold 계층 강조

  • Gold 계층: 분석에 적합한 형식의 데이터, 보통 스타 스키마.
Microsoft Fabric로 데이터 변환 및 분석

Fabric의 메달리온 아키텍처

Fabric의 메달리온 데이터 아키텍처 다이어그램. 파이프라인으로 소스에서 레이크하우스 Bronze 계층으로 적재, Spark 노트북/데이터플로로 Silver 계층 레이크하우스로 변환, Gold 계층에서 웨어하우스의 스타 스키마로 추가 변환을 보여줌.

  • Bronze 계층: 레이크하우스
  • Silver 계층: 레이크하우스
  • Gold 계층: 레이크하우스 또는 웨어하우스
Microsoft Fabric로 데이터 변환 및 분석

스타 스키마 구현

  • 테이블 정의에 T-SQL CREATE TABLE 문을 사용합니다.
  • Fabric은 일반적인 T-SQL 데이터 형식을 지원합니다.

dw-sales 스키마가 확장되어 팩트 테이블과 여러 차원 테이블을 포함하는 웨어하우스 레이아웃 스크린샷

스타 스키마 다이어그램

Microsoft Fabric로 데이터 변환 및 분석

차원 테이블 구조

  • 비즈니스 개체(예: 제품)를 설명합니다.
  • 일반적으로 다음 열이 있습니다:

차원 테이블 예: Dim Product. 열은 Product ID, Product Key, Product Name, Product Brand

Microsoft Fabric로 데이터 변환 및 분석

차원 테이블 구조

  • 비즈니스 개체(예: 제품)를 설명합니다.
  • 일반적으로 다음 열이 있습니다:
    • 대리 키(Surrogate Key). 차원 항목의 단일 열 고유 식별자.

차원 테이블 예: Dim Product. 열은 Product ID, Product Key, Product Name, Product Brand. Product ID가 대리 키로 강조됨

Microsoft Fabric로 데이터 변환 및 분석

차원 테이블 구조

  • 비즈니스 개체(예: 제품)를 설명합니다.
  • 일반적으로 다음 열이 있습니다:
    • 대리 키(Surrogate Key). 차원 항목의 단일 열 고유 식별자.
    • 자연 키(Natural/Business Key). 소스 시스템에서 온 단일 열 고유 식별자.

차원 테이블 예: Dim Product. Product Key가 자연 키로 강조됨

Microsoft Fabric로 데이터 변환 및 분석

차원 테이블 구조

  • 비즈니스 개체(예: 제품)를 설명합니다.
  • 일반적으로 다음 열이 있습니다:
    • 대리 키(Surrogate Key). 차원 항목의 단일 열 고유 식별자.
    • 자연 키(Natural/Business Key). 소스 시스템에서 온 단일 열 고유 식별자.
    • 차원 속성(Dimension Attributes). 데이터를 필터링하고 팩트 테이블 데이터에 문맥을 제공하는 하나 이상의 열.

차원 테이블 예: Dim Product. Product Name과 Product Brand가 차원 속성으로 강조됨

Microsoft Fabric로 데이터 변환 및 분석

차원 테이블 구축

T-SQL CREATE TABLE 문으로 예시 차원 테이블 dim_Product 생성 스크립트

차원 테이블 예: Dim Product. Product ID=대리 키, Product Key=자연 키, Product Name/Brand=차원 속성

Microsoft Fabric로 데이터 변환 및 분석

팩트 테이블 구조

  • 비즈니스 사건(예: 제품 판매)을 설명합니다.
  • 열:

팩트 테이블 예: Fact Sales. 열은 Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units, Sale Price

Microsoft Fabric로 데이터 변환 및 분석

팩트 테이블 구조

  • 비즈니스 사건(예: 제품 판매)을 설명합니다.
  • 열:
    • 차원 키. 차원 테이블의 대리 키 참조.

팩트 테이블 예: Fact Sales. Date ID, Store ID, Product ID, Customer ID, Payment ID가 차원 키로 강조됨

Microsoft Fabric로 데이터 변환 및 분석

팩트 테이블 구조

  • 비즈니스 사건(예: 제품 판매)을 설명합니다.
  • 열:
    • 차원 키. 차원 테이블의 대리 키 참조.
    • 속성. 팩트에 대한 추가 정보 제공. 차원도 수치형 측정값도 아님.

팩트 테이블 예: Fact Sales. Packaging Notes와 Sale Order Number가 속성으로 강조됨

Microsoft Fabric로 데이터 변환 및 분석

팩트 테이블 구조

  • 비즈니스 사건(예: 제품 판매)을 설명합니다.
  • 열:
    • 차원 키. 차원 테이블의 대리 키 참조.
    • 속성. 팩트에 대한 추가 정보 제공. 차원도 수치형 측정값도 아님.
    • 측정값(Measures). 팩트를 정량화하는 수치. 보통 가산적(예: 수량, 금액 등).

팩트 테이블 예: Fact Sales. Sale Units와 Sale Price가 측정값으로 강조됨

Microsoft Fabric로 데이터 변환 및 분석

팩트 테이블 구축

T-SQL CREATE TABLE 문으로 예시 팩트 테이블 fact_Sales 생성 스크립트

팩트 테이블 예: Fact Sales. 열은 Date ID, Store ID, Product ID, Customer ID, Payment ID, Packaging Notes, Sale Order Number, Sale Units, Sale Price

Microsoft Fabric로 데이터 변환 및 분석

Vamos praticar!

Microsoft Fabric로 데이터 변환 및 분석

Preparing Video For Download...