성능 향상 구현

Microsoft Fabric로 데이터 변환 및 분석

Luis Silva

Solution Architect - Data & AI

최적화 전략

• Fabric 항목 설계 최적화
• 스케일 업
• 스케일 아웃

SQL 최적화

• 필요한 열과 연산만 조회하도록 제한

SQL 최적화

• 필요한 열과 연산만 조회하도록 제한
• 가능한 가장 작은 데이터 타입 사용

SQL 최적화

• 필요한 열과 연산만 조회하도록 제한
• 가능한 가장 작은 데이터 타입 사용
• 스타 스키마 설계 사용

SQL 최적화

• 필요한 열과 연산만 조회하도록 제한
• 가능한 가장 작은 데이터 타입 사용
• 스타 스키마 설계 사용
• 시스템 뷰로 쿼리 사용량 모니터링

SELECT *
FROM sys.dm_exec_requests;

노트북 최적화

• Spark History Server 활용

노트북 최적화

• Spark History Server 활용
• 사용하지 않을 때 활성 Spark 세션 중지

노트북 최적화

• Spark History Server 활용
• 사용하지 않을 때 활성 Spark 세션 중지
• 조인 전 메모리 내 데이터량 축소 후 조인 실행

데이터플로 최적화

• 정렬 같은 비용 큰 연산 최소화

데이터플로 최적화

• 정렬 같은 비용 큰 연산 최소화
• 쿼리 폴딩
  • 처리 작업을 데이터 소스로 오프로드

데이터플로 최적화

• 정렬 같은 비용 큰 연산 최소화
• 쿼리 폴딩
  • 처리 작업을 데이터 소스로 오프로드
• 스테이징 On/Off
  • 소량 적재·단순 변환은 비활성화
  • 대량 적재·복잡 변환은 활성화

스케일 업

• SKU 크기 증가
• 높은 SKU = 더 많은 컴퓨팅 용량

v

스케일 업

예: F64(8 v-코어)에서 F128(16 v-코어)로 스케일 업

스케일 아웃

• 일부 항목을 다른 Fabric 용량으로 이동
• 워크로드 분리
  • 운영 vs 비운영
  • 예: 경영진 리포팅 전용 별도 용량 등 부서별 분리

스케일 아웃

Lass uns üben!

Microsoft Fabric로 데이터 변환 및 분석