데이터 탐색 및 변환

Microsoft Fabric로 데이터 변환 및 분석

Luis Silva

Solution Architect - Data & AI

데이터 변환 시나리오

왜 데이터를 변환해야 할까요?

소스 시스템의 잘못된 데이터를 제거/정제합니다

잘못된 항목이 빨간색으로 표시된 데이터 테이블 이미지

데이터 변환 시나리오

왜 데이터를 변환해야 할까요?

소스 시스템의 잘못된 데이터를 제거/정제합니다.
데이터 형식을 변환해 일관성을 확보합니다.

텍스트로 저장된 숫자 열이 실제 숫자로 변환되는 이미지

데이터 변환 시나리오

왜 데이터를 변환해야 할까요?

소스 시스템의 잘못된 데이터를 제거/정제합니다.
데이터 형식을 변환해 일관성을 확보합니다.
관련 없는 데이터를 걸러냅니다.

특정 필드가 'X'가 아닌 레코드만 유지하도록 기준에 맞지 않는 행을 필터링하기 전후의 테이블 이미지

데이터 변환 시나리오

왜 데이터를 변환해야 할까요?

소스 시스템의 잘못된 데이터를 제거/정제합니다.
데이터 형식을 변환해 일관성을 확보합니다.
관련 없는 데이터를 걸러냅니다.
여러 소스의 데이터를 결합합니다.

두 개의 테이블이 하나로 결합되는 다이어그램 -

데이터 변환 시나리오

왜 데이터를 변환해야 할까요?

소스 시스템의 잘못된 데이터를 제거/정제합니다.
데이터 형식을 변환해 일관성을 확보합니다.
관련 없는 데이터를 걸러냅니다.
여러 소스의 데이터를 결합합니다.
분석/보고에 적합한 형식으로 변환합니다.

큰 하나의 테이블이 스타 스키마로 변환되는 다이어그램

데이터 정제

불필요한 행 축소(상단/하단 행 제거)
중복 제거
빈 행 제거
오류 행 제거
데이터 형식 변환

소스 데이터 테이블에서 잘못된 항목을 빨간색으로 표시하고, 대상 테이블에서 해당 레코드가 제거되는 것을 나타내는 화살표가 있는 이미지

데이터 필터링

데이터셋 범위 축소
- 필요한 부분만 선택
- 기준에 맞지 않는 레코드 제거
예: SQL WHERE 절

State 열이 NY인 Orders 테이블의 데이터를 선택하는 쿼리 스크린샷

NY 주와 관련 없는 행을 걸러내는 테이블 다이어그램

데이터 병합 및 조인

둘 이상의 데이터셋 조인
스타 스키마 구축에 유용

두 테이블 병합을 나타내는 다이어그램

데이터 집계 및 비집계

집계: 데이터를 취합·요약

주별 주문을 합산해 주별 주문 수와 매출 합계를 보여주는 테이블

비집계: 데이터 분해, 보통 한 열을 여러 열로 분할

지점 위치의 도시, 주 정보를 분리해 각각의 열로 나눈 테이블

데이터 탐색 및 변환 도구

데이터플로
데이터 랭글러

데이터플로와 데이터 랭글러의 그래픽 인터페이스 두 스크린샷

스파크 노트북
SQL 스크립트

예시 스파크 노트북과 SQL 스크립트의 스크린샷 두 개

데이터플로

로우코드 그래픽 인터페이스
정제
필터링
집계

여러 샘플 쿼리와 사용 가능한 변환 작업을 보여주는 Dataflow 디자이너 스크린샷

데이터 랭글러

탐색적 데이터 분석용 노트북 기반 도구
데이터 표시 그리드
동적 요약 통계
내장 시각화
일반 데이터 정제 작업 라이브러리

일부 예시 작업을 보여주는 Data Wrangler 인터페이스 스크린샷

스파크 노트북

다양한 언어 지원
데이터 조작용 파이썬 라이브러리
- 대규모 데이터셋: PySpark
- 소규모 데이터셋: Pandas

일부 PySpark 코드가 있는 스파크 노트북 스크린샷

SQL 스크립트

데이터 조작용 T-SQL: SELECT, INSERT, UPDATE, DELETE
JOIN으로 데이터 병합
CAST, CONVERT로 형식 변환

예시 SELECT 쿼리가 있는 SQL 편집기 스크린샷

연습해 봅시다!

Microsoft Fabric로 데이터 변환 및 분석