데이터 정제와 필터링

Microsoft Fabric로 데이터 변환 및 분석

Luis Silva

Solution Architect - Data & AI

데이터 정제 도구

 

 

세 가지 도구: SQL, Spark, Dataflows 아이콘

Microsoft Fabric로 데이터 변환 및 분석

빈 행 처리

  • 전체 행이 비어 있으면 제거

 

여러 빈 행이 있는 테이블에서 빈 행을 제거한 전후 다이어그램

Microsoft Fabric로 데이터 변환 및 분석

Dataflow로 빈 행 처리

  • 빈 행 제거 변환

 

Dataflow의 행 제거 메뉴에서 빈 행 제거 옵션을 강조하고, 전후 표 예시를 보여주는 스크린샷

Microsoft Fabric로 데이터 변환 및 분석

Spark로 빈 행 처리

  • DataFrame dropna( ) 함수
  • 하나라도 null인 행 또는 모두 null인 행을 제거할 수 있음

dropna 함수 두 가지 변형으로 행을 제거한 전후 테이블 예시

Microsoft Fabric로 데이터 변환 및 분석

중복 행 처리

  • 중복 행 제거

 

중복 행을 제거한 전후 테이블 다이어그램

Microsoft Fabric로 데이터 변환 및 분석

Dataflow로 중복 행 처리

  • 중복 제거 변환

 

Dataflow의 행 제거 메뉴에서 중복 제거 옵션을 강조하고, 전후 표 예시를 보여주는 스크린샷

Microsoft Fabric로 데이터 변환 및 분석

Spark로 중복 행 처리

  • DataFrame dropDuplicates( ) 함수

 

데이터프레임 dropDuplicates 함수 호출 후 중복 행 중 하나가 제거된 전후 테이블 다이어그램

Microsoft Fabric로 데이터 변환 및 분석

값 바꾸기

  • 열의 특정 값을 다른 값으로 바꿉니다.
  • 빈 셀을 값으로 대체할 수도 있습니다.

 

몇 개 레코드의 ABC 값을 XYA로 바꾸는 테이블 다이어그램

Microsoft Fabric로 데이터 변환 및 분석

Dataflow로 값 바꾸기

  • 값 바꾸기 변환

 

Dataflow에서 값 바꾸기 변환 메뉴와, 빈 값을 '(Unknown)' 문자열로 바꾸기 전후 예시 스크린샷

Microsoft Fabric로 데이터 변환 및 분석

Spark로 값 바꾸기

  • DataFrame replace( )_ 함수

 

PySpark replace 호출 후 몇 개 레코드의 N/A 값을 'Unknown'으로 바꾼 테이블 다이어그램

Microsoft Fabric로 데이터 변환 및 분석

데이터 타입 수정

  • 모델 전반의 데이터 타입 일관성
  • 값 간 비교를 지원

텍스트로 저장된 숫자 열을 실제 숫자로 변환하는 이미지

Microsoft Fabric로 데이터 변환 및 분석

데이터 타입 수정

  • 모델 전반의 데이터 타입 일관성
  • 값 간 비교 지원
  • 타입별 연산 지원
    • 숫자 열: 산술 연산
    • 날짜/시간 열: 날짜/시간 연산

텍스트 열의 소문자/대문자/트림, 숫자 열의 합계/최대 등 변환 예시

Microsoft Fabric로 데이터 변환 및 분석

Dataflow로 데이터 타입 수정

  • 상황별 메뉴(옵션 1):
    1. 데이터 보기에서 열을 선택합니다.
    2. 열 제목 왼쪽의 아이콘을 클릭합니다.

데이터 보기에서 열 제목 왼쪽 아이콘을 강조하여 Change type 컨텍스트 메뉴에 접근하는 스크린샷

Microsoft Fabric로 데이터 변환 및 분석

Dataflow로 데이터 타입 수정

  • 상황별 메뉴(옵션 1):
    1. 데이터 보기에서 열을 선택합니다.
    2. 열 제목 왼쪽 아이콘을 클릭합니다.
    3. 목록에서 새 데이터 타입을 선택합니다.

데이터 보기에서 열 제목의 데이터 타입을 클릭했을 때 표시되는 Change type 메뉴 스크린샷

Microsoft Fabric로 데이터 변환 및 분석

Dataflow로 데이터 타입 수정

  • 상황별 메뉴(옵션 2):
    1. 데이터 보기에서 열을 선택합니다.
    2. 열 제목을 마우스 오른쪽 버튼으로 클릭합니다.

데이터 타입을 변경하려는 열의 제목을 강조한 스크린샷

Microsoft Fabric로 데이터 변환 및 분석

Dataflow로 데이터 타입 수정

  • 변환 추가:
    1. 데이터 보기에서 열을 선택합니다.
    2. 다이어그램 보기에서 (+)를 클릭해 변환을 추가합니다.
    3. 팝업 메뉴에서 Change type을 클릭하고 새 데이터 타입을 선택합니다.

Change Type 변환을 추가 중인 쿼리 스크린샷

Microsoft Fabric로 데이터 변환 및 분석

Spark로 데이터 타입 수정

  • DataFrame cast( )_ 함수
df.withColumn("new_column_name", df["column_name"].cast("new_data_type"))
  • 예:
# [orderID] 열을 integer로 변환
df = df.withColumn("orderID", df["orderID"].cast("integer"))
Microsoft Fabric로 데이터 변환 및 분석

데이터 필터링

  • 조건에 따라 행 포함/제외
SELECT
  OrderID, State, Date, Amount
FROM
  Orders 
WHERE
  State = 'NY'

NY 주가 아닌 행을 필터링하는 테이블 다이어그램

Microsoft Fabric로 데이터 변환 및 분석

Dataflow로 데이터 필터링

  • Filter 변환 사용

열에 적용된 필터 변환 스크린샷

Microsoft Fabric로 데이터 변환 및 분석

Spark로 데이터 필터링

  • DataFrame filter( ) 함수
  • where( )는 filter( )의 별칭
df.filter( <condition> )
  • 예시:
# State = 'NY'인 행만 반환
df.filter( df.state == 'NY' )
Microsoft Fabric로 데이터 변환 및 분석

연습해 봅시다!

Microsoft Fabric로 데이터 변환 및 분석

Preparing Video For Download...