결측 패턴 시각화

R에서 대치(Imputation)로 결측치 다루기

Michal Oleszak

Machine Learning Engineer

검정 접근의 문제점

  • 통계적 검정으로 결측 패턴을 찾는 일은 번거롭습니다.
  • t-검정은 데이터에 많은 가정을 둡니다.
  • p-값 기반 추론은 유의수준 선택, p-해킹 등 문제에 취약합니다.
R에서 대치(Imputation)로 결측치 다루기

결측치 시각화

  • 다른 방법: 시각화!
  • 사용이 쉽습니다.
  • 결측 패턴을 파악할 수 있습니다.
  • 데이터 품질의 다른 측면도 통찰을 제공합니다.

VIM 패키지는 결측 시각화 도구를 잘 제공합니다. 이 강의에서 다룰 내용:

  • 집계 플롯
  • 스파인 플롯
  • 모자이크 플롯
R에서 대치(Imputation)로 결측치 다루기

집계 플롯

nhanes %>% aggr(combined = TRUE, numbers = TRUE)

바이오픽스 데이터셋 변수들의 관측/결측 조합을 격자로 보여주는 집계 플롯. 각 조합별로 해당 결측 패턴의 관측치 비율(%)을 표시합니다.

R에서 대치(Imputation)로 결측치 다루기

스파인 플롯

nhanes %>% select(Gender, TotChol) %>% spineMiss()

남성과 여성 두 막대로 이루어진 스파인 플롯. 각 막대 내부에 해당 성별의 총 콜레스테롤 변수 결측 비율(%)을 표시합니다.

R에서 대치(Imputation)로 결측치 다루기

모자이크 플롯

nhanes %>% mosaicMiss(highlight = "TotChol", plotvars = c("Gender", "PhysActive"))

직사각형을 채운 타일 모음으로 된 모자이크 플롯. 각 타일은 "Gender"와 "PhysActive" 값의 조합을 나타내며, 타일 내부에 총 콜레스테롤 변수의 결측 비율(%)을 표시합니다.

R에서 대치(Imputation)로 결측치 다루기

무엇이 비었는지 그려봅시다!

R에서 대치(Imputation)로 결측치 다루기

Preparing Video For Download...