데이터 품질과 정제

SAS 사용자를 위한 R

Melinda Higgins, PhD

Research Professor/Senior Biostatistician Emory University

분포 확인

# davismod 계속 사용
davismod %>%
  head(5)

  sex weight height repwt repht      bmi diffht difflow          bmicat
1   M     77    182    77   180 23.24598     -2   FALSE 1. underwt/norm
2   F     58    161    51   159 22.37568     -2   FALSE 1. underwt/norm
3   F     53    161    54   158 20.44674     -3    TRUE 1. underwt/norm
4   M     68    177    70   175 21.70513     -2   FALSE 1. underwt/norm
5   F     59    157    59   155 23.93606     -2   FALSE 1. underwt/norm

분포 확인

# bmi 요약통계 확인: 최소, 최대, 중앙값
davismod %>%
  pull(bmi) %>%
  summary()

   Min. 1st Qu.  Median    Mean 3rd Qu.    Max.
  15.82   20.23   21.84   24.70   23.94  510.93

Max.가 500을 초과함에 유의하십시오

분포 시각화

# geom_dotplot()으로 bmi 점도표 만들기
ggplot(davismod, aes(bmi)) +
  geom_dotplot()

bmi 점도표

이상치 찾기

# arrange()로 정렬하고 tail()로 마지막 6개 행 보기
davismod %>%
  arrange(bmi) %>%
  tail()

    sex weight height repwt repht       bmi diffht difflow    bmicat
195   M     89    173    86   173  29.73704      0   FALSE 2. overwt
196   M    102    185   107   185  29.80278      0   FALSE 2. overwt
197   M    103    185   101   182  30.09496     -3    TRUE  3. obese
198   M    101    183   100   180  30.15916     -3    TRUE  3. obese
199   M    119    180   124   178  36.72840     -2   FALSE  3. obese
200   F    166     57    56   163 510.92644    106   FALSE  3. obese

몸무게 <= 키 가정을 시각화

# y=x 기준선을 포함한 산점도
ggplot(davismod,
       aes(weight, height)) +
  geom_point() +
  geom_abline(intercept=0, slope=1)

davismod의 키 대비 몸무게 산점도

오류가 있는 사례 제거

# dplyr의 filter()로 bmi < 100인 경우만 유지
daviskeep <- davismod %>%
  filter(bmi < 100)

# 마지막 6개 행 보기
daviskeep %>%
  arrange(bmi) %>%
  tail()

    sex weight height repwt repht      bmi diffht difflow    bmicat
194   F     75    162    75   158 28.57796     -4    TRUE 2. overwt
195   M     89    173    86   173 29.73704      0   FALSE 2. overwt
196   M    102    185   107   185 29.80278      0   FALSE 2. overwt
197   M    103    185   101   182 30.09496     -3    TRUE  3. obese
198   M    101    183   100   180 30.15916     -3    TRUE  3. obese
199   M    119    180   124   178 36.72840     -2   FALSE  3. obese

수정된 bmi 시각화

# bmi 점도표 만들기
ggplot(daviskeep, aes(bmi)) +
  geom_dotplot()

daviskeep의 bmi 점도표

abalone 데이터셋 최종 정리

abalone 데이터셋의 가정을 점검합니다
가정을 위반한 사례를 제거합니다
분석과 모델용 최종 데이터셋을 만듭니다

가정:

모든 측정값은 > 0이어야 함
length는 껍데기의 최장 길이
height와 diameter < length
wholeWeight는 전체 무게
다른 무게는 wholeWeight보다 작음

전복 껍데기 사진

abalone 데이터셋 탐색 및 정리하기

SAS 사용자를 위한 R