마무리

R에서 대치(Imputation)로 결측치 다루기

Michal Oleszak

Machine Learning Engineer

학습한 내용

1장: 결측치 문제:

  • 불완전한 데이터는 별도 처리가 필요합니다.
  • 결측 메커니즘 3가지: MCAR, MAR, MNAR.
  • 시각화와 통계 검정으로 결측 패턴을 파악합니다.

2장: 공여자 기반 대치:

  • 평균 대치는 보통 좋지 않습니다.
  • 핫덱 대치.
  • k-최근접 이웃 대치.
R에서 대치(Imputation)로 결측치 다루기

학습한 내용

3장: 모델 기반 대치

  • 변수별로 반복 대치하여 수렴할 때까지 진행합니다.
  • 조건부 분포에서 추출해 데이터 변동성을 반영합니다.
  • 랜덤 포레스트 등 트리 기반 대치.

4장: 대치로 인한 불확실성

  • 부트스트랩을 이용한 다중 대치.
  • MICE를 이용한 다중 대치.
R에서 대치(Imputation)로 결측치 다루기

어떤 대치 방법을 쓸까?

간단한 가이드라인:

  • 데이터가 매우 크거나 실시간 운영이 필요한가요?

    핫덱 대치 사용.

  • 도메인 지식으로 변수 간 관계를 예상하나요?

    모델 기반 대치 사용.

  • 매우 빠를 필요 없고 변수 간 관계가 불분명한가요?

    kNN 또는 트리 기반 대치 사용.

R에서 대치(Imputation)로 결측치 다루기

대치 불확실성은 어떻게 추정할까?

간단한 가이드라인:

  • 비교적 빨라야 하나요?
  • 사용할 모델과 사양에 대한 아이디어가 있나요?

MICE 사용.

  • 비모수 방법(kNN, 핫덱)을 쓰고 싶나요?
  • 특정 모델 가정에 신경 쓰고 싶지 않나요?

부트스트랩 사용.

R에서 대치(Imputation)로 결측치 다루기

다음 단계

  • miceVignettes:

    • 수동 대치와 후처리
    • 다층 데이터 대치
    • 민감도 분석

  • S. van Buuren (2018). Flexible Imputation of Missing Data. Second Edition. CRC/Chapman & Hall, FL: Boca Raton.

  • 기타 R 패키지: Amelia, mi

Stef van Buuren의 "Flexible Imputation of Missing Data" 책 표지.

R에서 대치(Imputation)로 결측치 다루기

축하합니다. 행운을 빕니다!

R에서 대치(Imputation)로 결측치 다루기

Preparing Video For Download...