발견된 이상치 처리 방법

Python으로 배우는 이상치 탐지

Bekhruz (Bex) Tuychiev

Kaggle Master, Data Science Content Creator

이상 탐지의 활용

  • 의학
  • 사이버 보안
  • 이상 거래 탐지

이상치 포함/제외 두 가지로 분석하십시오.

Python으로 배우는 이상치 탐지

이상치가 존재하는 이유

  • 데이터 입력 오류:
    • 오타
    • 측정 오류
    • 사용자 실수
    • 수정 전제 없으면 삭제
  • 표본추출 오류:
    • 목표 분포에서 벗어남
    • 삭제
  • 자연적:
    • 모집단에서 온, 자연스럽게 특이함
    • 삭제하지 않음
Python으로 배우는 이상치 탐지

크기에 따른 삭제

  • 너무 적음: 확인 후 삭제
  • 너무 많음: 의심 신호 — 다른 모델 사용:
    • GLM
    • 분위수 회귀
    • GEE
  • 군집 형성: 심층 분석 수행
Python으로 배우는 이상치 탐지

트리밍

# Calculate the percentiles
percentile_first = google['Volume'].quantile(0.01)
percentile_99th = google['Volume'].quantile(0.99)


# Trim
google['Volume'] = google['Volume'].clip(percentile_first, percentile_99th)
Python으로 배우는 이상치 탐지

값 대체

google.replace(0, 100, inplace=True)
Python으로 배우는 이상치 탐지

연습해 봅시다!

Python으로 배우는 이상치 탐지

Preparing Video For Download...