결측치와 대치

Power BI에서 Python 시작하기

Jacob H. Marquez

Data Scientist

결측치란?

"결측"에 흔한 표기:

  • null
  • NA
  • 99
  • ""
Power BI에서 Python 시작하기

결측치란?

"결측"에 흔한 표기:

  • null
  • NA
  • 99
  • ""
entity year fished
Australia 1988 153148
Australia 1989 null
Australia 1990 567895
Australia 1991 632987
Australia 1992 643578
Australia 1993 null
Power BI에서 Python 시작하기

왜 결측이 생기나?

  • 설문에서 응답자가 질문을 잊었거나 거부함
  • 연구 2차 단계에서 이탈함
  • 측정 장비에 오류가 있음
  • 개인정보 보호법으로 사용이 제한됨
Power BI에서 Python 시작하기

무작위 결측인가?

무작위 결측

세 도시(시애틀, 뉴욕, 파리)의 강수량(인치) 표.

Power BI에서 Python 시작하기

무작위 결측인가?

무작위가 아닌 결측

세 도시(시애틀, 뉴욕, 파리)의 강수량(인치) 표. 시애틀의 한 행이 결측.

Power BI에서 Python 시작하기

무작위 결측인가?

무작위가 아닌 결측

세 도시(시애틀, 뉴욕, 파리)의 강수량(인치) 표. 시애틀의 한 행이 결측.

  • 계측기가 낮은 값을 감지하지 못함
  • 특정 집단은 정보를 공개하지 않을 가능성 큼
Power BI에서 Python 시작하기

결측치 처리 방법

무작위가 아닌 결측

  • 분석을 잠시 중단
  • 결측 발생 원인 파악
  • 추가 데이터 수집
  • 한계와 가정을 명확히 문서화

무작위 결측

  • 관측치 삭제
  • 결측 지시변수 추가: 결측 1, 아니면 0
  • 대치(Imputation)
Power BI에서 Python 시작하기

대치(Imputation)

정의: 결측값을 다른 값으로 대체.

대치 유형:

  • 평균
  • 중앙값
  • 최빈값
  • 이전/다음 값

열의 결측이 5% 이하일 때 가장 적합.

값을 정렬한 뒤 적용하세요!

Power BI에서 Python 시작하기

대치 예시

무작위 결측

세 도시(시애틀, 뉴욕, 파리)의 강수량(인치) 표로 일부 관측이 결측.

중앙값 대치

세 도시(시애틀, 뉴욕, 파리)의 강수량(인치) 표. 도시별 중앙값으로 결측을 채움.

Power BI에서 Python 시작하기

데이터셋

Invoice StockCode Description Quantity InvoiceDate Price Customer ID
506303 PADS PADS TO MATCH ALL CUSHIONS 1 4/29/2010 10:43:00 AM 0.001 14249
496725 M Manual 1 2/3/2010 2:16:00 PM 1.5 13619
502660 M Manual 6 3/25/2010 5:18:00 PM 1.5 13187
509669 90214S LETTER "S" BLING KEY RING 10 12/13/2009 3:54:00 PM 1.25 16725
Power BI에서 Python 시작하기

연습해 봅시다!

Power BI에서 Python 시작하기

Preparing Video For Download...