히스토그램과 이상값

R로 배우는 신용 위험 모델링

Lore Dirick

Manager of Data Science Curriculum at Flatiron School

hist() 함수 사용

hist(loan_data$int_rate)

이자율 히스토그램

hist() 함수 사용

hist(loan_data$int_rate, main = "Histogram of interest rate", xlab = "Interest rate")

이자율 히스토그램

annual_inc에 hist() 함수 사용

hist(loan_data$annual_inc, xlab = "Annual Income", main = "Histogram of Annual Income")

2020-06-12 오후 1:55:03 스크린샷.png

annual_inc에 hist() 함수 사용

hist_income <- hist(loan_data$annual_inc,
                    xlab = "Annual Income",
                    main = "Histogram of Annual Income")
hist_income$breaks

0  500000 1000000 1500000 2000000 2500000 3000000 3500000 4000000 4500000 ...

breaks 인수

n_breaks <- sqrt(nrow(loan_data)) # n_breaks = 170.5638
hist_income_n <- hist(loan_data$annual_inc, breaks = n_breaks, 
                      xlab = "Annual Income", main = "Histogram of Annual Income")

2020-06-12 오후 1:55:58 스크린샷.png

annual_inc

plot(loan_data$annual_inc, ylab = "Annual Income")

2020-06-12 오후 1:56:24 스크린샷.png

annual_inc

plot(loan_data$annual_inc, ylab = "Annual Income")

2020-06-12 오후 1:56:53 스크린샷.png

이상값

언제 값이 이상값일까요?
- 전문가 판단
- 경험 법칙(예)
  - Q1 - 1.5 * IQR
  - Q3 + 1.5 * IQR
- 보통: 둘의 조합

전문가 판단

"연봉 > $3M 는 이상값"

# 이상값 찾기
index_outlier_expert <- which(loan_data$annual_inc > 3000000)

# 데이터셋에서 제거
loan_data_expert <- loan_data[-index_outlier_expert, ]

경험 법칙

Q3 + 1.5 * IQR보다 크면 이상값

# Q3 + 1.5 * IQR 계산
outlier_cutoff <- quantile(loan_data$annual_inc, 0.75) + 1.5 * IQR(loan_data$annual_inc)

# 이상값 식별
index_outlier_ROT <- which(loan_data$annual_inc > outlier_cutoff)

# 이상값 제거
loan_data_ROT <- loan_data[-index_outlier_ROT, ]

hist(loan_data_expert$annual_inc,
     sqrt(nrow(loan_data_expert)), 
     xlab = "Annual income")

hist(loan_data_ROT$annual_inc,
     sqrt(nrow(loan_data_ROT)), 
     xlab = "Annual income")

이변량 플롯

plot(loan_data$emp_length, loan_data$annual_inc, 
     xlab= "Employment length", ylab= "Annual income")

2020-06-12 오후 1:58:14 스크린샷.png

이변량 플롯

plot(loan_data$emp_length, loan_data$annual_inc, 
     xlab= "Employment length", ylab= "Annual income")

2020-06-12 오후 1:58:34 스크린샷.png

Ayo berlatih!

R로 배우는 신용 위험 모델링