Kredi verilerinde eksik veri riski

Python ile Kredi Riski Modellemesi

Michael Crabtree

Data Scientist, Ford Motor Company

Eksik veri nedir?

Gerçek değer yerine satırda NULL'lar
Boş bir string ''
Tamamen boş bir satır değildir
Verideki herhangi bir sütunda olabilir

Eksik çalışma süresi olan veri çerçevesi örneği

Aykırı değerlerle benzerlikler

Makine öğrenimi performansını olumsuz etkiler
Modelleri beklenmedik biçimde yanlı kılabilir
Bazı modellerde hatalara yol açabilir

Aykırı değerlerle benzerlikler

Makine öğrenimi performansını olumsuz etkiler
Modelleri beklenmedik biçimde yanlı kılabilir
Bazı modellerde hatalara yol açabilir

Eksik Veri Türü	Olası Sonuç
Sayısal sütunda NULL	Hata
String sütunda NULL	Hata

Eksik veri nasıl ele alınır

Eksik veriyi ele almanın genelde üç yolu vardır
- Eksik olan değerleri değiştirin
- Eksik verili satırları kaldırın
- Eksik verili satırları olduğu gibi bırakın
Karar, veriyi anlama düzeyinize bağlıdır

Eksik veri nasıl ele alınır

Eksik veriyi ele almanın genelde üç yolu vardır
- Eksik olan değerleri değiştirin
- Eksik verili satırları kaldırın
- Eksik verili satırları olduğu gibi bırakın
Karar, veriyi anlama düzeyinize bağlıdır

Eksik Veri	Yorum	Eylem
`loan_status` içinde NULL	Kredi yeni onaylanmış	Tahmin verisinden çıkarın
`person_age` içinde NULL	Yaş kaydedilmemiş/iletilmemiş	Medyan ile değiştirin

Eksik verileri bulma

isnull() ile null değerler kolayca bulunur
sum() ile null kayıtlar sayılabilir
.any() yöntemi tüm sütunları kontrol eder

null_columns = cr_loan.columns[cr_loan.isnull().any()]
cr_loan[null_columns].isnull().sum()

# Sütun başına toplam null değer
person_home_ownership          25
person_emp_length             895
loan_intent                    25
loan_int_rate                3140
cb_person_default_on_file      15

Eksik verileri doldurma

.fillna() gibi yöntemleri toplulaştırma fonksiyonlarıyla kullanarak eksikleri doldurun

cr_loan['loan_int_rate'].fillna((cr_loan['loan_int_rate'].mean()), inplace = True)

Ortalama ile doldurulmuş eksik faiz oranı örneği

Eksik verileri silme

Aykırı değerlere benzer biçimde indekslerle kayıtları belirleyin
.drop() yöntemiyle kayıtları tamamen kaldırın

indices = cr_loan[cr_loan['person_emp_length'].isnull()].index
cr_loan.drop(indices, inplace=True)

Hadi pratik yapalım!

Python ile Kredi Riski Modellemesi