Valori aberante în datele de credit

Modelarea Riscului de Credit în Python

Michael Crabtree

Data Scientist, Ford Motor Company

Procesarea datelor

  • Datele pregătite permit antrenarea mai rapidă a modelelor
  • Îmbunătățesc adesea performanța modelului

Grafic ROC pentru trei modele diferite

Modelarea Riscului de Credit în Python

Valori aberante și performanță

Cauze posibile ale valorilor aberante:

  • Probleme cu sistemele de introducere a datelor (eroare umană)
  • Probleme cu instrumentele de ingestie a datelor
Modelarea Riscului de Credit în Python

Valori aberante și performanță

Cauze posibile ale valorilor aberante:

  • Probleme cu sistemele de introducere a datelor (eroare umană)
  • Probleme cu instrumentele de ingestie a datelor
Caracteristică Coeficient cu valori aberante Coeficient fără valori aberante
Rata dobânzii 0.2 0.01
Durata angajării 0.5 0.6
Venit 0.6 0.75
Modelarea Riscului de Credit în Python

Detectarea valorilor aberante cu tabele încrucișate

  • Utilizați tabele încrucișate cu funcții de agregare
pd.crosstab(cr_loan['person_home_ownership'], cr_loan['loan_status'],
            values=cr_loan['loan_int_rate'], aggfunc='mean').round(2)

Modelarea Riscului de Credit în Python

Detectarea vizuală a valorilor aberante

Detectarea vizuală a valorilor aberante

  • Histograme
  • Diagrame de dispersie

Diagramă de dispersie pentru durata angajării și rata dobânzii la credit

Modelarea Riscului de Credit în Python

Eliminarea valorilor aberante

  • Utilizați metoda .drop() din Pandas
indices = cr_loan[cr_loan['person_emp_length'] >= 60].index
cr_loan.drop(indices, inplace=True)

Diagramă de dispersie a ratei dobânzii și duratei angajării fără valori aberante

Modelarea Riscului de Credit în Python

Să exersăm!

Modelarea Riscului de Credit în Python

Preparing Video For Download...