Modeldiscriminatie en impact

Kredietrisicomodellering in Python

Michael Crabtree

Data Scientist, Ford Motor Company

Confusion matrices

  • Toont het aantal juiste en onjuiste voorspellingen per loan_status

Verwarringsmatrix met formules

Kredietrisicomodellering in Python

Default recall voor loan status

  • Default recall (of sensitiviteit) is het aandeel echte defaults dat wordt voorspeld

Voorbeeld-classificatierapport met default recall

Formule voor default recall

Kredietrisicomodellering in Python

Impact van recall op de portefeuille

  • Classificatierapport - Matig presterend Logistic Regression-model

Voorbeeld-classificatierapport met markeringen voor loan status

Kredietrisicomodellering in Python

Impact van recall op de portefeuille

  • Classificatierapport - Matig presterend Logistic Regression-model

Voorbeeld-classificatierapport met markeringen voor loan status

  • Aantal echte defaults: 50.000
Leningbedrag Defaults voorspeld / niet voorspeld Geschat verlies op defaults
$50 .04 / .96 (50000 x .96) x 50 = $2,400,000
Kredietrisicomodellering in Python

Recall, precision en accuracy

  • Moeilijk om alles te maximaliseren door de trade-off

Grafiek van non-default recall met default recall en accuracy

Kredietrisicomodellering in Python

Laten we oefenen!

Kredietrisicomodellering in Python

Preparing Video For Download...