Выбросы в кредитных данных

Моделирование кредитного риска на Python

Michael Crabtree

Data Scientist, Ford Motor Company

Обработка данных

  • Подготовленные данные ускоряют обучение моделей
  • Нередко улучшают качество модели

ROC-диаграмма трёх различных моделей

Моделирование кредитного риска на Python

Выбросы и качество модели

Возможные причины выбросов:

  • Ошибки при вводе данных (человеческий фактор)
  • Проблемы с инструментами загрузки данных
Моделирование кредитного риска на Python

Выбросы и качество модели

Возможные причины выбросов:

  • Ошибки при вводе данных (человеческий фактор)
  • Проблемы с инструментами загрузки данных
Признак Коэффициент с выбросами Коэффициент без выбросов
Процентная ставка 0.2 0.01
Стаж работы 0.5 0.6
Доход 0.6 0.75
Моделирование кредитного риска на Python

Обнаружение выбросов с помощью сводных таблиц

  • Используйте сводные таблицы с агрегирующими функциями
pd.crosstab(cr_loan['person_home_ownership'], cr_loan['loan_status'],
            values=cr_loan['loan_int_rate'], aggfunc='mean').round(2)

Моделирование кредитного риска на Python

Визуальное обнаружение выбросов

Визуальное обнаружение выбросов

  • Гистограммы
  • Диаграммы рассеяния

Диаграмма рассеяния стажа работы и процентной ставки по кредиту

Моделирование кредитного риска на Python

Удаление выбросов

  • Используйте метод .drop() в Pandas
indices = cr_loan[cr_loan['person_emp_length'] >= 60].index
cr_loan.drop(indices, inplace=True)

Диаграмма рассеяния процентной ставки и стажа работы без выбросов

Моделирование кредитного риска на Python

Давайте потренируемся!

Моделирование кредитного риска на Python

Preparing Video For Download...