Från datamängd till detektionsmodell

Bedrägeridetektering i R

Sebastiaan Höppner

PhD researcher in Data Science at KU Leuven

Färdplan

(1) Dela datamängden i träningsset och testset
(2) Välj en maskininlärnings__modell__
(3) Tillämpa SMOTE på träningssetet för att balansera klassfördelningen
(4) Träna modellen på det ombalanserade träningssetet
(5) Testa prestandan på det (ursprungliga) testsetet

Dela datamängden i tränings- och testset

Dela datamängden i ett träningsset och ett testset (t.ex. 50/50, 75/25, ...)
Se till att båda seten har identisk klassfördelning (till en början)
Exempel: 50% träningsset och 50% testset

prop.table(table(train$Class))

   0    1 
0.98 0.02

prop.table(table(test$Class))

   0    1 
0.98 0.02

Välj och träna en maskininlärningsmodell

Beslutsträd, artificiella neurala nätverk, stödvektormaskiner, logistisk regression, slumpmässig skog, Naive Bayes, k-närmaste grannar, ...
Exempel: Classification And Regression Tree (CART)-algoritmen
Funktionen rpart i paketet rpart

library(rpart)

model1 = rpart(Class ~ ., data = train)

library(partykit)
plot(as.party(model1))

träd1

## Predict fraud probability of test set
scores1 = predict(model1, newdata = test, type = "prob")[, 2]

## Predict class (fraud or not) of test set
predicted_class1 = factor(ifelse(scores1 > 0.5, 1, 0))

## Confusion matrix & accuracy, 
library(caret)
CM1 = confusionMatrix(data = predicted_class1, reference = test$Class)

          Reference         
Prediction     0     1
         0 12046    55
         1     8   191       Accuracy : 0.994878

library(pROC)
auc(roc(response = test$Class, predictor = scores1)) ## Area Under ROC Curve (AUC)

Area under the ROC curve: 0.8938

Tillämpa SMOTE på träningssetet

library(smotefamily)
set.seed(123)

smote_result = SMOTE(X = train[, -17],
                     target = train$Class,
                     K = 5,
                     dup_size = 10)

train_oversampled = smote_result$data
colnames(train_oversampled)[17] = "Class"


prop.table(table(train_oversampled$Class))

        0         1 
0.8166667 0.1833333

library(rpart)
model2 = rpart(Class ~ ., data = train_oversampled)

träd2

## Predict fraud probability of test set
scores2 = predict(model2, newdata = test, type = "prob")[, 2]

## Predict class (fraud or not) of test set
predicted_class2 = factor(ifelse(scores2 > 0.5, 1, 0))

## Confusion matrix & accuracy
library(caret)
CM2 = confusionMatrix(data = predicted_class2, reference = test$Class)

          Reference
Prediction     0     1
         0 11967    34
         1    87   212       Accuracy : 0.9901626

library(pROC)
auc(roc(response = test$Class, predictor = scores2)) ## Area Under ROC Curve (AUC)

Area under the curve: 0.9538

Kostnaden för att driftsätta en detektionsmodell

Ta hänsyn till de olika kostnaderna för bedrägeridetektion vid utvärdering av en algoritm
Kostnader är kopplade till
- felklassificeringsfel (falska positiva & falska negativa) och
- korrekta klassificeringar (sanna positiva & sanna negativa)

Kostnadsmatris

kostmatris_1

$y_i$ = sann klass för fall $i$
$c_i$ = förutsagd klass för fall $i$

Kostnadsmatris

kostmatris_2

$y_i$ = sann klass för fall $i$
$c_i$ = förutsagd klass för fall $i$

Kostnadsmatris

kostmatris_3

$C_a$ = kostnad för att analysera fallet

Kostnadsmatris

kostmatris_4

$C_a$ = kostnad för att analysera fallet

Kostnadsmått för en detektionsmodell

Ta hänsyn till den faktiska kostnaden för varje fall: $$Cost(model)=\sum_{i=1}^{N}y_i(1-c_i)Amount_i + c_iC_a$$
- $y_i$ = sann klass för fall $i$
- $c_i$ = förutsagd klass för fall $i$

cost_model = function(predicted.classes, true.classes, amounts, fixedcost) {

    cost = sum(true.classes * (1 - predicted.classes) * amounts +
               predicted.classes * fixedcost)

    return(cost)
}

Den verkliga kostnaden för bedrägeridetektion

## Total cost without using SMOTE:
cost_model(predicted_class1, test$Class, test$Amount, fixedcost = 10)

10061.8

## Total cost when using SMOTE:
cost_model(predicted_class2, test$Class, test$Amount, fixedcost = 10)

7431.93

Förlusterna minskar med 26%!

Nu kör vi en övning!

Bedrägeridetektering i R