Od datové sady k detekčnímu modelu

Detekce podvodů v R

Sebastiaan Höppner

PhD researcher in Data Science at KU Leuven

Plán postupu

(1) Rozdělení datové sady na trénovací a testovací sadu
(2) Výběr modelu strojového učení
(3) Aplikace SMOTE na trénovací sadu pro vyvážení tříd
(4) Trénování modelu na vyvážené trénovací sadě
(5) Testování výkonu na (původní) testovací sadě

Rozdělení datové sady na trénovací a testovací sadu

Rozdělte datovou sadu na trénovací a testovací sadu (např. 50/50, 75/25, ...)
Zajistěte, aby obě sady měly stejné rozložení tříd (zpočátku)
Příklad: 50 % trénovací sada a 50 % testovací sada

prop.table(table(train$Class))

   0    1 
0.98 0.02

prop.table(table(test$Class))

   0    1 
0.98 0.02

Výběr a trénování modelu strojového učení

Rozhodovací strom, umělá neuronová síť, SVM, logistická regrese, náhodný les, Naivní Bayes, k-nejbližší sousedé, ...
Příklad: Algoritmus klasifikačního a regresního stromu (CART)
Funkce rpart z balíčku rpart

library(rpart)

model1 = rpart(Class ~ ., data = train)

library(partykit)
plot(as.party(model1))

strom1

## Predict fraud probability of test set
scores1 = predict(model1, newdata = test, type = "prob")[, 2]

## Predict class (fraud or not) of test set
predicted_class1 = factor(ifelse(scores1 > 0.5, 1, 0))

## Confusion matrix & accuracy, 
library(caret)
CM1 = confusionMatrix(data = predicted_class1, reference = test$Class)

          Reference         
Prediction     0     1
         0 12046    55
         1     8   191       Accuracy : 0.994878

library(pROC)
auc(roc(response = test$Class, predictor = scores1)) ## Area Under ROC Curve (AUC)

Area under the ROC curve: 0.8938

Aplikace SMOTE na trénovací sadu

library(smotefamily)
set.seed(123)

smote_result = SMOTE(X = train[, -17],
                     target = train$Class,
                     K = 5,
                     dup_size = 10)

train_oversampled = smote_result$data
colnames(train_oversampled)[17] = "Class"


prop.table(table(train_oversampled$Class))

        0         1 
0.8166667 0.1833333

library(rpart)
model2 = rpart(Class ~ ., data = train_oversampled)

strom2

## Predict fraud probability of test set
scores2 = predict(model2, newdata = test, type = "prob")[, 2]

## Predict class (fraud or not) of test set
predicted_class2 = factor(ifelse(scores2 > 0.5, 1, 0))

## Confusion matrix & accuracy
library(caret)
CM2 = confusionMatrix(data = predicted_class2, reference = test$Class)

          Reference
Prediction     0     1
         0 11967    34
         1    87   212       Accuracy : 0.9901626

library(pROC)
auc(roc(response = test$Class, predictor = scores2)) ## Area Under ROC Curve (AUC)

Area under the curve: 0.9538

Náklady na nasazení detekčního modelu

Zohledněte různé náklady na detekci podvodů při hodnocení algoritmu
Náklady jsou spojeny s
- chybami klasifikace (falešně pozitivní a falešně negativní) a
- správnou klasifikací (skutečně pozitivní a skutečně negativní)

Matice nákladů

matice_nákladů_1

$y_i$ = skutečná třída případu $i$
$c_i$ = předpovězená třída případu $i$

Matice nákladů

matice_nákladů_2

$y_i$ = skutečná třída případu $i$
$c_i$ = předpovězená třída případu $i$

Matice nákladů

matice_nákladů_3

$C_a$ = náklady na analýzu případu

Matice nákladů

matice_nákladů_4

$C_a$ = náklady na analýzu případu

Míra nákladů detekčního modelu

Zohledněte skutečné náklady každého případu: $$Cost(model)=\sum_{i=1}^{N}y_i(1-c_i)Amount_i + c_iC_a$$
- $y_i$ = skutečná třída případu $i$
- $c_i$ = předpovězená třída případu $i$

cost_model = function(predicted.classes, true.classes, amounts, fixedcost) {

    cost = sum(true.classes * (1 - predicted.classes) * amounts +
               predicted.classes * fixedcost)

    return(cost)
}

Skutečné náklady na detekci podvodů

## Total cost without using SMOTE:
cost_model(predicted_class1, test$Class, test$Amount, fixedcost = 10)

10061.8

## Total cost when using SMOTE:
cost_model(predicted_class2, test$Class, test$Amount, fixedcost = 10)

7431.93

Ztráty se snížily o 26 %!

Lass uns üben!

Detekce podvodů v R