Linjära SVM:er på radiellt separerbara data

Support Vector Machines i R

Kailash Awati

Instructor

Linjär SVM, cost = 1

Dela upp radiellt separerbart dataset i träning/test (seed = 10)

# Build default cost linear SVM on training set

svm_model <- svm(y ~ ., data = trainset, type = "C-classification", kernel = "linear", cost = 1)
svm_model

Number of Support Vectors:  126

# Calculate accuracy on test set

pred_test <- predict(svm_model, testset)
mean(pred_test == testset$y)

0.6129032

plot(svm_model, trainset)

Kapitel 3.2 – radiellt separerbart dataset, linjär kärna med standardkostnad, plot med svm.plot

Linjär SVM, cost = 100

svm_model <- svm(y ~ ., data = trainset, type = "C-classification", kernel = "linear", cost = 100)
svm_model

Number of Support Vectors:  136

# Accuracy
pred_test <- predict(svm_model, testset)
mean(pred_test == testset$y)

0.6129032

plot(svm_model, trainset)

Kapitel 3.2 – radiellt separerbart dataset, linjär kärna med cost=100, plot med svm.plot

Ett bättre mått på noggrannhet

Beräkna genomsnittlig noggrannhet över ett antal oberoende träning/test-uppdelningar.
Kontrollera standardavvikelsen för att få en uppfattning om variabiliteten.

Genomsnittlig noggrannhet för SVM med standardkostnad

accuracy <- rep(NA, 100)
set.seed(10)
for (i in 1:100) {
  sample_size <- floor(0.8 * nrow(df))
  train <- sample(seq_len(nrow(df)), size = sample_size)
  trainset <- df[train, ]
  testset <- df[-train, ]
  svm_model<- svm(y ~ ., data = trainset, type = "C-classification", cost = 1, kernel = "linear")
  pred_test <- predict(svm_model, testset)
  accuracy[i] <- mean(pred_test == testset$y)}
mean(accuracy)
sd(accuracy)

0.544
0.04273184

Hur bra presterar en linjär SVM?

Marginellt bättre än ett myntkast!
Vi kan utnyttja vår kunskap om gränsen för att göra mycket bättre ifrån oss.

Nu kör vi en övning!

Support Vector Machines i R