帮助对R中的kernlab的SVM使用predict（）？

4 回答

• 1

  如果你考虑支持向量机如何“使用”内核矩阵，你会发现你不能以你正在尝试的方式实现这一点（正如你所看到的那样:-)

  当我第一次使用kernlab一个内核矩阵时，我实际上有点挣扎......巧合的是，它也适用于图形内核！

  无论如何，让我们首先意识到，由于SVM不知道如何计算内核函数，因此需要在新的（测试）示例之间计算这些值，并在训练步骤中将其作为支持向量选择的示例 .

  因此，您需要一起计算所有示例的内核矩阵 . 稍后您将通过在适当时从内核矩阵中删除行列来对其他人进行训练并对其他列进行测试 . 让我告诉你代码 .

  我们可以使用 ksvm 文档中的示例代码来加载我们的工作空间中的一些数据：

  library(kernlab)
  example(ksvm)
  

  为了让绘图绘制，你需要返回几（2）次返回，并让示例完成，但你现在应该在你的工作空间中有一个名为 K 的内核矩阵 . 我们需要恢复它应该用于其标签的 y 向量（因为它已经被示例中的其他代码践踏）：

  y <- matrix(c(rep(1,60),rep(-1,60)))
  

  现在，选择要用于测试的示例子集

  holdout <- sample(1:ncol(K), 10)
  

  从现在开始，我要：

  • 从原始 K 内核矩阵创建名为 trainK 的训练核矩阵 .

  • 从我的训练集创建一个SVM模型 trainK

  • 使用从模型中找到的支持向量来创建测试内核矩阵 testK ...这是奇怪的部分 . 如果你看一下 kernlab 中的代码来看看它是如何使用支持向量索引的，那么你就是这样做的 . 有可能以另一种方式做到这一点，但我没有看到任何关于使用内核矩阵进行预测的文档/示例，所以我在这里做了"the hard way" .

  • 使用SVM预测这些功能并报告准确性

  这是代码：

  trainK <- as.kernelMatrix(K[-holdout,-holdout])  # 1
  m <- ksvm(trainK, y[-holdout], kernel='matrix')  # 2
  testK <- as.kernelMatrix(K[holdout, -holdout][,SVindex(m), drop=F]) # 3
  preds <- predict(m, testK)  # 4
  sum(sign(preds) == sign(y[holdout])) / length(holdout) # == 1 (perfect!)
  

  这应该就是这样做的 . 祝好运！

  Responses to comment below

  K [-holdout，-holdout]是什么意思？ （“ - ”是什么意思？）

  想象一下你有一个矢量 x ，你想要从中检索元素1,3和5，你会做：

  x.sub <- x[c(1,3,5)]
  

  如果你想从 x 中检索除元素1,3和5之外的所有内容，你可以：

  x.sub <- x[-c(1,3,5)]
  

  所以 K[-holdout,-holdout] 返回 K 的所有行和列，除了我们想要保留的行 .

  你的as.kernelMatrix的参数是什么 - 尤其是[，SVindex（m），drop = F]参数（这是特别奇怪的，因为看起来整个括号是K的矩阵索引？）

  是的，我将两个命令合并为一个：

  testK <- as.kernelMatrix(K[holdout, -holdout][,SVindex(m), drop=F])
  

  既然您已经训练了模型，那么您希望为您的测试示例提供一个新的内核矩阵 . K[holdout,] 只会为您提供与 K 中的训练示例相对应的行，以及 K 的所有列 .

  SVindex(m) 从 original 训练矩阵中为您提供支持向量的索引 - 记住，这些行/列已删除 holdout . 因此，对于那些列索引是正确的（即，引用正确的sv列），我必须先删除 holdout 列 .

  无论如何，也许这更清楚：

  testK <- K[holdout, -holdout]
  testK <- testK[,SVindex(m), drop=FALSE]
  

  现在 testK 只有我们的测试示例行和与支持向量对应的列 . testK[1,1] 将具有在第一个测试示例和第一个支持向量之间计算的内核函数的值 . testK[1,2] 将在第一个测试示例和第二个支持向量之间具有内核函数值等 .

  Update (2014-01-30) to answer comment from @wrahool

  它已经玩了这个，所以 kernlab::ksvm 的细节有点生疏，但原则上这应该是正确的:-) ......这里是：

  testK < - K [holdout，-holdout]是什么意思 - 你不是要删除对应于测试集的列吗？

  是 . 简短的回答是，如果你想使用内核矩阵，你必须通过 support vectors 提供维度为 rows 的矩阵 . 对于矩阵的每一行（您要预测的新示例），列中的值只是在该示例和支持向量之间评估的内核矩阵的值 .

  对 SVindex(m) 的调用返回原始训练数据维度中给出的支持向量的索引 .

  所以，首先做 testK <- K[holdout, -holdout] 给我一个 testK 矩阵，其中包含我想要预测的示例行，并且这些列来自模型所训练的相同示例（维度） .

  我进一步通过 SVindex(m) 对 testK 的列进行了子集，只给出了（现在）对应于我的支持向量的列 . 如果我没有完成第一个 [, -holdout] 选择， SVindex(m) 返回的索引可能与正确的示例不对应（除非您的测试示例的所有 N 都是矩阵的最后 N 列） .

  另外，drop = FALSE条件到底是做什么的？

  这是一种防御性编码，以确保在执行索引操作后，返回的对象与索引的对象具有相同的类型 .

  在R中，如果仅索引2D（或更高（？））对象的一个维度，则返回较低维度的对象 . 我不想将 numeric 向量传递给 predict ，因为它想拥有 matrix

  例如

  x <- matrix(rnorm(50), nrow=10)
  
  class(x)
  [1] "matrix"
  
  dim(x)
  [1] 10  5
  
  y <- x[, 1]
  
  class(y)
  [1] "numeric"
  
  dim(y)
  NULL
  

  data.frame 等会发生同样的事情 .

  回复于 2024-04-29T18:46:03+08:00
• 2

  首先，我没有多用kernlab . 但只是查看文档，我确实看到了 predict.ksvm() 方法的工作示例 . 复制和粘贴，并省略打印到屏幕：

  ## example using the promotergene data set
   data(promotergene)
  
   ## create test and training set
   ind <- sample(1:dim(promotergene)[1],20)
   genetrain <- promotergene[-ind, ]
   genetest <- promotergene[ind, ]
  
   ## train a support vector machine
   gene <-  ksvm(Class~.,data=genetrain,kernel="rbfdot",\
                 kpar=list(sigma=0.015),C=70,cross=4,prob.model=TRUE)
  
   ## predict gene type probabilities on the test set
   genetype <- predict(gene,genetest,type="probabilities")
  

  这看起来非常简单：使用随机采样生成训练集 genetrain 及其补码 genetest ，然后通过 ksvm 拟合，使用拟合调用 predict() 方法，以及匹配格式的新数据 . 这是非常标准的 .

  您可能会发现Max Kuhn的caret包很有用 . 它为各种回归，分类和机器学习方法和包提供了一般评估和测试框架，包括kernlab，并包含几个小插图和一个JSS paper .

  回复于 2024-04-29T18:46:03+08:00
• 0

  Steve Lianoglou是对的 .

  在kernlab中，它有点连线，并且在预测时需要每个测试示例和支持向量之间的输入内核矩阵 . 你需要自己找到这个矩阵 .

  例如，测试矩阵[n×m]，其中n是测试样本的数量，m是学习模型中的支持向量的数量（按照SVindex（模型）的顺序排序） .

  示例代码

  trmat <- as.kernelMatrix(kernels[trainidx,trainidx])
  tsmat <- as.kernelMatrix(kernels[testidx,trainidx])
  
  #training
  model = ksvm(x=trmat, y=trlabels, type = "C-svc", C = 1)
  
  #testing
  thistsmat = as.kernelMatrix(tsmat[,SVindex(model)])
  tsprediction = predict(model, thistsmat, type = "decision")
  

  kernels是输入内核矩阵 . trainidx和testidx是用于训练和测试的ID .

  回复于 2024-04-29T18:46:03+08:00
• 21

  自己根据解决方案的元素构建标签 . 使用此替代预测方法，该方法采用ksvm模型（m）和原始训练格式的数据（d）

  predict.alt <- function(m, d){
    sign(d[, m@SVindex] %*% m@coef[[1]] - m@b)
  }
  

  K是 kernelMatrix 用于训练 . 为了验证，如果在训练数据上运行 predict.alt ，您会注意到备用预测器方法将值与ksvm返回的拟合值一起切换 . 本机预测器以意想不到的方式运行：

  aux <- data.frame(fit=kout@fitted, native=predict(kout, K), alt=predict.alt(m=kout, d=as.matrix(K))) 
  sample_n(aux, 10)
      fit  native alt
  1     0       0  -1
  100   1       0   1
  218   1       0   1
  200   1       0   1
  182   1       0   1
  87    0       0  -1
  183   1       0   1
  174   1       0   1
  94    1       0   1
  165   1       0   1
  

  回复于 2024-04-29T18:46:03+08:00