首页 文章

如何提高SVM的性能？

提问于
浏览 次
1

我使用LIBSVM和MatLab将3个类中的34x5数据分类 . 我应用了10倍Kfold交叉验证方法和RBF内核 . 输出是这个混淆矩阵，具有0.88正确率（88％准确度） . 这是我的困惑矩阵

9   0   0
0   3   0
0   4   18

我想知道SVM中要考虑哪些方法来提高机器学习技术中的准确性或其他分类方法 . 有帮助吗？

这是我的SVM分类代码

load Turn180SVM1; //load data file
libsvm_options = '-s 1 -t 2 -d 3 -r 0 -c 1 -n 0.1 -p 0.1 -m 100 -e 0.000001 -h 1 -b 0 -wi 1 -q';//svm options

C=size(Turn180SVM1,2);

% cross validation
for i = 1:10
    indices = crossvalind('Kfold',Turn180SVM1(:,C),10);
    cp = classperf(Turn180SVM1(:,C)); 
    for j = 1:10
        [X, Z] = find(indices(:,end)==j);%testing
        [Y, Z] = find(indices(:,end)~=j);%training


feature_training = Turn180SVM1([Y'],[1:C-1]); feature_testing = Turn180SVM1([X'],[1:C-1]);
class_training = Turn180SVM1([Y'],end); class_testing = Turn180SVM1([X'], end);
% SVM Training
       disp('training');
       [feature_training,ps] = mapminmax(feature_training',0,1);
       feature_training = feature_training';
       feature_testing = mapminmax('apply',feature_testing',ps)';
       model = svmtrain(class_training,feature_training,libsvm_options);  
% 

% SVM Prediction       
        disp('testing');
        TestPredict = svmpredict(class_testing,sparse(feature_testing),model);
       TestErrap = sum(TestPredict~=class_testing)./length(class_testing)*100;
         cp = classperf(cp, TestPredict, X);
        disp(((i-1)*10 )+j);
end;
end;
[ConMat,order] = confusionmat(TestPredict,class_testing);
cp.CorrectRate;
cp.CountingMatrix;
matlab machine-learning classification svm libsvm

1 回答

  • 2

    存在许多方法 . 如果您的调整过程是最佳的（例如，执行良好的交叉验证），您的选择包括：

    • 改进预处理，可能基于领域知识定制新的聚合特征 . 最重要的（也是最有效的）：确保您的输入正确标准化，例如将每个维度缩放到[-1,1] .

    • 使用另一个内核：已知RBF内核在各种设置中都能很好地运行，但是许多任务都存在专用内核 . 除非你知道自己在做什么，否则不要考虑这个 . 由于您正在处理低维问题，如果您的数据不是结构化的，RBF可能是一个不错的选择 .

    • 重新训练实例：当您的数据集不 balancer 时尤为重要（例如，某些类的实例数比其他类少得多） . 您可以使用libsvm中的 -wX 选项执行此操作 . 存在各种重新加权方案，包括助推的变体 . 我不是这方面的主要粉丝，因为这种方法容易过度拟合 .

    • 更改交叉验证成本函数以满足您的确切需求 . 准确性真的是你正在寻找的，或者你想要，比如说，高F1或高ROC-AUC？令人惊讶的是，有多少人优化了他们并不感兴趣的绩效指标 .

    回复于

相关问题