SVM参数优化

克莱奥。

使用各种优化算子，结合交叉验证和性能算子，我想提高我的支持向量机的性能。我已经尝试了所有可用的内核，并尝试了C的不同值。

参数“C”的取值范围是否有“经验法则”?你还建议改变其他的参数吗?

谢谢,
克莱奥。

克莱奥。

根据《支持向量分类实用指南》
http://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf

最好在C = 2^- 5,2 ^-3 ....上使用松散网格搜索2^15和= 2^-15 2^-13 ....2^3，然后一旦确定了一个区域，使用更紧的网格。这是正确的吗?

他们还推荐使用RBG内核的libSVM。


另一篇论文建议使用混合系统。

非线性支持向量机模型紧随其后
利用线性支持向量机预测残差的非线性数据模式
模式。”

这可以用“堆叠”算子来实现吗?


谢谢,
克莱奥。

IngoRM

你好,

然后，一旦确定了一个区域，使用更紧密的网格。这是正确的吗?

原则上，是的。然而，对于C并没有一个普遍的正确范围(这是我在我的博士论文中详细阐述的，大约有50页)）

关于先执行全局模型后用非线性模型预测残差:这有时会有帮助。Stefan r平讨论了这个“全球”vs。“本地”模型方法，但总的来说，我没有感觉到它在准确性方面有帮助，但更多的是在可理解性方面。非线性模型也有可能得到基本的线性模型。这更多的是关于过度拟合的风险(这在正确的参数下不应该发生)，人们对线性模型的理解更好。

欢呼,
Ingo

克莱奥。

你好,

感谢您的回复，并祝贺您获得论文奖提名。2010年2月9日，我参加了Ralf Klinkenberg的“使用RapidMiner进行金融数据挖掘”课程，并试图复制他所呈现的结果，但没有成功。

Ralf Klinkenberg演示的第一个过程使用标准普尔500指数的收盘价作为唯一的输入，我在他的4.6版本的基础上制作了一个非常简单的5.0版本。

我认为我的问题是，似乎每个数据点都变成了一个支持向量，这让我相信模型记住了数据，而不是学习任何模式。我已经尝试添加一个优化参数操作符网格和进化来调整窗口大小，以及内核类型，c和epsilon值。

然后我计划添加输入，几篇论文建议使用不同长度的移动平均线和小波变换，Ralf Klinkenberg建议使用傅里叶变换。

你有什么改进这个型号的建议吗?

欢呼,
克莱奥。

< ?xml version="1.0" encoding="UTF-8" standalone="no"?>
<过程version = " 5.0 " >
> <上下文
<输入/ >
<输出/ >
<宏/ >
> < /上下文




< /操作符>



< /操作符>





< /操作符>








< /操作符>





> < /过程


<列出关键= " application_parameters " / >
< /操作符>





< /操作符>









> < /过程
< /操作符>











> < /过程
< /操作符>
> < /过程

数据
http://dl.dropbox.com/u/3978768/daily_sap.csv

IngoRM

嗨,克莱奥,

感谢您的回复，并祝贺您获得论文奖提名。

谢谢!: - *

我认为我的问题是，似乎每个数据点都变成了一个支持向量，这让我相信模型记住了数据，而不是学习任何模式。我已经尝试添加一个优化参数操作符网格和进化来调整窗口大小，以及内核类型，c和epsilon值。

对于回归问题来说，这是很正常的，通常所有的训练点最终都是支持向量，所以原则上这没什么好担心的。这尤其适用于所有非线性核函数。重要的是，如果确实发生过拟合，这只能通过在独立的测试集上评估模型来测试。

一般来说，我建议也优化适当的核参数，例如，对于径向基函数核函数，使用gamma(或sigma)。这些参数与C的组合通常比其他所有SVM参数都重要得多。还建议考虑窗口大小。

然后我计划添加输入，几篇论文建议使用不同长度的移动平均线和小波变换，Ralf Klinkenberg建议使用傅里叶变换。

这是很重要的一点:我还建议你把注意力转移到提取额外的特征上，并认为这比实际的学习方案重要得多。适当的特征加上简单的线性回归通常比高度优化的支持向量机或神经网络表现得更好。另一方面，使用那些更复杂的非线性学习方案通常不会在优化好的特征空间上增加更多的准确性。

所有提到的附加特征都有帮助，我还会考虑从频率空间甚至相位空间中提取的附加单个特征。

欢呼,
Ingo