“比较模型性能图”

dupolas

你好,

我想知道是否有可能在同一数据集上运行多个分类模型并比较不同的性能曲线。

例如，我在训练集和测试集上运行决策树、神经网络和逻辑回归，并希望比较训练和测试的性能。平方。avg错误)

这是可能的Rapidminer吗?我知道SAS是这样的，它对我很有用

非常感谢……

我在谷歌上搜索了一下，没有看到任何教程/帖子。

问候,

杰弗里

MariusHelf

你好,

我想你已经知道如何在RapidMiner中评估单个模型，例如使用X-Validation。X-Validation给出了一个性能向量，它应该包含均方根误差。这个值只是一个标量值，所以我不知道你想从哪个数据创建曲线。当然，您可以比较来自不同模型的值，如果您提取了性能值，您还可以将它们写入单个示例集，以便进行比较。

对于分类问题，我们可以创建ROC比较图。

对于性能曲线，请给我们更详细的描述您想要做什么。请阅读我签名中关于如何写出好问题的帖子链接。

挖掘快乐!
马吕斯~

dupolas

马吕斯

谢谢你的提示....仍然对数据挖掘的一些新概念感到困惑。

是的，我在寻找ROC曲线来解决分类问题。

然而，从概念上讲，在虹膜数据集上尝试这种方法并没有成功，因为标签需要是二项的，而不是多类的。因此，我必须稍微操作一下我的数据集，以获得“一个vs其余”的标签。在那里要学一些实用的东西

问候

杰弗里

MariusHelf

很好。如果你在任何地方卡住了，只要在这里发布消息!

Aprile

嗨，我也有同样的问题，我试过这个过程。但我不确定它在理论上是否正确但它实际上展示了我的三个模型的比较ROC。如果我做错了什么，你介意帮我讨论一下流程吗?

Aprile

https://community.www.turtlecreekpls.com/discussion/59501/how-to-compare-classification-models-in-the-same-time-with-compare-their-rocs-this-is-my-process#latest