ROC分析的解释

Muhammed_Fatih_

你好,社区,

我考虑了四种分类模型，得出了如下的ROC曲线:



如你所见，SVM和k-NN分别生成一条阴影存在的曲线。

如果从图中得出只有k-NN和SVM能够基于给定的数据集学习，而其余两个(DT和NB)不能，这是不是一个正确的含义?

阴影的具体含义是什么?我将它们解释为学习间隔偏差，它产生了阴影过程与平均值之间的曲线。

我提前感谢你的帮助!

最好的问候,

Fatih

varunm1

你好@Muhammed_Fatih_

如果ROC曲线与最优曲线齐头并进，你认为标记的ROC轨迹是常见的吗?

是的，你得到了一条最优曲线。
这很常见吗?在我的作品中不是很常见，但我在学习上取得了一些理想的成绩。大多数情况下，它与一个强有力的假设和我们在数据中寻找的东西有关。

你能得到最优的ROC吗?
是的，如果数据非常适合模型的训练和预测。

我理解你对好成绩持怀疑态度的原因，当我们取得好成绩时，担心是件好事。当你得到这些结果时，你应该深入分析。一个模型可以给出很好的结果有很多原因，你应该仔细检查你的数据、模型构建和假设，看看在构建模型时是否没有概念错误。

您应该考虑分析中的一些陷阱，例如忽略数据中的时间关系和预测器(目标变量的副本)。你可以在谷歌上搜索到很多其他的。

(删除用户)

你好

你可以观看这个视频，我希望能帮助你
https://academy.www.turtlecreekpls.com/learn/video/finding-the-right-model

愿一切都好！
mbs

varunm1

你好@Muhammed_Fatih_

你确定决策树和NB没有学习吗?根据ROC曲线，我看到它们的AUC值是1或更接近1。如果我的想法是正确的，那么DT和NB是与SVM和KNN相比准确率非常高的判别类。

Muhammed_Fatih_

你好@mbs，

谢谢你的链接!

Helloo@varunm1，

我不确定他们是否学到了。但当我看到与SVM和k-NN相比达到如此高的值时，它看起来像是一个过度拟合的指标。你怎么看?你会把DT和NB也解释为合适的解吗?如果是，为什么?

varunm1

你好@Muhammed_Fatih_

我可以根据你所做的数据和分析类型来评论。如果是分割验证，那么您可能会随机获得这样的高性能。还有其他因素，比如数据中的时间特征，以及当你得到这种非常好的结果时，你需要做的许多其他检查。

Muhammed_Fatih_

你好@varunm1，

谢谢你的回答!我之所以使用交叉验证，是因为研究表明，与分割验证相比，它产生的预测更准确。

varunm1

你好@Muhammed_Fatih_

交叉验证是一种很好的验证方法，但是如果您的数据具有一些时间(依赖于时间的)特征和混淆关系，那么它有时可能会高估性能。但如果你认为没有，那么这些模型可能做得很好。不同的模型适用于不同类型的数据。

您还可以根据数据的大小将原始数据按70:30或80:20分割，然后对主要部分进行交叉验证，并测试次要部分，以查看模型的运行情况。

(删除用户)

@Muhammed_Fatih_

你好

这是更多的信息。一篇来自@sgenzer
https://community.www.turtlecreekpls.com/discussion/55112/cross-validation-and-its-outputs-in-rm-studio

祝你好运

Muhammed_Fatih_

你好@varunm1，
你好@mbs，

谢谢你的回答!

回到并完善最初的问题:如果ROC曲线与最优曲线齐头并进，您认为标记的ROC轨迹是常见的吗?这在一般情况下可能吗?