交叉验证-宏观平均精度计算

pipaso

我认为宏观平均精度是通过平均每一次获得的精度分数来计算的。然而，在我的例子中，平均给出了不同的结果。有什么问题吗?

David_A

嗨@pipaso，

也许Ingo的这个答案可以帮助你理解宏观平均值是如何计算的:

https://community.www.turtlecreekpls.com/discussion/comment/13873#Comment_13873

最好的
大卫

pipaso

谢谢@David_A，

我已经看过那个答案了。我做了同样的事情，答案建议，但结果是不同的。例如，平均精度为(0.8516916+0.8314766+0.8547022)/3 = 0.845957。而在rapidminer中，如图所示为0.8444077。同样的结果也适用于kappa和recall。有什么问题吗?顺便说一下，这是没有错误的微型结果。

sgenzer

@pipaso您是否尝试检查“使用本地随机种子”框?你可能会因为不同的随机种子而得到不同的结果。您可以使用这个特性来保持这个常数。

pipaso

@sgenzer我已经试过了，但我不认为这与这个问题有关。rapidminer宏平均计算代码有问题。每个人都可以尝试一个简单的例子，看看结果是不同的。

sgenzer

好吧谢谢@pipaso我们把这个推给工程部，看看他们怎么说

IngoRM

谢谢你的报告，但是我恐怕无法确认这个问题。看看下面这个过程——对我来说，单次折叠的平均值和交叉验证提供的价值是一样的……

请使用显示问题的样本数据集之一提交一个过程，我们可以再次检查。

谢谢你的帮助。
Ingo

<？xml version="1.0" encoding="UTF-8"?> <过程version = " 9.6.000-SNAPSHOT”>
> <上下文
<输入/ >
<输出/ >
<宏/ >
> < /上下文







<过程扩展= " true " >


< /操作符>








<过程扩展= " true " >


< /操作符>





> < /过程
<过程扩展= " true " >

<列出关键= " application_parameters " / >

< /操作符>

























<列出关键= " class_weights " / >
< /操作符>

<列出关键= "日志" >

< / >列表



< /操作符>











> < /过程
< /操作符>


< /操作符>















<列出关键= " aggregation_attributes " >

< / >列表




< /操作符>








> < /过程
< /操作符>
> < /过程

pipaso

@IngoRM非常感谢您的回答。我发现了我的错误，但不知道这意味着什么。如果你检查我之前消息中的截图，问题是由第三个截图中的Multiply(2)对象引起的。我把它擦掉了，问题就解决了。我注意到我的示例集包含2400个示例。然而，我从我的设计中得到的不删除对象的混淆矩阵包含了更多的例子。我仍然不知道“乘法(2)”对象是如何引起这样的问题的。

IngoRM

你好,

谢谢你回来。我不确定它是否真的是乘以TBH。但似乎是连接到交叉验证中的第二个“per”端口触发了问题。下面是一个显示您所描述的问题的最小过程:如果您连接第二个“per”端口，则平均值似乎是错误的。如果你把它断开(即使里面仍然使用乘法)，那么问题就解决了，平均值是正确的。

我必须承认我不知道是什么原因造成的，所以我们的工程团队应该深入调查一下…

再次感谢你的报道和深入报道。

最好的
Ingo

<？xml version="1.0" encoding="UTF-8"?> <过程version = " 9.6.000-SNAPSHOT”>
> <上下文
<输入/ >
<输出/ >
<宏/ >
> < /上下文







<过程扩展= " true " >


< /操作符>








<过程扩展= " true " >


< /操作符>





> < /过程
<过程扩展= " true " >

<列出关键= " application_parameters " / >

< /操作符>

























<列出关键= " class_weights " / >
< /操作符>


<列出关键= "日志" >

< / >列表



< /操作符>














> < /过程
< /操作符>


< /操作符>















<列出关键= " aggregation_attributes " >

< / >列表




< /操作符>










> < /过程
< /操作符>
> < /过程

pipaso

@IngoRM我希望团队能找到问题所在。我很乐意帮忙。再次感谢。