可靠性标准。精度和增益

kkyc

大家好！

我是Rapidminer的新手。这将是一个简短的问题，我希望听到你的任何评论。

我将203行数据导入Rapidminer并运行autommodel。表现最好的模型是决策树模型，准确率=55.6%，标准差±12，增益=20，我可以判断这个模型是可靠的吗?为什么?Rapidminer有可靠性标准吗?

而重要因素的权重又是什么呢?在什么价值上这两者可以被认为是非常相关的?

非常感谢!

varunm1

你好@kkyc

要判断你的模型是否可靠，你需要考虑很多因素。
一个起点是模型性能，我看到它是55.6，刚好高于概率精度。现在要分析性能，您需要查看类的不平衡和每个类中的模型性能。例如，如果你的数据有A和B两个类别，你有113个样本属于A类，90个样本属于B类，你的模型预测所有样本都属于A类，那么你的准确率为55.6。在这种情况下，模型很糟糕，因为它从未预测过b类。所以您需要查看混淆矩阵或精度和召回指标。

如果您想在单个指标中找到这一点，可以使用“Kappa”性能指标。这不会受到类不平衡的影响，并为您提供稳定的性能指标。你可以用这个代替精确度。标准偏差也是一个需要考虑的主要因素。很难说什么是最好的价值，因为它取决于领域和你要解决的问题。

领域知识也是另一件重要的事情，在与你的问题相关的领域中，模型的精确度是55.6%。我认为55.6在任何领域都是低的，因为它只是高于机会的准确性，但没有严格的评论，因为我不知道数据。

其他需要考虑的事情是特征重要性、模型验证类型和成本敏感性矩阵。