哪个混淆矩阵更好?

NatalySimth

我得到了以下两个模型的结果:

准确性Model1	92.22%	/模型2 96.95%
回忆	94.20%	/ 94.20%
精度	64.33%	/ 84.74%
F1-Score	76.45%	/ 89.21%

我还拿到了电梯图和附件。我如何根据电梯图和我的计算来分类我的结果?知道这个术语是在识别垃圾邮件。

IngoRM

好了，有几件事:

1. 在不知道其他任何事情的情况下，Model 2更可能做出更好的预测(“更好”的含义影响更大)。这是基于a)更高的准确性和b)具有相同召回率的更高精度，c)也会导致更高的f1分数。
2. 然而，两种模型的影响可能是相同的，或者可能模型1具有更大的业务影响。错过一封重要的电子邮件，因为它被错误地归类为垃圾邮件的代价是什么?垃圾邮件通过过滤器的成本是多少?基于这些值，您可以(并且应该)确定最重要的事情:模型的影响是什么?哪一个有更多?这比什么都不做，把所有事情都当作“没有垃圾邮件”好吗?你会惊讶地发现，即使错误率很低的模型实际上也没有比一般情况下不使用模型表现得更好……
3. 你的升降图看起来很奇怪。你可以尝试使用电梯图表(简单)，它已经推出了一段时间，看看他们是否看起来更好。否则，这些图表看起来几乎所有的置信值都是0和1，这经常发生在文本分类和NB等模型中。

希望这些建议能有所帮助……
欢呼,
Ingo