表现结果:训练vs测试

HeikoeWin786

亲爱的所有,

我是rapidMiner的新手，我想对航空公司数据集执行NBC。我有一个航空公司数据集，其中标记了情绪数据(正负和中性)。我将数据集划分为75/25数据分割，并执行文本处理(即标称到文本、数据到文档、用标记化预处理文档、停止词)。然而，当结果从预处理文档操作符输出word时，我发现负、正和中性数据列都有零值。然后，在我实现NBC之后，我得到的训练准确率为87%，而测试数据集的准确率为0.00%。

你能帮我理解我在这里错过了什么吗?

提前感谢!

Telcontar120

仅仅看这个截图是不可能诊断问题的。
这里有一些你可以检查的东西。
你是在分割之前还是之后执行文本预处理和处理?如果之前，那么应该没有问题，但如果之后，那么你可能需要将单词列表从训练集复制到测试集，否则模型输入将不一致?
你是用什么工具来获取情感的?我推荐提取情绪，它现在是文本处理扩展的一部分。

HeikoeWin786

@Telcontar120

非常感谢。
我重新审视了整个过程，我拆分了数据，对于测试数据，我使用了火车数据集文本预处理后的单词输出。然后我收到了结果。但是，训练数据和测试数据的结果是相同的。这正常吗?
例如:训练数据->文本预处理(存储单词输出)-> NBC
测试数据->文本预处理(输入上述步骤的单词输出)-> NBC
两种工艺的精度都是65%，这是理想的吗?

谢谢和问候。
Heikoe

Telcontar120

在没有看到数据的情况下，这是不可能的。这当然是可能的。

aengler

嗨海科,

在我看来，这个标签不知怎么就消失了。您是否可以检查单词列表是否仍然在单词训练数据集中提供标签属性(它被标记在某个绿色列中)?您还可以检查角色。有些操作符跳过了标签等特殊属性，从而丢失了它

此外，如果你在测试和训练之间划分25-75，那么在相同的过程中看到这一点将会很有趣。如果你总是在相同的过程中这样做，你就会防止你处理训练数据和测试数据的方式不同。

HeikoeWin786

@aengler
非常感谢你的解释。是的，我遵循了同样的过程。而且，每次测试和训练的结果(SVM或NBC)都返回几乎相同的结果。
我有点不确定这是否是理想的，这就是为什么。

谢谢,
Heikoe