有网格搜索的分类器精度与没有网格搜索的分类器精度不相似

南非南非 成员职位:4学我
你好,伙计们,当过程结束时,我正在进行网格搜索以调整随机森林参数,它为我提供了一组最佳参数以及RF最佳参数的准确性,现在我的问题是,当我通过设置我从网格搜索中获得的随机森林参数来运行没有网格搜索的过程时,我注意到我得到了降级精度??有人可以解释的差异,因为这两种方法是相同的,唯一的区别是,第一种方法是网格搜索和第二次没有网格搜索?
我已经包括了我的过程的截图

我的数据集是214个样本的玻璃类型,它包含1个重复行,6类不平衡数据,我运行我的过程如下
将数据集发送到优化参数(网格)操作符
内部优化参数(网格)操作符:
1-删除重复项
2 -正常化
3-将数据分割成80:20
只对训练数据使用Smote
5-列车RF
6-评估模型



Step1.png 10.7 k
Step2.png 31.4 k
射频Acc.png 11.4 k

答案

  • ceaperezceaperez 成员职位:409独角兽
    @Safa

    如果您使用相同的数据集,这是一种异常行为,请确保是这种情况。
    例如,我看到您正在使用分割操作符,根据参数,数据集(训练和测试)可能会有所不同。
    用稳定的训练和测试数据集来尝试这个过程,并检查它。

    最好的
    南非
  • 南非南非 成员职位:4学我
    @ceaperez我已经将分割操作符设置在分层模式和分割80:20两次,如果我错了,请纠正我,我认为分割操作符在两种情况下给予相同的80%用于培训和相同的20%用于测试?
  • ceaperezceaperez 成员职位:409独角兽
    @Safa
    分层抽样产生随机子集。
    我建议您使用拆分操作符一次,存储结果,然后在比较中使用新的示例集。

    最好的

    塞萨尔
    南非
  • 南非南非 成员职位:4学我
    @ceaperez
    我按照您说的做了拆分数据,然后将结果存储到两个单独的文件中。
    之后,我运行网格搜索并获得最佳参数和精度。
    然后我在没有网格搜索的情况下进行测试,但我仍然得到了一个降级的准确性??
    请检查我的截图,告诉我,如果我做错了什么??
  • ceaperezceaperez 成员职位:409独角兽
    2022年2月编辑
    @Safa

    Rapidminer最美妙的事情之一是,你有一个管道的整体视图,你可以一步一步地探索你的模型。
    我在你的模型中看到,精度比以前更接近于现在。这是因为我们消除了一个权威来源。
    Smote操作符是另一个。如果在同一数据集上两次使用Smote操作符,则不会获得相同的数据集。
    我邀请您使用smile扩展中的管道、断点和比较分布操作符来探索您的模型。

    最好的

    塞萨尔
    南非
  • 南非南非 成员职位:4学我
    @ceaperez谢谢你回答我的问题,真的很感激,我从你那里学到了一些东西,谢谢。
    我只用过一次smote,
    我也删除了smote,并且在不使用分割运算符的情况下再次测试,我仍然得到了降级的精度,我认为在网格搜索中使用性能运算符和不使用网格搜索会产生稍微不同的结果,谢谢
    致以最亲切的问候
登录注册置评。