RapidMiner自动模型自定义验证集

christos_karras · 2019年10月

我想为RapidMiner autommodel做一个功能请求:它应该可以自定义训练和验证数据的分割方式。我经常使用时间序列数据，在这种类型的数据中，在时间上接近的行之间经常存在相关性。autommodel随机分割训练集和验证集，这意味着由于附近行之间的相关性，来自验证集的信息泄漏到训练集。因此，autommodel总是高估了模型在新数据上的效果。autommodel应该允许选择另一种训练-验证分割方法，例如线性抽样。此外，对于内置方法不适合的情况，应该可以为AutoModel指定自定义验证集，以便在AutoModel中尝试之前使用任何方法来分割数据集，从而提供灵活性。

varunm1 · 2019年10月

你好@christos_karras

你能提供更多关于你在汽车模型中寻找什么样的功能的细节吗?

christos_karras · 2019年10月

嗨@varunm1，请参阅我编辑的描述(在我完成详细内容之前，原始评论已保存)。谢谢

varunm1 · 2019年10月

你好@christos_karras

谢谢，我看过了。实际上，当前的汽车模型不适合时间序列数据，因为你已经提到了原因，我就不深入了。但是，如果在将数据提供给ML模型之前添加适当的操作符(如窗口)，您仍然可以对时间序列使用自动模型过程。这需要在auto model完成流程运行后进入流程进行手动定制。您始终可以在auto模型中打开流程，并仔细地对流程进行更改。在许多情况下，我将拆分更改为交叉验证和@Noel使用自动模型过程的时间序列预测使用窗口算子。由于auto model中有许多连接需要手动定制，因此一开始有点挑战，但由于9.4 auto model中的操作符安排比以前的版本要好得多@IngoRM的。

@IngoRM如果有时间序列的计划，可能会通知你。我想他肯定会有一些。

就是2c。

christos_karras · 2019年10月

是的，正如您所解释的，我不得不自定义由autommodel生成的流程，与简单地使用autommodel相比，这需要更长的时间。虽然对时间序列有更深入的支持是很好的，但在短期内，我认为添加自定义验证集的能力将是一种简单的方法，使其对时间序列数据更有用，或者任何其他随机分割不足够的情况下。

我知道autommodel并不打算完全取代自定义过程，而只是一种更快入门的方法。然而，如果autommodel高估了某些模型类型的性能，它可能会导致采取错误的方向进行进一步的定制。例如，在不正确的训练-验证分割情况下，autommodel可以确定随机森林是最佳选择，但是当我尝试使用自定义过程时，我可能会发现随机森林不是那么好，使用线性模型会更好。