并行处理——多个服务器实例

Nikouy

亲爱的社区,

我目前正在做我的硕士研究论文，这是基于Rapidminer和云部署模型。因此，我可能会在我的研究和问题出现时打扰你．

我想回答的一个问题是:Rapidminer是否支持并行处理，或者支持多个实例(部署不同的服务器)协同挖掘相同的数据集?

如果您能帮助我回答这些问题，并为我指出正确的方向来探索各种选择，我将不胜感激。虽然Rapidminer平台可能不直接支持这种设置，但一些变通方法或自定义配置或数据挖掘策略可能支持这种设置。

任何帮助或反馈是非常欢迎的。

提前感谢，

尼古拉。

BalazsBarany

你好尼古拉斯,

Studio和Server共享相同的执行引擎。因此，Studio中的并行进程也可以在Server上并行工作。

在多个独立系统之间共享数据挖掘算法是一个活跃的研究课题。对于大多数机器学习算法来说，这样做是不值得的，因为网络通信延迟会使整个过程比在一个系统上执行少量进程效率低得多。

也有例外，比如使用TensorFlow和深度学习扩展构建神经网络。这可以使用带有或不带有gpu的多个系统来解决一个问题。

还有一些相关的操作非常容易并行化。例如，您可以在多个服务器上与现有模型并行地对大型数据集进行评分。您可以将Radoop与Hadoop集群一起使用，以并行处理预处理、过滤等，并构建一些模型类型。

问候,

Balazs

sgenzer

嗨@Nikouy让我看看能不能帮到你。

Rapidminer支持并行处理吗

绝对的。这是现在的默认模式。你可以在Preferences中进行控制:

或者有多个实例(部署不同的服务器)协同挖掘相同的数据集?

绝对的。请参阅https://docs.www.turtlecreekpls.com/latest/server/overview/

Nikouy

你好,斯科特,

谢谢你的回复，如果我的问题没有说清楚，我很抱歉。

当我说并行处理时，我指的是多个服务器实例或作业代理协同并行地挖掘相同的数据集，或者同时处理相同的执行/进程。这可能吗?

另外，我看到你的截图来自RM Studio。当流程在RM服务器中执行时，这些设置是否会影响流程的执行，或者仅控制本地RM studio实例中的并行处理?

谢谢,

尼古拉。