深度学习扩展中缺少GELU激活函数。如何实现?

Enes_A

嘿，我希望你一切都好。

我想在Rapidminer中实现一个特定的深度学习架构。为此，我需要在我的全连接层中使用GELU激活函数，这是不存在的。在这个体系结构中，我还必须实现其他操作，比如跳过连接。

我试着在特定的地方执行一个自定义Python脚本，这对我来说不工作，因为，你不能有一个层架构作为脚本文件的输入。这就是为什么Rapidminer在这里抛出一个错误。

所以我想问，我有什么选择?我想过在Python中完全实现模态，但我喜欢Rapidminer，所以我想使用它。

我希望我能清楚地说出我的问题。如果有什么不清楚的地方，尽管问。

最佳regarcs,

在

pschlunder

嗨@Enes_A，

谢谢你的联系。关于激活函数:我刚刚检查了我们正在使用的底层库(DL4J)GELU和其他激活包括我们还没曝光的。我非常肯定，我们将能够在下一个版本中更新支持的激活列表，以包括GELU和其他激活。

关于skip-connections:

如果您能够围绕添加跳过连接的需求描述用例，那就太好了。我们主要是尝试添加以用例为重点的功能，了解您的应用程序将对这有好处。

在我们将这些添加到扩展之前，您的选择是用python创建模型，例如在RapidMiner中使用它的应用程序。我强烈推荐你看看我们的集成的笔记本它与平台的其他部分相连接，允许你直接从python内的项目中访问数据，以便稍后将结果(例如模型)推入项目中，以便在其他RapidMiner进程中使用它。

但我想对你来说更有趣的可能是最近添加的从python代码在RapidMiner中创建可重用操作符的机制．所以你基本上可以用python创建自己的体系结构，并将代码片段转换为带有参数的操作符，你可以在Studio/AI Hub中运行以进行训练。这种机制允许你将网络中的超参数作为RapidMiner操作符的参数公开，同时也确保你以后可以在Studio中应用该模型，因为你可以在操作符创建过程中为训练和应用程序提供代码。

希望这个有帮助。