通过RapidMiner部署管理增加AI HUB的分配内存

MelihckMelihck 成员职位:8学我
你好,RM的好朋友们;

几个小时、几天之后,我可以把我的RM Studio连接到Azure中的VM64gb内存和8核CPU。并且对执行更复杂的任务感到兴奋。

但一个尴尬的问题是只有一步在我编辑。env文件通过RapidMiner部署管理。默认数字是这样的:SERVER_MAX_MEMORY = 2048JOBAGENT_CONTAINER_MEMORYLIMIT = 8192

我在试着编辑.env文件,以增加内存限制,但每次我得到“无效的配置”错误。我正在试着打字:
SERVER_MAX_MEMORY = 8192
JOBAGENT_CONTAINER_MEMORYLIMIT = 16384

即使我只是从。env文件中删除“#”符号,或者只是复制其中的所有内容并粘贴,仍然会发生相同的错误。

提前谢谢你,我保证你的名字会被载入科学史:)

答案

  • kaymankayman 成员职位:662独角兽
    2021年5月编辑
    您的服务器最大内存实际上不需要超过默认的2048M,因为这只是为了运行“容器”逻辑。实际上你只会消耗掉一半。

    配置取决于您的许可证,而不是您可以在服务器中放入的内存量。

    因此,假设您有一个允许您总共运行64G的许可证,并且您希望能够并行运行4个进程(作业代理),那么您的env文件将为您的服务器提供2gb,并且((64个总计-2已占用/4个代理)),因此每个代理大约为15.g。

    任何超过许可总数的组合都将显示残酷的配置错误。因此,对于服务器,请坚持使用2048,并增加代理分配(基于总数),直到得到错误。

    您可以创建不同的队列,因此您的默认队列可能有4个代理,另一个队列可能有2个代理,每个代理的内存可能是它的两倍,而另一个队列可能只有一个代理,您可以给它完整的62G。

    只要您同时只运行一个队列,这就在许可逻辑之内。



    Melihck
  • MelihckMelihck 成员职位:8学我
    你好,Kayman,谢谢你的详细解释。

    是的,我的执照允许我有64gb。我只想运行一个进程:)

    我已经尝试了很多方法来编辑嫉妒甚至减少JOBAGENT_CONTAINER_MEMORYLIMIT但我不能改变里面的任何东西。
    .env文件在某种程度上是受保护的。

    Sharan_Gadi如下所述:
    https://community.www.turtlecreekpls.com/discussion/56411/how-can-i-change-the-maximum-memory-setting-for-rm-server-on-azure

    但如果有更简单的方法就更好了。
  • kaymankayman 成员职位:662独角兽
    检查您的代理配置文件(home - config)
    不确定正确的路径,但其中一个文件包含默认队列的设置。这个文件提到它将运行多少代理(在您的场景中更改为1)并设置分配的内存。
  • aschaferdiekaschaferdiek 员工,成员职位:75RM工程
    2021年6月编辑
    嗨。这一SERVER_MAX_MEMORY属性只负责生成容器正确的。此属性负责直接为所有执行提供多少内存人工智能中心(第一个执行类型),主要是Web服务。此外,它还决定了在AI Hub启动时启动的整个web服务器的内存。

    第二个类型是RTS应用程序,它能够提供与Web服务类似的功能。请参阅我们的文档:https://docs.www.turtlecreekpls.com/latest/scoring-agent/

    第三以及您希望为其增加内存的执行类型,都是“批处理作业”。你可以在AI Hub/Studio下拉菜单中安排或直接点击执行。它们由Job Agents以分布式方式处理。作业代理本身只负责管理/生成作业容器(为此只分配大约128到256M RAM)。作业容器将执行实际工作并运行RapidMiner进程。您已经找到了正确的属性。JOBAGENT_CONTAINER_MEMORYLIMIT将设置由作业代理生成的每个作业容器的最大分配内存(JOBAGENT_CONTAINER_COUNT决定多少,默认为1)。

    在docker环境中,您可能应该使用环境变量来设置这些属性。在本机安装中,您可以直接更改代理。属性文件@kayman提及。为捆绑作业代理,它驻留在rapidminer-server-home/ Job - Agent -home/home/ Agent中。属性,否则它将位于您提取下载的JobAgent到的位置。


    MartinLiebig
登录注册置评。