类别

版本

您正在查看9.2 -版本的RapidMiner服务器文档点击这里查看最新版本

安装指南

在本指南中,我们将运行您在Linux环境中安装RapidMiner Server作为高可用性集群。它涵盖了第一次安装RapidMiner服务器高可用性,没有现有的数据。

术语

在本指南中,我们将使用以下术语:

  • 安装目录- 是在节点上安装RapidMiner Server的目录。
  • 共享主目录-<回家>共享RapidMiner服务器的主目录,集群中的所有节点都可以通过相同的路径访问。

测试RapidMiner服务器高可用性安装

在部署到生产环境之前,一定要彻底测试RapidMiner Server High Availability安装。

  • 在部署到生产环境之前,在登台环境中设置和测试RapidMiner Server High Availability。
  • 使用与生产实例相同的数据(存储库、用户、扩展)测试RapidMiner服务器高可用性。

访问RapidMiner服务器高可用性安装

当安装完成后,RapidMiner服务器的URL将是负载均衡器的URL;这台机器应该被DNS识别为RapidMiner服务器。其余的机器不需要对您的用户公开访问。

提供共享数据库、共享文件系统和ActiveMQ代理

提供共享数据库

设置共享数据库服务器,并确保数据库允许足够的并发连接。由于许多RapidMiner Server节点连接到同一个数据库,可能很快就会超过默认连接限制。例如,对于PostgreSQL,默认限制是100个连接。要增加该限制,请编辑postgresql.conf文件并增加max_connections,然后重启PostgreSQL。

提供共享文件系统

设置共享的NFS文件系统,并确保RapidMiner Server节点可以访问它并具有完整的读写权限。

Provision ActiveMQ代理

尽管RapidMiner Server集群将使用单个ActiveMQ实例运行,但我们强烈建议也将其集群化,因为高可用性依赖于每个组件的高可用性。您不希望ActiveMQ成为单点故障。为了完整起见,下面列出了单节点设置和集群设置。

单节点ActiveMQ设置

  • 下载并安装ActiveMQ。

目前只ActiveMQ版本5.14.5已经过测试,并正式支持,但请随时测试更多更新5。x版本。

如果您使用的是GNU/Linux, ActiveMQ包应该由您的发行版提供。您可以使用包管理器轻松地安装它们,并在initd或systemd等系统守护进程的帮助下启动应用程序。

  • 配置ActiveMQ代理用户,该用户将被RapidMiner服务器和作业代理使用:

    • 开放< activemq-conf-dir > /还并添加一个新的代理用户和密码(例如,用户“brokerUser”的密码为“brokerP4ssw0rd”):

      管理= admin brokerUser = brokerP4ssw0rd
    • 开放< activemq-conf-dir > /您并将新用户添加到users组中:

      管理员= admin用户= brokerUser
  • 写下新用户的凭据。需要它们来配置从RapidMiner服务器和从作业代理到代理的连接。

  • 启动ActiveMQ。

群集的ActiveMQ设置

  • 在作为ActiveMQ实例的所有机器上下载并安装ActiveMQ。
  • 在每台机器上安装ActiveMQ实例。为此,请遵循所描述的任何设置在这里
    • 建议使用Shared File System Master从服务器设置因为您的集群设置已经为RapidMiner Server主目录提供了一个共享文件系统。
    • 请确保所有实例共享相同的代理用户凭据(关于如何设置凭据,请参阅“单节点ActiveMQ设置”)。
  • 启动所有实例。

准备无头安装

为了在节点上安装RapidMiner Server,我们将使用无头安装选项。给出了详细的描述无头安装文档页面。然而,这里有一个关于如何准备无头安装的简短概述:

  1. 在具有UI的机器上下载RapidMiner Server安装程序
  2. 启动安装程序并选择“Install RapidMiner Server on a headless machine”选项
  3. 执行安装程序步骤并使用适合于RapidMiner Server集群设置的配置值
    1. 使用可达的主机名/IP地址load_balancer_address服务器主机名的负载均衡器
    2. 一定要禁用捆绑的职位代理
    3. 启用Radoop代理
  4. 最后,生成安装XML文件并将其存储在磁盘上。该文件将用于在节点上安装RapidMiner Server。

准备第一个RapidMiner Server节点

  1. 提供第一个RapidMiner Server节点的基础设施。您可以通过使用配置管理工具(如Chef或Puppet)或旋转相同的虚拟机快照来自动化此操作。
  2. 确保您的RapidMiner Server节点的文件系统支持UTF-8。如果没有,将以下语句添加到/etc/environment配置文件:

    LC_ALL = en_US。utf - 8LANG=en_US.UTF-8
  3. 挂载共享主目录。

    • 例如,假设您的RapidMiner服务器主目录是/var/rapidminer/application-data rapidminer-server /共享的主目录可以作为NFS导出文件调用rapidminer-san: / rapidminer-server-home。将以下行添加到挂载在每个集群节点上:

      Rapidminer-san:/rapidminer-server-home /var/rapidminer/application-data/rapidminer-server/ NFS lookupcache=pos,noatime,intr,rsize=32768,wsize=32768 0 0
    • 然后挂载它:

      Mkdir -p /var/rapidminer/application-data/rapidminer-server/ sudo mount -a
  4. 确保所有节点具有同步的时钟和相同的时区配置。下面是一些如何做到这一点的例子:

    • Red Hat Enterprise Linux或CentOS:

      Sudo yum install NTP Sudo service NTP start Sudo tzselect
    • Ubuntu:

      Sudo apt-get安装NTP Sudo service NTP start Sudo dpkg-reconfigure tzdata

在第一个节点上安装RapidMiner Server

一旦第一个RapidMiner Server节点的基础设施可用并满足所有节点要求,您就可以开始安装RapidMiner Server。

安装RapidMiner Server

  1. 下载RapidMiner Server安装程序并解压
  2. 将无头安装XML文件上传到节点
  3. 运行无头安装:

    CD  ./bin/rapidminer-server-installer .xml

调整配置

安装完成后,您需要调整一些配置来配置RapidMiner Server的高可用性。

  1. 首先适应execution.properties配置文件,以启用集群模式。该文件可以在<回家>共享/配置/文件夹中。

    1. 为RapidMiner服务器启用集群模式

      rapidminer.server.isClustered = true
    2. 将负载平衡器URL配置为RapidMiner服务器URL,如下所示

      Rapidminer.server.protocol = HTTP rapidminer.server.host =  rapidminer.server.port = 
    3. 禁用嵌入的ActiveMQ代理,并像这样指向外部代理:

      jobservice.queue.activemq.embeddedBroker.enabled = false jobservice.queue.activemq.uri = failover:(tcp://172.31.21.116:61616,tcp://172.31.21.112:61616) jobservice.queue.activemq.username = brokerUser jobservice.queue.activemq.password = brokerP4ssw0rd
  2. 下一个更新scheduler.properties配置文件以启用集群调度程序。配置文件位于与execution.properties文件。添加以下行:

    org.quartz.jobStore.isClustered = true org.quartz.jobStore.clusterCheckinInterval = 10000
  3. 编辑standalone.conf文件位于<安装目录> / bin /文件夹中。

    1. 寻找

      JAVA_OPTS = " JAVA_OPTS -Djboss.server.log.dir = RAPIDMINER_SERVER_HOME美元/日志”

      并将其更改为与实例名称匹配的新日志文件夹。例如:

      JAVA_OPTS = " JAVA_OPTS -Djboss.server.log.dir = RAPIDMINER_SERVER_HOME美元/日志/ instance1”
    2. 另外,添加一个新行,将执行后端指向本地主机就在其他JAVA_OPTS行旁边。例如:

      JAVA_OPTS = " $ JAVA_OPTS -Dexecution-backend-url = http://localhost: 8080 /执行”
  4. 将RapidMiner Server节点添加到负载均衡器中

  5. 启动第一个RapidMiner Server节点
  6. 打开Web UI的RapidMiner服务器在http (s): / / < load_balancer_address >: <口>以管理员身份登录
  7. 确保一切工作正常(例如,加载扩展,服务器日志可以检查,等等)。

安装其他RapidMiner Server节点

一旦第一个RapidMiner Server节点启动并运行,就可以向集群中添加更多节点。有两种方式可以添加更多节点:手动或使用第一个节点的快照。下面对两者进行了描述。手动选项需要更多的努力。

手动添加节点

手动添加节点。

  1. 为其他模式提供基础设施,然后重复中描述的无头安装步骤上面的部分
  2. 你做需要重新调整整个配置。但不幸的是,每个RapidMiner Server无头安装都会覆盖初始安装的共享配置文件夹。请到<回家>共享文件夹,并在每次无头安装完成后恢复备份配置。例如:

    CD  ./bin/rapidminer-server-installer .xml ### #等待安装完成### CD /var/rapidminer/application-data/rapidminer-server/ #删除新创建的配置并替换初始配置rm -rf configuration/ mv configuration_backup_9.1.0_2018-11-08_14-40-42/ configuration/
  3. 在文件中配置一个新的日志文件夹<安装目录> / bin / standalone.conf,如所述在上面的部分中

  4. 安装完成并恢复初始配置后,可以通过添加IP地址和端口使新节点作为端点可用8080loadbalance
  5. 启动新的RapidMiner Server节点

从快照中添加节点

如果您在虚拟基础设施或云中运行RapidMiner Server,我们建议创建初始节点的快照,然后从快照中添加新节点。

这样做:

  1. 在初始节点关闭RapidMiner Server
  2. 创建虚拟实例的快照
  3. 创建快照后,重新启动初始RapidMiner Server节点
  4. 从刚刚创建的快照创建一个新节点
  5. SSH到新的集群节点,并在目录中配置新的日志文件夹<安装目录> / bin / standalone.conf文件如下所述在上面的部分中
  6. 将新节点添加到负载均衡器
  7. 启动新的RapidMiner Server节点

安装作业代理

每个Job Agent都应该安装在专用的机器上。您可以从RapidMiner Server的web界面下载Job Agent ZIP文件,或者您可以调用REST API。我们推荐第二种方法,因为您不必通过SSH将ZIP文件上传到专用的Job Agent计算机。使用第二种方法,步骤如下:

  1. SSH到将要运行JobAgent的机器。
  2. 下载JobAgent ZIP文件。

    1. 的令牌值idToken字段)有资格访问下载JobAgent路由,例如admin用户:

      curl -u admin:PASSWORD http(s)://:/api/rest/tokenservice
    2. 下载队列QUEUENAME的ZIP文件。默认队列名为default。请注意,名称是区分大小写的。

      curl -H "Authorization: Bearer TOKEN_FROM_REQUEST_ABOVE" http(s)://:/executions/queues/QUEUENAME/agent——output /path/to/save/location/JobAgent.zip
  3. 将ZIP文件解压缩到您喜欢的位置。例如:

    unzip /path/to/save/location/JobAgent.zip -d /path/to/extract/location
  4. 调整属性家庭/ config /溶剂进行根据你的需要进行归档。ActiveMQ代理URI应该指向已经配置的ActiveMQ集群execution.properties共享RapidMiner服务器主目录下的文件。的uri属性表示一组具有默认端口的可用ActiveMQ实例61616。例如:

    jobagent.queue.activemq.uri = failover:(tcp://172.31.21.116:61616,tcp://172.31.21.112:61616) jobagent.queue.activemq.username = brokerUser jobagent.queue.activemq.password = brokerP4ssw0rd
  5. (可选)添加扩展或JDBC驱动。

  6. 启动JobAgent。

恭喜你!

就是这样!RapidMiner服务器在高可用模式下可以通过如下URL访问:http (s): / / < load_balancer_address >: <口>