类别

版本

  1. 文档
  3. 服务器
  4. 高可用性
  5. RapidMiner服务器高可用性安装指南

您正在查看9.7 -版本的RapidMiner服务器文档点击这里查看最新版本

安装指南

看到部署文档学习如何将RapidMiner部署为高可用性集群。

推荐的方法是使用Kubernetes。如果您更喜欢非kubernetes解决方案，则提供以下文档。

在本指南中，我们将运行您在Linux环境中安装RapidMiner Server作为高可用性集群。它涵盖了第一次安装RapidMiner服务器高可用性，没有现有的数据。

术语

在本指南中，我们将使用以下术语:

  • 安装目录- 是在节点上安装RapidMiner Server的目录。
  • 共享主目录-<回家>共享RapidMiner服务器的主目录，集群中的所有节点都可以通过相同的路径访问。

测试RapidMiner服务器高可用性安装

在部署到生产环境之前，一定要彻底测试RapidMiner Server High Availability安装。

  • 在部署到生产环境之前，在登台环境中设置和测试RapidMiner Server High Availability。
  • 使用与生产实例相同的数据(存储库、用户、扩展)测试RapidMiner服务器高可用性。

访问RapidMiner服务器高可用性安装

当安装完成后，RapidMiner服务器的URL将是负载均衡器的URL;这台机器应该被DNS识别为RapidMiner服务器。其余的机器不需要对您的用户公开访问。

提供共享数据库、共享文件系统和ActiveMQ代理

提供共享数据库

设置共享数据库服务器，并确保数据库允许足够的并发连接。由于许多RapidMiner Server节点连接到同一个数据库，可能很快就会超过默认连接限制。例如，对于PostgreSQL，默认限制是100个连接。要增加该限制，请编辑postgresql.conf文件并增加max_connections，然后重启PostgreSQL。

提供共享文件系统

设置共享的NFS文件系统，并确保RapidMiner Server节点可以访问它并具有完整的读写权限。

Provision ActiveMQ代理

尽管RapidMiner Server集群将使用单个ActiveMQ实例运行，但我们强烈建议也将其集群化，因为高可用性依赖于每个组件的高可用性。您不希望ActiveMQ成为单点故障。为了完整起见，下面列出了单节点设置和集群设置。

单节点ActiveMQ设置

  • 下载并安装ActiveMQ。

目前只ActiveMQ版本5.14.5已经过测试，并正式支持，但请随时测试更多更新5。x版本。

如果您使用的是GNU/Linux, ActiveMQ包应该由您的发行版提供。您可以使用包管理器轻松地安装它们，并在initd或systemd等系统守护进程的帮助下启动应用程序。

  • 配置ActiveMQ代理用户，该用户将被RapidMiner服务器和作业代理使用:

    • 开放< activemq-conf-dir > /还并添加一个新的代理用户和密码(例如，用户“brokerUser”的密码为“brokerP4ssw0rd”):

      管理= admin brokerUser = brokerP4ssw0rd

    • 开放< activemq-conf-dir > /您并将新用户添加到users组中:

      管理员= admin用户= brokerUser

  • 写下新用户的凭据。需要它们来配置从RapidMiner服务器和从作业代理到代理的连接。

  • 启动ActiveMQ。

群集的ActiveMQ设置

  • 在作为ActiveMQ实例的所有机器上下载并安装ActiveMQ。
  • 在每台机器上安装ActiveMQ实例。为此，请遵循所描述的任何设置在这里．
    • 建议使用Shared File System Master从服务器设置因为您的集群设置已经为RapidMiner Server主目录提供了一个共享文件系统。
    • 请确保所有实例共享相同的代理用户凭据(关于如何设置凭据，请参阅“单节点ActiveMQ设置”)。
  • 启动所有实例。

准备无头安装

为了在节点上安装RapidMiner Server，我们将使用无头安装选项。给出了详细的描述无头安装文档页面。然而，这里有一个关于如何准备无头安装的简短概述:

  1. 在具有UI的机器上下载RapidMiner Server安装程序
  2. 启动安装程序并选择“Install RapidMiner Server on a headless machine”选项
  3. 执行安装程序步骤并使用适合于RapidMiner Server集群设置的配置值
    1. 使用可达的主机名/IP地址load_balancer_address服务器主机名的负载均衡器
    2. 一定要禁用捆绑的职位代理
    3. 做不启用Radoop代理
  4. 最后，生成安装XML文件并将其存储在磁盘上。该文件将用于在节点上安装RapidMiner Server。

准备第一个RapidMiner Server节点

  1. 提供第一个RapidMiner Server节点的基础设施。您可以通过使用配置管理工具(如Chef或Puppet)或旋转相同的虚拟机快照来自动化此操作。

  2. 确保您的RapidMiner Server节点的文件系统支持UTF-8。如果没有，将以下语句添加到/etc/environment配置文件:

    LC_ALL = en_US。utf - 8LANG=en_US.UTF-8

  3. 挂载共享主目录。

    • 例如，假设您的RapidMiner服务器主目录是/var/rapidminer/application-data rapidminer-server /共享的主目录可以作为NFS导出文件调用rapidminer-san: / rapidminer-server-home．将以下行添加到挂载在每个集群节点上:

      Rapidminer-san:/rapidminer-server-home /var/rapidminer/application-data/rapidminer-server/ NFS lookupcache=pos,noatime,intr,rsize=32768,wsize=32768 0 0

    • 然后挂载它:

      Mkdir -p /var/rapidminer/application-data/rapidminer-server/ sudo mount -a

  4. 确保所有节点具有同步的时钟和相同的时区配置。下面是一些如何做到这一点的例子:

    • Red Hat Enterprise Linux或CentOS:

      Sudo yum install NTP Sudo service NTP start Sudo tzselect

    • Ubuntu:

      Sudo apt-get安装NTP Sudo service NTP start Sudo dpkg-reconfigure tzdata

在第一个节点上安装RapidMiner Server

一旦第一个RapidMiner Server节点的基础设施可用并满足所有节点要求，您就可以开始安装RapidMiner Server。

安装RapidMiner Server

  1. 下载RapidMiner Server安装程序并解压
  2. 将无头安装XML文件上传到节点

  3. 运行无头安装:

    CD  ./bin/rapidminer-server-installer .xml

调整配置

安装完成后，您需要调整一些配置来配置RapidMiner Server的高可用性。

  1. 首先适应execution.properties配置文件，以启用集群模式。该文件可以在<回家>共享/配置/文件夹中。

    1. 为RapidMiner服务器启用集群模式

      rapidminer.server.isClustered = true

    2. 将负载平衡器URL配置为RapidMiner服务器URL，如下所示

      Rapidminer.server.protocol = HTTP rapidminer.server.host =  rapidminer.server.port =

    3. 禁用嵌入的ActiveMQ代理，并像这样指向外部代理:

      jobservice.queue.activemq.embeddedBroker.enabled = false jobservice.queue.activemq.uri = failover:(tcp://172.31.21.116:61616,tcp://172.31.21.112:61616) jobservice.queue.activemq.username = brokerUser jobservice.queue.activemq.password = brokerP4ssw0rd

  2. 下一个更新scheduler.properties配置文件以启用集群调度程序。配置文件位于与execution.properties文件。添加以下行:

    org.quartz.jobStore.isClustered = true org.quartz.jobStore.clusterCheckinInterval = 10000

  3. 编辑standalone.conf文件位于<安装目录> / bin /文件夹中。

    1. 寻找

      JAVA_OPTS = " JAVA_OPTS -Djboss.server.log.dir = RAPIDMINER_SERVER_HOME美元/日志”

      并将其更改为与实例名称匹配的新日志文件夹。例如:

      JAVA_OPTS = " JAVA_OPTS -Djboss.server.log.dir = RAPIDMINER_SERVER_HOME美元/日志/ instance1”

    2. 另外，添加一个新行，将执行后端指向本地主机就在其他JAVA_OPTS行旁边。例如:

      JAVA_OPTS = " $ JAVA_OPTS -Dexecution-backend-url = http://localhost: 8080 /执行”

  4. 将RapidMiner Server节点添加到负载均衡器中

  5. 启动第一个RapidMiner Server节点
  6. 打开Web UI的RapidMiner服务器在http (s): / / < load_balancer_address >: <口>以管理员身份登录
  7. 确保一切工作正常(例如，加载扩展，服务器日志可以检查，等等)。

安装其他RapidMiner Server节点

一旦第一个RapidMiner Server节点启动并运行，就可以向集群中添加更多节点。有两种方式可以添加更多节点:手动或使用第一个节点的快照。下面对两者进行了描述。手动选项需要更多的努力。

手动添加节点

手动添加节点。

  1. 为其他模式提供基础设施，然后重复中描述的无头安装步骤上面的部分．

  2. 你做不需要重新调整整个配置。但不幸的是，每个RapidMiner Server无头安装都会覆盖初始安装的共享配置文件夹。请到<回家>共享文件夹，并在每次无头安装完成后恢复备份配置。例如:

    CD  ./bin/rapidminer-server-installer .xml ### #等待安装完成### CD /var/rapidminer/application-data/rapidminer-server/ #删除新创建的配置并替换初始配置rm -rf configuration/ mv configuration_backup_9.1.0_2018-11-08_14-40-42/ configuration/

  3. 在文件中配置一个新的日志文件夹<安装目录> / bin / standalone.conf，如所述在上面的部分中．

  4. 安装完成并恢复初始配置后，可以通过添加IP地址和端口使新节点作为端点可用8080到loadbalance．
  5. 启动新的RapidMiner Server节点

从快照中添加节点

如果您在虚拟基础设施或云中运行RapidMiner Server，我们建议创建初始节点的快照，然后从快照中添加新节点。

这样做:

  1. 在初始节点关闭RapidMiner Server
  2. 创建虚拟实例的快照
  3. 创建快照后，重新启动初始RapidMiner Server节点
  4. 从刚刚创建的快照创建一个新节点
  5. SSH到新的集群节点，并在目录中配置新的日志文件夹<安装目录> / bin / standalone.conf文件如下所述在上面的部分中．
  6. 将新节点添加到负载均衡器
  7. 启动新的RapidMiner Server节点

安装作业代理

每个Job Agent都应该安装在专用的机器上。您可以从RapidMiner Server的web界面下载Job Agent ZIP文件，或者您可以调用REST API。我们推荐第二种方法，因为您不必通过SSH将ZIP文件上传到专用的Job Agent计算机。使用第二种方法，步骤如下:

  1. SSH到将要运行JobAgent的机器。

  2. 下载JobAgent ZIP文件。

    1. 的令牌值idToken字段)有资格访问下载JobAgent路由，例如admin用户:

      curl -u admin:PASSWORD http(s)://:/api/rest/tokenservice

    2. 下载队列QUEUENAME的ZIP文件。默认队列名为default。请注意，名称是区分大小写的。

      curl -H "Authorization: Bearer TOKEN_FROM_REQUEST_ABOVE" http(s)://:/executions/queues/QUEUENAME/agent——output /path/to/save/location/JobAgent.zip

  3. 将ZIP文件解压缩到您喜欢的位置。例如:

    unzip /path/to/save/location/JobAgent.zip -d /path/to/extract/location

  4. 调整属性家庭/ config /溶剂进行根据你的需要进行归档。ActiveMQ代理URI应该指向已经配置的ActiveMQ集群execution.properties共享RapidMiner服务器主目录下的文件。的uri属性表示一组具有默认端口的可用ActiveMQ实例61616．例如:

    jobagent.queue.activemq.uri = failover:(tcp://172.31.21.116:61616,tcp://172.31.21.112:61616) jobagent.queue.activemq.username = brokerUser jobagent.queue.activemq.password = brokerP4ssw0rd

  5. (可选)添加扩展或JDBC驱动。

  6. 启动JobAgent。

恭喜你!

就是这样!RapidMiner服务器在高可用模式下可以通过如下URL访问:http (s): / / < load_balancer_address >: <口>

品牌
©2023 RapidMiner, Inc。版权所有。隐私政策