类别

版本

  1. 文档
  3. 遗产
  4. 高可用性
  5. RapidMiner服务器高可用性安装指南

安装指南

看到部署文档了解如何将RapidMiner部署为高可用性集群。

推荐使用Kubernetes。如果您更喜欢非kubernetes解决方案，则提供下面的文档。

在本指南中，我们将带您在Linux环境中安装RapidMiner Server作为高可用性集群。它涵盖了在没有现有数据的情况下首次安装RapidMiner Server High Availability。

术语

在本指南中，我们将使用以下术语:

  • 安装目录- 为节点上安装RapidMiner Server的目录。
  • 共享主目录-<回家>共享RapidMiner Server主目录，集群中的所有节点都可以通过相同的路径访问该主目录。

测试RapidMiner服务器高可用性安装

在部署到生产环境之前，请确保彻底测试您的RapidMiner Server高可用性安装。

  • 在部署到生产环境之前，在登台环境中设置和测试RapidMiner Server高可用性。
  • 使用与生产实例相同的数据(存储库、用户、扩展)测试RapidMiner Server高可用性。

访问RapidMiner Server高可用性安装

安装完成后，RapidMiner Server的URL将是负载均衡器的URL;这台机器应该被DNS识别为RapidMiner服务器。其余的机器不需要对用户公开访问。

提供共享数据库、共享文件系统和ActiveMQ代理

提供共享数据库

设置共享数据库服务器，并确保数据库允许足够的并发连接。当许多RapidMiner Server节点连接到同一个数据库时，可能很快就会超过默认连接限制。例如，对于PostgreSQL，默认限制是100个连接。如果要增加限制，请编辑postgresql.conf文件并增加的值max_connections，然后重启PostgreSQL。

提供共享文件系统

设置NFS共享文件系统，确保RapidMiner Server节点可以访问并具有完全的读写权限。

供应ActiveMQ代理

虽然RapidMiner Server集群只使用ActiveMQ的一个实例，但我们强烈建议将其集群化，因为高可用性取决于每个组件的高可用性。您不希望ActiveMQ成为单点故障。为了完整起见，下面概述了单节点设置和集群设置。

单节点ActiveMQ设置

  • 下载并安装ActiveMQ。

目前只ActiveMQ 5.14.5版本已测试，并得到官方支持，但请随时测试更新的5。x版本。

如果您使用的是GNU/Linux，您的发行版应该提供ActiveMQ包。您可以轻松地使用包管理器安装它们，并在initd或systemd等系统守护进程的帮助下启动应用程序。

  • 配置将由RapidMiner服务器和作业代理使用的ActiveMQ代理用户:

    • 开放< activemq-conf-dir > /还并添加一个新的经纪人用户和密码(例如，用户“brokerUser”，密码“brokerP4ssw0rd”):

      管理= admin brokerUser = brokerP4ssw0rd

    • 开放< activemq-conf-dir > /您并将新用户添加到users组:

      管理员= admin用户= brokerUser

  • 写下新用户的凭证。需要它们来配置从RapidMiner服务器和从作业代理到代理的连接。

  • 启动ActiveMQ。

群集ActiveMQ设置

  • 在作为ActiveMQ实例的所有计算机上下载并安装ActiveMQ。
  • 在每台机器上安装ActiveMQ实例。要做到这一点，请遵循所描述的任何设置在这里．
    • 建议使用共享文件系统主备设置因为您的集群设置已经为RapidMiner Server主目录提供了共享文件系统。
    • 请确保所有实例共享相同的代理用户凭证(关于如何设置凭证，请参阅“单节点ActiveMQ设置”)
  • 启动所有实例。

准备一个无头安装

为了在节点上安装RapidMiner Server，我们将使用无头安装选项。给出了详细的描述无头安装文档页面。然而，这里有一个关于如何准备无头安装的简短概述:

  1. 在有UI的机器上下载RapidMiner Server安装程序
  2. 启动安装程序并选择“在无头机器上安装RapidMiner服务器”选项
  3. 执行安装程序步骤，并使用适合RapidMiner Server集群设置的配置值
    1. 使用可达的主机名/IP地址load_balancer_address服务器主机名的负载均衡器
    2. 一定要禁用捆绑作业代理
    3. 做不启用Radoop代理
  4. 最后，生成安装XML文件并将其存储在磁盘上。该文件将用于在节点上安装RapidMiner Server。

准备第一个RapidMiner Server节点

  1. 提供第一个RapidMiner Server节点的基础结构。您可以通过使用配置管理工具(如Chef或Puppet)或旋转相同的虚拟机快照来实现自动化。

  2. 确保RapidMiner Server节点的文件系统支持UTF-8。如果没有，则将以下语句添加到/etc/environment配置文件:

    LC_ALL = en_US。utf - 8LANG=en_US.UTF-8

  3. 挂载共享主目录。

    • 例如，让我们假设您的RapidMiner服务器主目录为/var/rapidminer/application-data rapidminer-server /您的共享主目录可以作为名为rapidminer-san: / rapidminer-server-home．添加下面的行到挂载在每个集群节点上:

      Rapidminer-san:/rapidminer-server-home /var/rapidminer/application-data/rapidminer-server/ NFS lookupcache=pos,noatime,intr,rsize=32768,wsize=32768 0 0

    • 然后安装它:

      Mkdir -p /var/rapidminer/application-data/rapidminer-server/ sudo mount -a

  4. 确保所有节点都有同步的时钟和相同的时区配置。下面是一些如何做到这一点的例子:

    • 红帽企业Linux或CentOS:

      Sudo yum install NTP Sudo service NTPD start Sudo tzselect . sh

    • Ubuntu:

      Sudo apt-get install NTP Sudo service NTP start Sudo dpkg-reconfigure tzdata . txt

在第一个节点上安装RapidMiner Server

一旦第一个RapidMiner Server节点的基础设施可用并满足所有节点需求，就可以开始安装RapidMiner Server了。

安装RapidMiner Server

  1. 下载RapidMiner服务器安装程序并解压
  2. 将无头安装XML文件上传到节点

  3. 运行无头安装:

    CD  ./bin/rapidminer-server-installer .xml

调整配置

安装完成后，您需要调整一些配置来配置RapidMiner Server for High Availability。

  1. 首先调整execution.properties配置文件以启用集群模式。该文件可以在<回家>共享/配置/文件夹中。

    1. 为RapidMiner服务器启用集群模式

      rapidminer.server. iscluster = true

    2. 将负载均衡器的URL配置为RapidMiner Server的URL，如下所示

      Rapidminer.server.protocol = HTTP rapidminer.server.host =  rapidminer.server.port = <端口>

    3. 禁用嵌入式ActiveMQ代理，并像这样指向外部代理:

      jobservice.queue.activemq.embeddedBroker.enabled = false jobservice.queue.activemq.uri = failover (tcp://172.31.21.116:61616,tcp://172.31.21.112:61616) jobservice.queue.activemq.username = brokerUser jobservice.queue.activemq.password = brokerP4ssw0rd

  2. 下一个更新scheduler.properties配置文件以启用集群调度器。配置文件与配置文件位于同一文件夹execution.properties文件。增加如下行:

    org.quartz.jobStore.isClustered = true org.quartz.jobStore.clusterCheckinInterval = 10000

  3. 编辑standalone.conf文件位于<安装目录> / bin /文件夹中。

    1. 寻找

      JAVA_OPTS = " JAVA_OPTS -Djboss.server.log.dir = RAPIDMINER_SERVER_HOME美元/日志”

      并将其更改为与实例名匹配的新日志文件夹。例如:

      JAVA_OPTS = " JAVA_OPTS -Djboss.server.log.dir = RAPIDMINER_SERVER_HOME美元/日志/ instance1”

    2. 另外，添加一个新行，将执行后端指向本地主机就在其他JAVA_OPTS行旁边。例如:

      JAVA_OPTS = " $ JAVA_OPTS -Dexecution-backend-url = http://localhost: 8080 /执行”

  4. 将RapidMiner Server节点加入负载均衡器

  5. 启动第一个RapidMiner Server节点
  6. 打开RapidMiner服务器的Web界面http (s): / / < load_balancer_address >: <口>以管理员身份登录
  7. 确保一切正常(例如加载了扩展，可以检查服务器日志等)。

安装额外的RapidMiner Server节点

一旦第一个RapidMiner Server节点启动并运行，就可以向集群中添加更多节点。有两种方法可以添加更多节点:手动或使用第一个节点的快照。下面将对两者进行描述。但是手动选项需要更多的努力。

手动添加节点

手动添加节点。

  1. 为其他模式提供基础结构，然后重复中描述的无头安装步骤上面的部分．

  2. 你做不需要重新调整整个配置。但不幸的是，每个RapidMiner Server无头安装都会覆盖初始安装的共享配置文件夹。请到<回家>共享每次完成无头安装时，都将文件夹和恢复备份配置。例如:

    CD  ./bin/rapidminer-server-installer .xml ### # wait for installation to finish ### CD /var/rapidminer/application-data/rapidminer-server/ # delete new created configuration and replace initial config rm -rf configuration/ mv configuration_backup_9.1.0_2018-11-08_14-40-42/ configuration/

  3. 在文件中配置一个新的日志文件夹<安装目录> / bin / standalone.conf，如所述在上面的章节中．

  4. 安装完成并恢复初始配置后，可以通过添加IP地址和端口使新节点作为端点可用8080到loadbalance．
  5. 启动新的RapidMiner Server节点

从快照中添加节点

如果您在虚拟基础设施或云中运行RapidMiner Server，我们建议创建初始节点的快照，然后从快照中添加新节点。

这样做:

  1. 在初始节点上关闭RapidMiner Server
  2. 创建虚拟实例的快照
  3. 创建快照后，重新启动初始的RapidMiner Server节点
  4. 从刚刚创建的快照创建一个新节点
  5. 的文件中配置一个新的日志文件夹<安装目录> / bin / standalone.conf文件如所述在上面的章节中．
  6. 将新节点添加到负载均衡器
  7. 启动新的RapidMiner Server节点

安装作业代理

每个作业代理都应该安装在专用机器上。您可以从RapidMiner服务器的web界面下载作业代理ZIP文件，也可以调用REST API。我们推荐第二种方法，因为您不必通过SSH将ZIP文件上传到专用的Job Agent机器。使用第二种方法，进行如下操作:

  1. SSH到运行JobAgent的机器上。

  2. 下载JobAgent ZIP文件:

    1. 的值获取一个令牌idToken字段)，即有资格访问下载JobAgent路由的用户，例如admin用户:

      curl -u admin:PASSWORD http(s)://:<端口>/api/rest/token服务

    2. 下载队列QUEUENAME的ZIP文件。默认队列名为default。注意，名称是区分大小写的。

      curl -H "Authorization: Bearer TOKEN_FROM_REQUEST_ABOVE" http(s)://:/executions/queues/QUEUENAME/agent——output /path/to/save/location/JobAgent.zip

  3. 将ZIP文件解压缩到您喜欢的位置。例如:

    unzip /path/to/save/location/JobAgent.zip -d /path/to/extract/location

  4. 中调整属性家庭/ config /溶剂进行根据您的需要归档。ActiveMQ代理URI应该指向已经在execution.propertiesRapidMiner Server共享主目录文件。的uri属性表示一组可用的ActiveMQ实例及其默认端口61616．例如:

    jobagent.queue.activemq.uri = failover:(tcp://172.31.21.116:61616,tcp://172.31.21.112:61616) jobagent.queue.activemq.username = brokerUser jobagent.queue.activemq.password = brokerP4ssw0rd

  5. (可选)添加扩展或JDBC驱动程序。

  6. 启动JobAgent。

恭喜你!

就是这样!RapidMiner服务器在高可用性模式下可以通过如下URL访问:http (s): / / < load_balancer_address >: <口>

品牌
©2022 RapidMiner, Inc.。版权所有。隐私政策