类别

版本

您正在查看9.7 -版本的RapidMiner部署文档点击这里查看最新版本

高可用性模板

该模板解决了RapidMiner平台的始终在线操作至关重要的用例。为了实现高可用性,我们提供了RapidMiner Server组件的双活冗余,以及一个独立的消息队列来处理Server实例和作业代理之间的通信。

使用它来部署RapidMiner AI Hub在Kubernetes上,使用以下组件:

  • 2 RapidMiner服务器实例
  • 3 RapidMiner Job Agents
  • Postgres数据库
  • 独立ActiveMQ容器
  • 负载平衡器容器
  • 平台管理工具

为了减少宕机的风险,我们总是建议使用高可用性配置进行部署多台机器(见下文)。

要在多台(物理或虚拟)机器上部署RapidMiner平台,我们建议使用基于Kubernetes的方法。我们支持流行的公共云供应商的Kubernetes服务,以及您自己的Kubernetes集群。

所提供的码头工人的图片可以部署到任何Kubernetes集群。

请根据您的环境和需求查看下面的配置。

下面的指南需要一个正在运行的Kubernetes集群。

以下Kubernetes服务支持Rapidminer平台:

Volumes为RapidMiner平台组件提供弹性块存储,以便在容器生命周期内永久存储数据。

apiVersion: v1 kind: persistentvolumecclaim元数据:name: rm-postgresql-pvc标签:app: rm-postgresql-svc spec: accessModes: - ReadWriteOnce资源:requests: 乐鱼体育安装storage: 2Gi——apiVersion: v1 kind: persistentvolumecclaim元数据:name: rm-server-home-pvc标签:app: rm-server-svc spec: accessModes: - ReadWriteOnce资源:requests: storage: 10Gi——apiVersion: v1 kind: persistentvolumecclaim元数据:name: pem- uploadedpvc标签:app: pem- uploadedpvc spec: accessModes: - ReadWriteOnce资源:requests: storage: 10Gi——apiVersion: v1 kind: persistentvolumecclaim元数据:name: pem- uploadedpvc标签:app: pem- uploadedpvc规格:accessModes:—ReadWriteOnce资源乐鱼体育安装:请求:存储:100M

服务

服务是RapidMiner平台的重要组成部分。容器/pod使用这些服务相互连接。

kind: Service apiVersion: v1元数据:名称:rapidminer-server-amq-svc标签:app: rapidminer-server-amq-svc角色:服务器规格:端口:-端口:5672 targetPort: amq选择器:app: rm-server-svc角色:服务器——kind: Service apiVersion: v1元数据:名称:rm-proxy-svc标签:app: rm-proxy-svc角色:代理规格:端口:-名称:proxyhttp协议:TCP端口:80 targetPort: proxyhttp -名称:proxyhttps协议:TCP端口:443 targetPort: proxyhttps选择器:app: rm-proxy-svc角色:代理类型:代理类型:LoadBalancer——kind: Service apiVersion: v1元数据:名称:postgresql-svc标签:app: rm-postgresql-svc规格:ports: - port: 5432 targetPort: postgressport选择器:app: rm-postgresql-svc——kind: Service apiVersion: v1元数据:名称:rm-server-svc标签:app: rm-server-svc角色:服务器规格:ports: -端口:8080 targetPort: rmswebui选择器:app: rm-server-svc角色:服务器——kind: Service apiVersion: v1元数据:名称:pem-web -svc标签:app: pem-web -cron角色:pem规格:ports:—name: pem-webuiport port: 82协议:TCP targetPort: pem-webuiport选择器:app: rm-proxy-svc角色:代理

数据库

数据库由RapidMiner服务器使用。

kind: Pod apiVersion: v1 metadata: name: rm-postgresql-svc labels: app: rm-postgresql-svc spec: containers: - name: rm-postgresql-svc image: postgres:9.6 ports: - name: POSTGRES_USER值:rmsdbuser - name: POSTGRES_PASSWORD值:rmsdbpassword volumounts: - name: pgvolume mountPath: /var/lib/postgresql/data子路径:postgres volumes: - name: pgvolume persistentvolumeclam: claimName: rm-postgresql-pvc

RapidMiner服务器

RapidMiner平台的主要组成部分。

kind: Pod apiVersion: v1元数据:名称:rm-server-svc标签:app: rm-server-svc角色:server spec: hostname: rm-server-svc容器:—名称:rapidminer-server镜像:rapidminer/rapidminer-server:9.6.0端口:—名称:rmswebui containerPort: 8080—名称:amq containerPort: 5672 env:—名称:JOBSERVICE_QUEUE_ACTIVEMQ_USERNAME取值:amq-user—名称:JOBSERVICE_QUEUE_ACTIVEMQ_PASSWORD取值:amq-pass—名称:JOBSERVICE_AUTH_SECRET取值:c29tZS1hdXRoLXNlY3JldAo=—名称:DBHOST取值:postgresg -svc—name: DBSCHEMA值:rmsdb—name: DBUSER值:rmsdbuser—name: DBPASS值:rmsdbpassword volumounts:—名称:rm-server-home-pvc mountPath: /persistent-rapidminer-home子路径:rapidminer-home volumes:—名称:rm-server-home-pvc persistentvolumecclaim: claimName: rm-server-home-pvc

Job-Agent

执行计算任务的工人。

:部署apiVersion:应用程序/ v1:部署元数据:名称:rm-server-job-agent-svc标签:应用:rm-server-job-agent-svc角色:执行规范:副本:3选择器:matchLabels:应用:rm-server-job-agent-svc模板:元数据:标签:应用:rm-server-job-agent-svc角色:执行规范:容器:-名称:rm-server-job-agent-svc形象:rapidminer / rapidminer-execution-jobagent: 9.6.0 env: -名称:RAPIDMINER_SERVER_HOST值:rapidminer-server-svc -名称:RAPIDMINER_SERVER_PORT值:'8080' -名称:JOBAGENT_QUEUE_ACTIVEMQ_URI值:failover:(tcp://rapidminer-server-amq-svc:5672) -名称:JOBAGENT_QUEUE_ACTIVEMQ_USERNAME值:amq-user -名称:JOBAGENT_QUEUE_ACTIVEMQ_PASSWORD值:amq-pass -名称:JOBAGENT_AUTH_SECRET值:c29tZS1hdXRoLXNlY3JldAo= -名称:RAPIDMINER_JOBAGENT_OPTS值:"- djobagentent .python. registrybaseurl =http://pem-webui-svc:82/"

RapidMiner代理& Python环境管理器

代理组件处理进入整个平台的传入HTTP流量。Python环境管理器组件(PEM)控制作业代理的Python包。实时计分(RTS)是为通过web服务快速计分用例而设计的。在kubernetes中,这三个平台部分必须放在一个POD中,因为代理必须读取由pem-cron和rt -cron容器生成的证书。

apiVersion: apps/v1类型:部署元数据:名称:rm-proxy-svc标签:app: rm-proxy-svc角色:proxy spec: replicas: 1选择器:matchLabels: app: rm-proxy-svc模板:元数据:标签:app: rm-proxy-svc角色:proxy spec: containers: -名称:rm-proxy-svc镜像:rapidminer/rapidminer-proxy:9.6.0 imagePullPolicy: Always env: -名称:RMSERVER_BACKEND值:http://rm-server-svc:8080 -名称:PEM_BACKEND值:http://pem-webui-svc:82/ -名称:PEM_URL_SUFFIX值:/ pem-名称:HTTPS_CRT_PATH值:“/rapidminer/upload /certs/validated_cert. conf”。- name: HTTPS_KEY_PATH值:"/rapidminer/upload /certs/validated_cert. crt" - name: HTTPS_KEY_PATH值:"/rapidminer/upload /certs/validated_cert. crt"—名称:HTTPS_DH_PATH值:“/rapidminer/upload /certs/dhparam. key”。—名称:DEBUG_CONF_INIT值:“true”端口:—名称:proxyhttp containerPort: 80—名称:proxyhttps containerPort: 443 volumeMounts:—名称:pem- uploed -pvc mountPath: /rapidminer/pem/上载/—名称:pem-webui image: rapidminer/python-environment-manager-webui:9.6.0 imagePullPolicy: Always ports:—名称:pem- webiport containerPort: 82 volumounts:—名称:pem- uploed -pvc mountPath: /var/www/html/上载—名称:pem-cron image:rapidminer/python-environment-manager-cron:9.6.0 imagePullPolicy: Always volumeMounts:—名称:pem- uploed -pvc mountPath: /rapidminer/上传的卷:—名称:pem- uploed -pvc persistentvolumecclaim: claimName: pem- uploed -pvc