您正在查看版本9.8 -的RapidMiner部署文档查看最新版本
高可用性模板
该模板解决了RapidMiner平台的始终在线操作至关重要的用例。为了实现高可用性,我们提供了RapidMiner Server组件的active-active冗余,以及一个独立的消息队列来处理Server实例和作业代理之间的通信。
使用它来部署RapidMiner AI Hub在Kubernetes上,使用以下组件:
- 2个RapidMiner Server实例
- 3个RapidMiner作业代理
- Postgres数据库
- 独立的ActiveMQ容器
- 负载均衡器容器
- 平台管理工具
为了减少中断的风险,我们总是建议在部署时启用高可用性配置多台机器(见下文)。
为了在多台(物理或虚拟)机器上部署RapidMiner平台,我们推荐一种基于Kubernetes的方法。我们支持流行的公共云供应商的Kubernetes服务,以及您自己的Kubernetes集群。
所提供的码头工人的图片已经准备好部署到任何Kubernetes集群。
请根据您的环境和需求检查下面的配置。
以下指南需要运行Kubernetes集群。
以下Kubernetes服务支持Rapidminer平台:
卷
Volumes为RapidMiner平台组件提供弹性块存储,在容器生命周期内永久存储数据。
apiVersion: v1 kind: PersistentVolumeClaim元数据:name: rm-postgresql-pvc labels: app: rm-postgresql-svc spec: accessModes:—ReadWriteOnce resources乐鱼体育安装: requests: storage: 2Gi——apiVersion: v1 kind: PersistentVolumeClaim元数据:name: rm-server-home-pvc labels: app: rm-server-svc spec: accessModes:—ReadWriteOnce resources: requests: storage: 10Gi——apiVersion: v1 kind: PersistentVolumeClaim元数据:name: pem- uploads -pvc labels: app: pem- uploads -pvc spec: accessModes:—ReadWriteOnce资源乐鱼体育安装:requests: storage: 100M
服务
服务是RapidMiner平台的重要组成部分。这些服务由容器/pod用于相互连接。
kind: Service apiVersion: v1元数据:name: rapidminer-server-amq-svc labels: app: rapidminer-server-amq-svc role: server spec: ports:—port: 5672 targetPort: amq selector: app: rm-server-svc role: server——kind: Service apiVersion: v1元数据:name: rm-proxy-svc labels: app: rm-proxy-svc role: proxy spec: ports:—name: proxyhttp protocol: TCP端口:80 targetPort: proxyhttp - name: proxyhttps protocol: TCP端口:443 targetPort: proxyhttps selector: app: rm-proxy-svc role:代理类型:LoadBalancer——kind: Service apiVersion: v1 metadata: name: postgresql-svc labels: app: rm-postgresql-svc spec: ports:—port: 5432 targetPort: postgresport selector: app: rm-postgresql-svc——kind: Service apiVersion: v1 metadata: name: rm-server-svc labels: app: rm-server-svc role: server spec: ports:—port: 8080 targetPort: rmswebui selector: app: rm-server-svc role: server——kind: Service apiVersion: v1 metadata: name: pem- webi -svc labels: app: pem- webi -cron role: pem spec: ports:—name: pem-webuiport port: 82 protocol: TCP targetPort: pem-webuiport selector: app: rm-proxy-svc role: proxy
数据库
数据库为RapidMiner Server使用。
kind: Pod apiVersion: v1 metadata: name: rm-postgresql-svc labels: app: rm-postgresql-svc spec: containers:—name: rm-postgresql-svc image: postgres:9.6 ports:—name: postgressport containerPort: 5432 env:—name: POSTGRES_DB value: rmsdb—name: POSTGRES_USER value: rmsdbuser—name: POSTGRES_PASSWORD value: rmsdbpassword volumeMounts:—name: pgvolume mountPath: /var/lib/postgresql/data subPath: postgres volumes:—name: pgvolume persistentVolumeClaim: claimName: rm-postgresql-pvc
RapidMiner服务器
RapidMiner平台的主要组件。
kind: Pod apiVersion: v1元数据:name: rm-server-svc labels: app: rm-server-svc role: server spec: hostname: rm-server-svc containers:—name: rapidminer-server image: rapidminer/rapidminer-server:9.6.0 ports:—name: rmswebui containerPort: 8080—name: amq containerPort: 5672 env:—name: JOBSERVICE_QUEUE_ACTIVEMQ_USERNAME值:amq-user—name: JOBSERVICE_QUEUE_ACTIVEMQ_PASSWORD值:amq-pass—name: JOBSERVICE_AUTH_SECRET值:c29tZS1hdXRoLXNlY3JldAo=—name: DBHOST值:postgress -svc—name: DBSCHEMA值:rmsdb—name: DBUSER值:rmsdbuser—name: DBPASS值:rmsdbpassword volumeMounts:—name: rm-server-home-pvc mountPath: /persistent-rapidminer-home subPath: rapidminer-home volumes:—name: rm-server-home-pvc persistentVolumeClaim: claimName: rm-server-home-pvc
Job-Agent
执行计算任务的工作程序。
:部署apiVersion:应用程序/ v1:部署元数据:名称:rm-server-job-agent-svc标签:应用:rm-server-job-agent-svc角色:执行规范:副本:3选择器:matchLabels:应用:rm-server-job-agent-svc模板:元数据:标签:应用:rm-server-job-agent-svc角色:执行规范:容器:-名称:rm-server-job-agent-svc形象:rapidminer / rapidminer-execution-jobagent: 9.6.0 env: -名称:RAPIDMINER_SERVER_HOST值:rapidminer-server-svc -名称:RAPIDMINER_SERVER_PORT值:'8080' - name: JOBAGENT_QUEUE_ACTIVEMQ_URI值:failover:(tcp://rapidmine -server-amq-svc:5672) - name: JOBAGENT_QUEUE_ACTIVEMQ_USERNAME值:amq-user - name: JOBAGENT_QUEUE_ACTIVEMQ_PASSWORD值:amq-pass - name: JOBAGENT_AUTH_SECRET值:c29tZS1hdXRoLXNlY3JldAo= - name: RAPIDMINER_JOBAGENT_OPTS值:"- djobagent_python . registrybaseurl =http://pem-webui-svc:82/"
RapidMiner代理和Python环境管理器
代理组件处理进入整个平台的HTTP(S)流量。Python环境管理器组件(PEM)控制作业代理的Python包。实时评分(RTS)设计用于通过web服务快速评分用例。这三个平台件必须在kubernetes beaucuse的一个POD中代理必须读取由pem-cron和rts-cron容器生成的证书。
apiVersion: apps/v1 kind:部署元数据:name: rm-proxy-svc labels: app: rm-proxy-svc role: proxy spec: replicas: 1 selector: matchLabels: app: rm-proxy-svc template: metadata: labels: app: rm-proxy-svc role: proxy spec: containers:—name: rm-proxy-svc image: rapidminer/rapidminer-proxy:9.6.0 imagpullpolicy: Always env:—name: RMSERVER_BACKEND value: "http://rm-server-svc:8080" - name: PEM_BACKEND value: "http://pem-webui-svc:82/" - name: PEM_URL_SUFFIX value: "/pem" - name:HTTPS_CRT_PATH值:"/rapidminer/upload /certs/validated_cert. "- name: HTTPS_KEY_PATH值:"/rapidminer/upload /certs/validated_cert. crt"- name: HTTPS_DH_PATH值:/rapidminer/upload /certs/dhparam. key—name: DEBUG_CONF_INIT value: true ports:—name: proxyhttp containerPort: 80—name: proxyhttps containerPort: 443 volumeMounts:—name: pem- uplod -pvc mountPath: /rapidminer/pem/upload /—name: pem-webui image: rapidminer/python-environment-manager-webui:9.6.0 imagpullpolicy: Always ports:—name: pem-webuiport containerPort: 82 volumeMounts:—name: pem- uplod -pvc mountPath: /var/ web /html/upload—name: pem-cron image:rapidminer/python-environment-manager-cron:9.6.0 imagePullPolicy: Always volumeMounts:—name: pem- uploading -pvc mountPath: /rapidminer/upload volumes:—name: pem- uploading -pvc persistentVolumeClaim: claimName: pem- uploading -pvc