您正在查看9.7 -版本的RapidMiner部署文档点击这里查看最新版本

Hadoop连接模板

此模板虽然与基本生产模板当目标是通过使用RapidMiner Radoop来部署利用Hadoop集群大数据的RapidMiner进程时，就变得相关了。我们提供Radoop代理组件，以便在Hadoop集群位于防火墙后的情况下更容易进行网络配置。

使用它来部署RapidMiner AI Hub在Kubernetes上，使用以下组件:

1个RapidMiner AI Hub实例
3 RapidMiner Job Agents
Postgres数据库
平台管理
Radoop代理
1个KeyCloak实例

有关每个Docker映像的详细描述，请参见图片参考。

系统需求

最低推荐硬件配置

所需的内存量在很大程度上取决于RapidMiner AI Hub将处理的数据量。如果大部分或全部数据将在Hadoop环境中使用Radoop进行处理，那么16GB对服务器来说就足够了。如果要在Server中运行非radoop进程，那么建议将内存大小增加到32GB或更多，具体取决于用户数据的大小。

每个虚拟机或物理机至少应该具备:

四核
16 gb的RAM
>20GB可用磁盘空间

指令

所提供的码头工人的图片可以部署到任何Kubernetes集群。

请根据您的环境和需求查看下面的配置。

下面的指南需要一个正在运行的Kubernetes集群。

以下Kubernetes服务支持Rapidminer平台:

Amazon Managed Kubernetes Service (Amazon EKS)
Azure Kubernetes服务(AKS)
MiniKube(详情请参阅关于minikube的注意事项）
MicroK8S

卷

Volumes为RapidMiner平台组件提供弹性块存储，以便在容器生命周期内永久存储数据。

apiVersion: v1 kind: persistentvolumecclaim元数据:name: rm-postgresql-pvc标签:app: rm-postgresql-svc spec: accessModes: - ReadWriteOnce资源:requests: 乐鱼体育安装storage: 2Gi——apiVersion: v1 kind: persistentvolumecclaim元数据:name: pem- uploupload -pvc标签:app: pem- uploupload -pvc spec: accessModes: - ReadWriteOnce资源:requests: storage: 1Gi——apiVersion: v1 kind: persistentvolumecclaim元数据:name: rm-server-home-pvc标签:app: rm-server-svc spec: accessModes: - accessModes:—ReadWriteOnce资源乐鱼体育安装:requests: storage: 10Gi——apiVersion: v1 kind: PersistentVolumeClaim metadata: name: rapidminer- uploed -pvc标签:app: rapidminer- uploed -pvc规格:accessModes:—ReadWriteOnce资源:requests: storage: 100M——apiVersion: v1 kind: PersistentVolumeClaim metadata: name: radoop-proxy-pvc标签:app: radoop-proxy规格:accessModes:—ReadWriteOnce资源:requests: storage: 1Gi

服务

服务是RapidMiner平台的重要组成部分。容器/pod使用这些服务相互连接。

kind: Service apiVersion: v1元数据:名称:rapidminer-server-amq-svc标签:app: rapidminer-server-amq-svc角色:服务器规格:端口:-端口:5672 targetPort: amq选择器:app: rm-server-svc角色:服务器——kind: Service apiVersion: v1元数据:名称:rm-proxy-svc标签:app: rm-proxy-svc角色:代理规格:端口:-名称:proxyhttp协议:TCP端口:80 targetPort: proxyhttp -名称:proxyhttps协议:TCP端口:443 targetPort: proxyhttps选择器:app: rm-proxy-svc角色:代理类型:代理类型:LoadBalancer——kind: Service apiVersion: v1元数据:名称:postgresql-svc标签:app: rm-postgresql-svc规格:ports: - port: 5432 targetPort: postgressport选择器:app: rm-postgresql-svc——kind: Service apiVersion: v1元数据:名称:rm-server-svc标签:app: rm-server-svc角色:服务器规格:ports: -端口:8080 targetPort: rmswebui选择器:app: rm-server-svc角色:服务器——kind: Service apiVersion: v1元数据:名称:pem-web -svc标签:app: pem-web -cron角色:pem规格:ports:—名称:pem-webuiport端口:82协议:TCP targetPort: pem-webuiport选择器:app: rm-proxy-svc角色:proxy——kind: Service apiVersion: v1元数据:名称:radoop-proxy-svc标签:app: radoop-proxy角色:radoop-proxy spec: ports:—名称:radoop-proxy-port端口:1081协议:TCP targetPort: radoop-proxy-port选择器:app: radoop-proxy-svc角色:proxy

数据库

数据库由RapidMiner服务器使用。

kind: Pod apiVersion: v1 metadata: name: rm-postgresql-svc labels: app: rm-postgresql-svc spec: containers: - name: rm-postgresql-svc image: postgres:9.6 ports: - name: POSTGRES_USER值:rmsdbuser - name: POSTGRES_PASSWORD值:rmsdbpassword volumounts: - name: pgvolume mountPath: /var/lib/postgresql/data子路径:postgres volumes: - name: pgvolume persistentvolumeclam: claimName: rm-postgresql-pvc

RapidMiner服务器

RapidMiner平台的主要组成部分。

kind: Pod apiVersion: v1元数据:名称:rm-server-svc标签:app: rm-server-svc角色:server spec: hostname: rm-server-svc容器:—名称:rapidminer-server镜像:rapidminer/rapidminer-server:9.6.0端口:—名称:rmswebui containerPort: 8080—名称:amq containerPort: 5672 env:—名称:JOBSERVICE_QUEUE_ACTIVEMQ_USERNAME取值:amq-user—名称:JOBSERVICE_QUEUE_ACTIVEMQ_PASSWORD取值:amq-pass—名称:JOBSERVICE_AUTH_SECRET取值:c29tZS1hdXRoLXNlY3JldAo=—名称:DBHOST取值:postgresg -svc—name: DBSCHEMA值:rmsdb—name: DBUSER值:rmsdbuser—name: DBPASS值:rmsdbpassword volumounts:—名称:rm-server-home-pvc mountPath: /persistent-rapidminer-home子路径:rapidminer-home volumes:—名称:rm-server-home-pvc persistentvolumecclaim: claimName: rm-server-home-pvc

Job-Agent

执行计算任务的工人。

:部署apiVersion:应用程序/ v1:部署元数据:名称:rm-server-job-agent-svc标签:应用:rm-server-job-agent-svc角色:执行规范:副本:3选择器:matchLabels:应用:rm-server-job-agent-svc模板:元数据:标签:应用:rm-server-job-agent-svc角色:执行规范:容器:-名称:rm-server-job-agent-svc形象:rapidminer / rapidminer-execution-jobagent: 9.6.0 env: -名称:RAPIDMINER_SERVER_HOST值:rapidminer-server-svc -名称:RAPIDMINER_SERVER_PORT值:'8080' -名称:JOBAGENT_QUEUE_ACTIVEMQ_URI值:failover:(tcp://rapidminer-server-amq-svc:5672) -名称:JOBAGENT_QUEUE_ACTIVEMQ_USERNAME值:amq-user -名称:JOBAGENT_QUEUE_ACTIVEMQ_PASSWORD值:amq-pass -名称:JOBAGENT_AUTH_SECRET值:c29tZS1hdXRoLXNlY3JldAo= -名称:RAPIDMINER_JOBAGENT_OPTS值:"- djobagentent .python. registrybaseurl =http://pem-webui-svc:82/"

RapidMiner代理& Python环境管理器

代理组件处理进入整个平台的传入HTTP流量。Python环境管理器组件(PEM)控制作业代理的Python包。实时计分(RTS)是为通过web服务快速计分用例而设计的。在kubernetes中，这三个平台部分必须放在一个POD中，因为代理必须读取由pem-cron和rt -cron容器生成的证书。

apiVersion: apps/v1类型:部署元数据:名称:rm-proxy-svc标签:app: rm-proxy-svc角色:proxy spec: replicas: 1选择器:matchLabels: app: rm-proxy-svc模板:元数据:标签:app: rm-proxy-svc角色:proxy spec: containers: -名称:rm-proxy-svc镜像:rapidminer/rapidminer-proxy:9.6.0 imagePullPolicy: Always env: -名称:RMSERVER_BACKEND值:http://rm-server-svc:8080 -名称:GRAFANA_BACKEND值:http://rm-grafana-svc:3000 -名称:GRAFANA_URL_SUFFIX值:“/grafana”—名称:PEM_BACKEND取值为“http://pem-webui-svc:82/”—名称:PEM_URL_SUFFIX取值为“/pem”—名称:RTS_WEBUI_URL_SUFFIX取值为“/rts-admin”—名称:RTS_SCORING_BACKEND取值为“http://rts-agent-svc:8090/”—名称:RTS_SCORING_URL_SUFFIX取值为“/rts”—名称:HTTPS_CRT_PATH取值为“/rapidminer/upload /certs/validated_cert. pem”—名称:PEM_URL_SUFFIX取值为“/pem”- name: HTTPS_KEY_PATH值:"/rapidminer/upload /certs/validated_cert. crt" - name: HTTPS_KEY_PATH值:"/rapidminer/upload /certs/validated_cert. crt"—名称:HTTPS_DH_PATH值:“/rapidminer/upload /certs/dhparam. key”。—名称:DEBUG_CONF_INIT值:“true”端口:—名称:proxyhttp containerPort: 80—名称:proxyhttps containerPort: 443 volumeMounts:—名称:pem- uploed -pvc mountPath: /rapidminer/pem/上载/—名称:rts- uploed -pvc mountPath: /rapidminer/rts/上载/—名称:pem-webui image: rapidminer/python-环境-manager-webui:9.6.0 imagePullPolicy: Always端口:—名称:pem- webport containerPort: 82 volumeMounts:—名称:pem- uploed -pvc mountPath: /var/www/html/上载—名称:pem-cron image: rapidminer/python-环境-manager-cron:9.6.0 imagePullPolicy: Always volumeMounts: -名称:pem- uploed -pvc mountPath: /rapidminer/upload -名称:rts-cron image: rapidminer/rapidminer-real-time- scoringcron:9.6.0资源:请求:内存:"100M" cpu:乐鱼体育安装 "0.5"限制:内存:"200M" cpu: "0.5" volumeMounts: -名称:rts- uploed -pvc mountPath: /rapidminer/上传/ -名称:rts-licenses-pvc mountPath: /rapidminer/rts_home/licenses/ -名称:real-time- scoringweb image:rapidminer/rapidminer-real-time- grades -webui:9.6.0端口:-名称:rts- webport containerPort: 81资源:请求:内存:"乐鱼体育安装200M" cpu: "0.5"限制:内存:"500M" cpu: "0.5" volumounts: -名称:rts- uploed -pvc挂载路径:/var/网址/html/上传-名称:rts-license -pvc挂载路径:volumes: -名称:pem- uploed -pvc persistentvolumecclaim: claimName: pem- uploed -pvc -名称:rt - uploed -pvc persistentvolumecclaim: claimName: rt - uploed -pvc -名称:rt -licenses-pvc persistentvolumecclaim: claimName: rt - uploed -pvc -名称:rt -licenses-pvc persistentvolumecclaim: claimName: rt - uploed -pvc:claimName: rts-licenses-pvc

Radoop代理

Radoop Proxy允许您通过位于安全Hadoop集群边缘的单个机器对所有Radoop连接进行隧道化。流量方案是http，因为代理将到达内部网络的RapidMiner服务器。

kind:部署apiVersion: apps/v1 kind:部署元数据:名称:radoop-proxy-svc标签:app: radoop-proxy-svc角色:proxy spec: replicas: 1选择器:matchLabels: app: radoop-proxy-svc模板:元数据:标签:app: radoop-proxy-svc角色:proxy spec:容器:-名称:radoop-proxy-svc镜像:rapidminer/radoop-proxy:1.2.1端口:-名称:radoop-proxy-port containerPort: 1081 env: -名称:SERVERHOST值:rapidminer-server-svc -名称:SERVERPORT值:'8080' -名称:SCHEME值:—name:鉴权值:server volumeMounts:—name: radoop-proxy-pvc mountPath: /keystore volumes:—name: radoop-proxy-pvc persistentvolumecclaim: claimName: radoop-proxy-pvc

类别

版本