从AI Hub 9升级
有关更简化的迁移方法(包括迁移脚本),请参阅码头工人组成
基于的方法从9.10.11升级到10.0.0.
下面的文档更详细地描述了迁移,但它不包括迁移脚本。
目录表
你需要至少在AI Hub版本9.10.4并使用集装箱设置。
本文档概述了来自AI Hub版本的迁移说明> = 9.10.4
(最低要求)。默认情况下,需要为每个应用程序显式启用所需的迁移属性(人工智能中心/服务器,工作代理人,得分代理)。更新的部署描述符文件确实有一些合理的默认值,这些默认值是开箱即用的,但是一些旧的数据源,如AI Hub的旧主目录或各自的主目录工作代理人需要能够被新的设置访问,这意味着您需要在迁移期间保持旧的数据和数据库仍然可用并运行。
请在开始前完整阅读此文档!
全部执行AI Hub 10迁移步骤不更改现有数据,而是将数据从旧实例及其数据库复制到新实例及其新数据库。这样,失败的迁移不会影响现有的安装,并且在迁移失败的情况下,您可以轻松回滚到之前的状态AI Hub 10只需启动旧实例即可。
请记住,在实际复制数据时,迁移可能需要相当长的时间。所需的时间取决于所有项目的数量和大小。另一个因素是作业、调度和队列的数量。
本指南将不介绍如何设置新的工作代理人,但如果你有多个队列和多个工作代理人或得分代理的新部署中需要重新创建相同的设置部署的描述符文件,例如docker-compose.yml
和.env
文件。
以下部分概述了强烈建议执行的步骤之前开始迁移到AI Hub/Server 10。
准备步骤在AI Hub 9中很有用
AI Hub 10抛弃了传统的网络服务存储库和网络应用程序.只有得分代理,项目和指示板是可用的。建议在实际升级到版本10之前,您应该已经在当前安装中执行了一些预迁移步骤。这将最终使迁移过程更容易,并在以后更加自动化。
以下部分概述了您可能需要采取的步骤应该在旧实例中执行前置操作。这也有一个优势,从一个新的和清理的基线开始,为迁移和您的未来工作与AI Hub利用与项目合作的全部力量和协同作用。
如果选择不执行迁移前的步骤,则迁移后的步骤将更加复杂。
从遗留存储库移动到项目
项目是管理资产和数据的新默认方式。请参考项目部分如何创建和添加内容。本节概述了在开始升级到AI Hub 10的主要版本之前如何转移到项目的两种方法:
- 利用RapidMiner工作室或
- 使用AI Hub/Server遗产库转储功能。
对于这些方法中的每一种,您的用户都需要稍后为注入的Connections参数重新创建任何保险库条目!遗留存储库和项目库是不同的系统。
与遗留存储库相比,项目是自包含的,并且被设计为封装用例或项目本身。请考虑您当前的遗留存储库结构如何适合此概念,并记住不支持资产或数据的跨项目共享。此外,项目访问是针对每个项目的,而不是基于文件和文件夹。
我们建议不要将所有内容移动到单个项目中!
还有一个扩展可用于RapidMiner工作室这能帮你建立一个合适的吗项目结构。它被称为市场上的项目.
使用RapidMiner Studio
- 创建想要的项目结构,并分配访问权限
- 连接从RapidMiner工作室到您的遗留存储库
- 克隆你在RapidMiner Studio 9中创建的项目
- 在RapidMiner工作室9、将项目所需的遗留存储库内容复制到各自的新克隆项目中,并创建快照以将内容推送到AI Hub/Server
请记住,用户已经分配注射值,则需要再次在Project的内容接口中输入它们的凭据。此步骤是可选的,因为它也可以在迁移成功后执行。
此外,您可能需要查看每个进程,并确保它使用了正确的路径存储和检索资产。
具有服务器转储功能
这种方法的主要缺点是不倾销连接,但仍然可以满足您将其他资产和数据移动到项目中的需求。请考虑概念上的变化,以及上面提到的项目是什么。
- 创建想要的项目结构,并分配访问权限
- 去存储库AI Hub/Server 9的web界面UI
- 点击下载在右侧菜单中
- 点击ZIP转储它会创建一个ZIP文件,其中包含您正在浏览的当前文件夹的内容
- 去想要的地方项目的目录页,按下添加内容,选择之前下载的ZIP文件并点击添加按钮
如上所述,连接不会被转储,因为这会带来安全风险。请在RapidMiner Studio 9中手动重新创建它们,或者按照前面概述的方法复制它们通过RapidMiner Studio移动到项目部分。
此外,您可能需要查看每个进程,并确保它使用了正确的路径存储和检索资产。
转向计分代理
在搬到项目,你可以创建部署从AI Hub/服务器web界面浏览项目的内容,并将它们添加到您的计分代理。
转向仪表板
指示板都有Grafana的支持,可以指出任何一个吗得分代理实例。请参考适当的指示板和得分代理章节如何创建部署然后把它们连接到指示板.
需求
- 您的旧实例至少有一个版本
9.10.4
- 您的旧实例最好是在平台/docker设置上
- 确保您的环境具有剩余磁盘空间足够,因为现有的源迁移数据不会被更改,而是复制
- 项目数据包括大文件
- 来自Job Agents的职位数据
- 计分代理的部署数据
- 旧的主目录和旧数据库仍然可用,因为迁移需要访问它们
迁移了哪些数据?
在开始迁移之前,下表概述了迁移到AI Hub 10的数据。
应用程序 | 数据 | 描述 |
---|---|---|
工作代理人 | 工作 | 旧主目录的作业目录(根据需要分发到AI Hub/Server的web界面的日志和错误文件)将被复制到新主目录。现有文件将被覆盖。 |
工作代理人 | ID文件 | .id。旧主目录的属性将被复制到新主目录。现有文件将被覆盖。 |
得分代理 | 部署 | 旧home的部署目录将被复制到home目录。现有文件将被覆盖。 |
人工智能中心/服务器 | 权限 | 已迁移队列和项目的权限。在keycloak服务中验证用户和组的存在性。 |
人工智能中心/服务器 | 队列 | 在新系统中迁移和创建具有迁移权限的队列。如果已经存在同名的队列,则不会迁移该队列。如果没有找到合适的所有者,管理员将成为所有者。 |
人工智能中心/服务器 | 项目 | 项目被迁移并复制到新系统的主目录中。如果已经存在具有相同名称的项目,则不会迁移该项目。如果没有找到合适的所有者,管理员将成为所有者。 |
人工智能中心/服务器 | 可注射的值 | 如果用于加密可注入值的密钥有效,则会迁移可注入值。 |
人工智能中心/服务器 | 日程安排 | 计划迁移完成。 |
人工智能中心/服务器 | 工作代理人 | 保存在旧数据库表中的作业代理JOBSERVICE_JOB_AGENT 将被迁移到新的数据库表中。 |
人工智能中心/服务器 | 工作 | 驻留在表中的作业JOBSERVICE_JOB 将被迁移,除了正在运行的作业。待处理的作业将被安排。所有相关的作业错误、上下文和日志也将被迁移。 |
人工智能中心/服务器 | 归档工作 | 驻留在数据库表中的所有作业A_JOBSERVICE_JOB 将被迁移。所有相关的作业错误、上下文和日志也将被迁移。 |
人工智能中心/服务器 | 用户 | 所有本地用户将被迁移并存储在Keycloak中。外部用户不会被迁移。 |
人工智能中心/服务器 | 组 | 所有组都将被迁移。如果组被镜像,则会有关于本地组被镜像到哪个外部组的额外日志记录。 |
用户和组
在迁移用户和组时,如果用户或组是由Keycloak或LDAP进行外部管理的,则可能会遇到一些额外的日志记录。如果用户是外部用户,则不会迁移该用户。外部组仍然被迁移,相应的LDAP/SAML组也将被记录下来,以便手动复制它们。
在成功的用户和组迁移结束时,结果文件名为migrated_users.csv
在rapidminer-server-home
目录中。此CSV文件包含所有用户及其“新”,临时密码。出于安全考虑旧密码未迁移.当迁移用户第一次登录到AI Hub/Server时,他们将被要求更改密码。
哪些数据没有迁移?
遗产存储库内容包括金库入口,Web服务和网络应用程序是不迁移因为对他们的支持已经减少了。请参阅前面关于如何移动用最新的概念得分代理,项目和指示板.
开始迁移
为了确保一致性,建议遵循以下步骤旧实例.
- 在运行的AI Hub/Server 9实例中
- 暂停所有计划,以便不再提交新作业
- 确保没有工作运行或等待,如果是,请在执行页面
- 关闭AI Hub 9实例
- 进行适当的备份
- 确保您的环境具有足够的磁盘空间,因为现有的源迁移数据不会被更改,而是复制
- 项目数据包括大文件
- 来自Job Agents的职位数据
- 计分代理的部署数据
镜像部署和应用程序描述符
默认部署描述符如docker-compose.yml
的AI Hub 10假设有一个Job Agent和一个Scoring Agent。
如果你已经添加了额外的工作代理人或得分代理在旧实例中,新的版本10部署描述符和环境需要反映这些更改,以完全反映旧的行为。请相应地更改部署描述符文件。
您可以在相应的设置表中查找人工智能中心/服务器,工作代理人和得分代理.
例子
根据您之前的AI Hub设置,所需的环境变量可能有所不同。请参考迁移属性表,了解每个属性的详细信息,下面的示例可以作为一个很好的开端。
必须根据要迁移的应用程序,将迁移环境变量正确地应用到部署的描述符文件。
人工智能中心/服务器
请确保老已正确绑定/挂载主目录/迁移/老家
在部署描述符文件中,例如:rm-server-home-vol: /迁移/老家
当来自默认的docker-compose 9。x设置。
在这个例子中,PostgreSQL一直在旧的实例中使用。请参阅数据库属性节,以获取其他数据库类型。确保您的数据库可能需要加入新设置的网络,以便通过< address-or-service-name-of-old-database >
.
SPRING_PROFILES_ACTIVE=default,migration10,migration10-postgres MIGRATION_DATABASE_DATASOURCE_URL=jdbc:postgresql://:5432/rm_server MIGRATION_DATABASE_DATASOURCE_USERNAME= MIGRATION_DATABASE_DATASOURCE_PASSWORD=
工作代理人
如果你有多个工作代理人,您需要迁移所有这些。
请确保旧的主目录已正确挂载/迁移/老家
在部署描述符文件中。
JOB_AGENT_MIGRATION_ENABLE_PRE_X_MIGRATION = true
得分代理
如果你有多个得分代理,您需要迁移所有这些。
请确保旧的主目录已正确挂载/迁移/老家
在部署描述符文件中。
RTS_MIGRATION_ENABLE_PRE_X_MIGRATION = true
高级属性
下表概述了需要设置的属性,以便在部署中调用AI Hub/Server 10、Job Agents和Scoring Agents所需的迁移步骤。您可能需要这些属性来扩展例子.
AI Hub 10只支持容器化设置。你需要做你的老家
可用于下表中列出的默认位置和该用户2011
访问写入。您还可以更改默认位置,然后挂载的卷或主机绑定需要指向更改后的位置,而不是默认位置。
此外,您还需要设置MIGRATION_ENABLE_PRE_X_MIGRATION
财产真正的
.
应用程序 | 财产 | 默认的 | 描述 |
---|---|---|---|
人工智能中心/服务器 | MIGRATION_ENABLE_PRE_X_MIGRATION |
假 (真正的 在migration10 配置文件) |
如果应该执行来自X之前安装的迁移任务 |
人工智能中心/服务器 | MIGRATION_ENABLE_PRE_X_DATABASE |
假 (真正的 在migration10-dbtype 配置文件) |
如果要执行需要连接到旧数据库的迁移任务 |
人工智能中心/服务器 | MIGRATION_ENABLE_PRE_X_SAMPLE_MIGRATION |
假 |
如果迁移的样本项目应该进行 |
人工智能中心/服务器 | MIGRATION_PRE_X_HOME_DIR |
/迁移/老家 |
pre AI Hub X安装的主目录 |
人工智能中心/服务器 | MIGRATION_PRE_X_REPOSITORY_DIRECTORY |
/迁移/老家/数据/存储库 |
存储库所在的目录位于AI Hub X安装前的旧主目录中 |
人工智能中心/服务器 | MIGRATION_DATABASE_DATASOURCE |
没有一个 | 旧AI Hub数据库的数据源配置。请参阅主应用程序数据库的文档 |
人工智能中心/服务器 | MIGRATION_DATABASE_JPA |
没有一个 | 旧AI Hub数据库的JPA配置。请参阅主应用程序数据库的文档 |
人工智能中心/服务器 | MIGRATION_QUARTZ |
Pre X默认值 | 旧AI Hub数据库的Quartz调度器配置。如果在旧的调度器配置中做了更改,它们也需要转置到这里 |
工作代理人 | JOB_AGENT_MIGRATION_ENABLE_PRE_X_MIGRATION |
假 |
如果应该执行来自X之前安装的迁移任务 |
工作代理人 | JOB_AGENT_MIGRATION_PRE_X_HOME_DIR |
/迁移/老家 |
pre AI Hub X安装的主目录 |
得分代理 | RTS_MIGRATION_ENABLE_PRE_X_MIGRATION |
假 |
如果应该执行来自X之前安装的迁移任务 |
得分代理 | RTS_MIGRATION_PRE_X_HOME_DIR |
/迁移/老家 |
pre AI Hub X安装的主目录 |
人工智能中心/服务器
在应用程序开始时,当使用已部署的docker映像时,将执行迁移。迁移将使用AI Hub的当前主目录,该目录从AIHUB_HOME_DIR
环境变量。迁移任务(负责从pre - AI Hub X主目录迁移)只在以下情况下执行MIGRATION_ENABLE_PRE_X_MIGRATION
环境变量设置为真正的
.的默认目录。MIGRATION_OLD_HOME_DIR
可以用作旧主目录的挂载点。使用旧数据库的迁移任务只有在以下情况下才会执行MIGRATION_ENABLE_PRE_X_DATABASE
设为真正的
.
数据库
对于需要旧数据库的迁移步骤,可以使用已知的Spring Data值定义连接细节。您可以在开始迁移之前将这些值设置为环境变量。由于系统之间的数据库配置不同,因此不提供连接属性的默认值。
如果对pre X AI Hub安装的Hibernate配置进行了任何更改,则需要确保将其转置到MIGRATION_DATABASE_JPA_PROPERTIES_HIBERNATE
配置
财产 | 描述 |
---|---|
MIGRATION_DATABASE_DATASOURCE_URL |
数据源的完整URL,例如。jdbc: mysql: / / localhost: 1456 / velox吗?useSSL = false&useUnicode = yes&characterEncoding = UTF-8&allowPublicKeyRetrieval = true |
MIGRATION_DATABASE_DATASOURCE_USERNAME |
数据库用户名 |
MIGRATION_DATABASE_DATASOURCE_PASSWORD |
数据库用户的密码 |
MIGRATION_DATABASE_JPA_PROPERTIES_HIBERNATE_DIALECT |
旧系统的HHibernate方言,例如:org.hibernate.dialect.MySQL57InnoDBDialect |
请确保旧数据库加入部署的网络为了便于访问,否则迁移将失败。
从使用Oracle作为数据库的AI Hub/Server 9实例迁移目前暂不支持。
选项启用不同的配置文件,这取决于您的旧数据库SPRING_PROFILES_ACTIVE
环境变量。
确保始终提供默认情况下,migration10
另外还有数据库类型。请参阅例子完整的迁移设置。
财产 | 配置文件名称 |
---|---|
调用主迁移 | migration10 |
Postgres | migration10-postgres |
MySQL 5.7 | migration10-mysql-5-7 |
MySQL 8 | migration10-mysql-8 |
该8 | migration10-mssql-8 |
用户、组和权限
的迁移用户、组和权限需要新的Keycloak实例,并且步骤使用的服务帐户aihub-backend
.
你要确保它有domain -management -> manage-users
(用于在迁移过程中创建组和用户)角色。请参阅特殊角色组了解更多信息。
默认情况下,角色应该应用于服务帐户。
工作代理人
在应用程序开始时,当使用已部署的docker映像时,将执行迁移。迁移将使用作业代理的当前主目录,该目录从JOBAGENT_HOME_DIR
环境变量。迁移任务(负责从pre - AI Hub X主目录迁移)只在以下情况下执行JOB_AGENT_MIGRATION_ENABLE_PRE_X_MIGRATION
环境变量设置为真正的
.的默认目录。JOB_AGENT_MIGRATION_PRE_X_HOME_DIR
可以作为一个安装点,为较旧的家庭dirs。
得分代理
在应用程序开始时,当使用已部署的docker映像时,将执行迁移。迁移将使用计分代理的当前主目录,该目录从SCORING_AGENT_HOME_DIR
环境变量。迁移任务(负责从pre - AI Hub X主目录迁移)只在以下情况下执行RTS_MIGRATION_ENABLE_PRE_X_MIGRATION
环境变量设置为真正的
.的默认目录。RTS_MIGRATION_PRE_X_HOME_DIR
可以作为一个安装点,为较旧的家庭dirs。
迁移后
当新的升级版本启动并完成迁移后,可能需要手动执行一些步骤。
遗留存储库内容
如果你有不转移到项目组在开始迁移过程之前的旧实例中,您会注意到新实例中没有可用的遗留存储库内容。这些不是作为对遗留的支持而迁移的存储库已经放弃了。
建议在迁移之前转移到项目,但是您也可以通过使用不同的RapidMiner Studio版本来手动迁移内容,尽管这种手动迁移步骤会增加更多的工作。
请仔细阅读从遗留存储库移到项目部分看到两者的区别项目以及概念层面上的遗留存储库。
根据您的设置以及旧实例与新实例并行的可用性,所需的步骤略有不同,但您可以通过顺序执行这些步骤来获得相同的结果。
在迁移遗留存储库内容期间,请记住这一点RapidMiner Studio 10只能连接到AI Hub 10实例,RapidMiner Studio 9只能连接到AI Hub 9实例.这意味着您需要在系统上安装不同的RapidMiner Studio版本来执行手动迁移步骤。
- 在RapidMiner Studio 9和旧的AI Hub/Server 9实例正在启动和运行
- 新建一个存储库在RapidMiner Studio 9(本地,未连接到AI Hub/Server实例)
- 连接到旧的AI Hub 9实例
- 将内容复制到新创建的文件中存储库,所以所有内容都在本地磁盘上
- 在AI Hub/Server 10中创建必要的项目
- 切换到RapidMiner Studio 10和
- 查看所需项目
- 将内容从(本地)存储库复制到项目
连接注入参数和保险库条目
如果你一直在和项目并创建了连接包含注入参数,则可以无缝地迁移现有的保险库条目。
如果您主要使用的是遗留存储库,那么连接驻留在顶级全局中/连接
文件夹,然后你要么移到项目在主要版本升级之前或之后。无论如何,很有可能你的连接如果你用过转储的方法,因此,您需要通过RapidMiner Studio 10与您的AI Hub/Server 10版本运行或您的连接已移动到重新创建它们项目之前。如果是后者,则需要手动要求用户为any添加他们的值注入参数尽管他们应该很快注意到,如果所需的值没有出现在项目的保管库中,流程执行将会失败。
其他配置和系统设置
RapidMiner AI Hub/Server系统设置Web界面在版本10中被删除。它的主要职责是配置Web服务和网络应用程序应用程序内执行以及服务器配置本身的一些参数。从版本10开始,配置已经转移到基于环境变量的配置方法改变AI Hub/Server的行为。这意味着,所有的属性都包含rapidanalytics
不再被支持。
中的可用环境变量列表AI Hub/Server 10的配置部分与显式更改的系统设置匹配的内容。
与上述属性相反,RapidMiner工作室相关属性如rapidminer.python_scripting.python_binary
或rapidminer.proxy.mode
可以通过改变AI Hub/Server, Job agent和Scoring agent的rapidminer.properties
文件在各自应用程序的主目录或卷中。
计分代理提供web服务功能。为了保护他们或允许匿名访问,请参考计分代理的文档部分。
转到Keycloak并调整镜像组
如果您使用的是AI Hub/Server 9的本地版本,并且一直在使用直接LDAP或SAML集成,那么您需要了解migration.log
文件以获取进一步的说明,例如,镜像组的映射是不自动创建。也请查一下用户和组部分再核对一下是否符合你的设定。
如果您已经使用基于平台docker的设置,那么Keycloak迁移将自动完成,以适应特殊角色和客户.不过,您应该反复检查外部化身份提供者集成的配置。
清理部署描述符文件
迁移成功后,您可以从部署描述符文件中删除所有相关的环境变量,它们不再需要,例如:SPRING_ACTIVE_PROFILES
或者任何环境变量MIGRATION_
.
此外,还可以关闭旧实例和旧数据库。