启用gpu的作业代理
在创建自己的启用gpu的作业代理之前,请注意RapidMiner提供的功能为深度学习预先配置的Docker镜像。不过,如果您想了解更多技术细节,请继续阅读!
主要有以下几点:
- 您的作业代理必须安装在具有CUDA-compatible GPU。
- 您必须安装Nvidia库CUDA,并且应该安装库cuDNN以增强性能。
您必须安装以下RapidMiner扩展:
注意相容性矩阵:
深度学习扩展 | ND4J后端 | 支持CUDA | 支持cuDNN |
---|---|---|---|
1.1.2 | 1.0 | 10.1 | 7.6 |
1.1.1 | 1.0 | 10.1 | 7.6 |
1.1.0 | 1.0 | 10.1 | 7.6 |
1.0.1 | 1.0 | 10.1 | 7.6 |
1.0 | 1.0 | 10.1 | 7.6 |
0.9.4 | 0.1.1 | 10.0 | 7.4 |
0.9.3 | 0.1.0 | 10.0 | - |
0.9.1 | - | 9.0 | - |
0.9.0 | - | 9.0 | - |
0.8.1 | - | 9.1 | - |
0.8.0 | - | 9.1 | - |
创建启用gpu的作业代理
阅读更多:安装深度学习扩展
Job Agent可以利用GPU来处理图像或训练和评分神经网络。目前,每个作业代理可以使用一个GPU。
采取以下步骤:
将作业代理安装在具有CUDA-compatible GPU。
的安装说明CUDA 10.1(和cuDNN版本7.6)。
下载ND4J后端和深度学习从RapidMiner市场中找到扩展,并将它们移动到属于Job Agent的扩展文件夹中
{homeDir} 乐鱼体育安装/ /资源/扩展
。创建设置文件
{homeDir} / config / rapidminer / rapidminer.properties
如下:rapidminer.backend.nd4j=GPU-CUDA rapidminer.backend.nd4j.max_bytes=32G rapidminer.backend.nd4j.max_physical_bytes=48G rapidminer.deeplearning.training_ui.ports=60080
在当前上下文中,这些设置中的第一个是必需的(GPU-CUDA),但最后三个是可选的,对应于这里讨论的RapidMiner Studio设置。
设置
这些设置由属性文件,{homeDir} / config / rapidminer / rapidminer.properties
,位于Job Agent的主目录中。
关键参数 | 可能参数值 | 解释 |
---|---|---|
rapidminer.backend.nd4j |
CPU-OpenBLAS ,CPU-MKL ,GPU-CUDA |
选择用于计算的计算后端。 |
rapidminer.backend.nd4j.max_bytes |
1024米 ,16克 |
计算后端的JVM堆外内存限制(~本机内存限制) |
rapidminer.backend.nd4j.max_physical_bytes |
1024米 ,16克 |
整个进程的最大字节——通常设置为max-bytes + Xmx +一些额外的字节,以防其他库也需要一些堆外内存。 |
rapidminer.deeplearning.training_ui.ports |
1 -65535 |
选择一个Job Agents训练UI应该听的端口。港口0 也是允许的,但是会分配一个随机端口。 |