类别

版本

启用gpu的作业代理

在创建自己的启用gpu的作业代理之前,请注意RapidMiner提供的功能为深度学习预先配置的Docker镜像。不过,如果您想了解更多技术细节,请继续阅读!

主要有以下几点:

注意相容性矩阵:

CUDA兼容性

深度学习扩展 ND4J后端 支持CUDA 支持cuDNN
1.1.2 1.0 10.1 7.6
1.1.1 1.0 10.1 7.6
1.1.0 1.0 10.1 7.6
1.0.1 1.0 10.1 7.6
1.0 1.0 10.1 7.6
0.9.4 0.1.1 10.0 7.4
0.9.3 0.1.0 10.0 -
0.9.1 - 9.0 -
0.9.0 - 9.0 -
0.8.1 - 9.1 -
0.8.0 - 9.1 -

创建启用gpu的作业代理

Job Agent可以利用GPU来处理图像或训练和评分神经网络。目前,每个作业代理可以使用一个GPU。

采取以下步骤:

  1. 将作业代理安装在具有CUDA-compatible GPU

  2. 的安装说明CUDA 10.1(和cuDNN版本7.6)。

  3. 下载ND4J后端深度学习从RapidMiner市场中找到扩展,并将它们移动到属于Job Agent的扩展文件夹中{homeDir} 乐鱼体育安装/ /资源/扩展

  4. 创建设置文件{homeDir} / config / rapidminer / rapidminer.properties如下:

    rapidminer.backend.nd4j=GPU-CUDA rapidminer.backend.nd4j.max_bytes=32G rapidminer.backend.nd4j.max_physical_bytes=48G rapidminer.deeplearning.training_ui.ports=60080

    在当前上下文中,这些设置中的第一个是必需的(GPU-CUDA),但最后三个是可选的,对应于这里讨论的RapidMiner Studio设置

设置

这些设置由属性文件{homeDir} / config / rapidminer / rapidminer.properties,位于Job Agent的主目录中。

关键参数 可能参数值 解释
rapidminer.backend.nd4j CPU-OpenBLASCPU-MKLGPU-CUDA 选择用于计算的计算后端。
rapidminer.backend.nd4j.max_bytes 1024米16克 计算后端的JVM堆外内存限制(~本机内存限制)
rapidminer.backend.nd4j.max_physical_bytes 1024米16克 整个进程的最大字节——通常设置为max-bytes + Xmx +一些额外的字节,以防其他库也需要一些堆外内存。
rapidminer.deeplearning.training_ui.ports 1-65535 选择一个Job Agents训练UI应该听的端口。港口0也是允许的,但是会分配一个随机端口。