在交叉验证期间将与图像相关的每个csv文件加载到深度学习中

varunm1

嗨

我有4700张图像的数据集，尺寸为2000*102。所有这些图像都被转换为单独的CSV文件(像素值)。我想我不能一次加载所有这些csv文件，因为这会使我的RAM (32GB)崩溃。RM是否可以在训练和测试期间从存储位置访问每个图像(.csv)文件，而不是将其放在RAM上?这是为了训练和测试CNN的深度学习扩展。

@mschmitz @hughesfleming68

谢谢,
Varun

hughesfleming68

你好，Varun，有趣的问题。我读过关于用Keras逐步加载图像数据，从数据框和目录流，但我不确定如何在Rapidminer中工作。我个人从未尝试过。我想知道你是否可以将图像数据存储在数据库中。

varunm1

嗨@hughesfleming68

谢谢你的回应，是的，这就是我想知道的，因为我们可以在python中使用keras从目录中加载数据块，如果我们有这个选项(不确定是否有)，它在RM中也会很有用。因为有时由于大量的数据丢失而重新缩放和降采样不是一个好的选择。我将以多个表的形式加载到数据库中，但我不知道当我应用算法时是否需要逐个表。

谢谢
Varun

Telcontar120

似乎是旧的“流数据库”操作符的另一个用例，不幸的是现在已弃用。我相信@land一直在开发一个新的流扩展，但我不确定它是否适合这个特殊的用例。