“[解决]内存耗尽循环函数”
你好,
我有一个问题与内存量我的代码使用下面。我只有一台相当低规格的电脑,只有大约2gb的空闲内存,所以我知道我是有限的。
在我的数据集中,我想通过大约14000个例子,使用大约50000行原始数据来找到K-NN。
在内存用完之前,我只能批量处理250个例子。我在论坛上看了一下,尝试了一些不同的东西,但似乎没有什么能减少我使用的内存。
我有点不确定为什么它使用如此多的内存,因为一旦它循环并获得一个例子的K-NN预测并存储结果,因此它可以将其写入excel文件,它可以忘记其他信息,如模型等…
任何帮助将是非常感激的指出我在正确的方向来阅读这个。
谢谢,
奥利
我有一个问题与内存量我的代码使用下面。我只有一台相当低规格的电脑,只有大约2gb的空闲内存,所以我知道我是有限的。
在我的数据集中,我想通过大约14000个例子,使用大约50000行原始数据来找到K-NN。
在内存用完之前,我只能批量处理250个例子。我在论坛上看了一下,尝试了一些不同的东西,但似乎没有什么能减少我使用的内存。
我有点不确定为什么它使用如此多的内存,因为一旦它循环并获得一个例子的K-NN预测并存储结果,因此它可以将其写入excel文件,它可以忘记其他信息,如模型等…
任何帮助将是非常感激的指出我在正确的方向来阅读这个。
谢谢,
奥利
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<过程version = " 5.3.008 " >
> <上下文
<输入/ >
<输出/ >
<宏/ >
> < /上下文
<过程扩展= " true " >
< /操作符>
<过程扩展= " true " >
< /操作符>
< /操作符>
< /操作符>
< /操作符>
<列出关键= " application_parameters " / >
< /操作符>
> < /过程
< /操作符>
< /操作符>
> < /过程
< /操作符>
> < /过程
标记:
0
答案
我想我通过使用自由内存和物化数据操作符找到了解决方案。使用这些函数似乎会降低内存。我做了一些测试,以确保数据没有变化,我的样本似乎没有问题。
我已经粘贴了下面的代码,如果有人看到任何问题,我有兴趣知道。
谢谢,
奥利