“[解决]内存耗尽循环函数”

奥利奥利 成员职位:6因素二世
2019年6月编辑 帮助
你好,

我有一个问题与内存量我的代码使用下面。我只有一台相当低规格的电脑,只有大约2gb的空闲内存,所以我知道我是有限的。

在我的数据集中,我想通过大约14000个例子,使用大约50000行原始数据来找到K-NN。

在内存用完之前,我只能批量处理250个例子。我在论坛上看了一下,尝试了一些不同的东西,但似乎没有什么能减少我使用的内存。

我有点不确定为什么它使用如此多的内存,因为一旦它循环并获得一个例子的K-NN预测并存储结果,因此它可以将其写入excel文件,它可以忘记其他信息,如模型等…

任何帮助将是非常感激的指出我在正确的方向来阅读这个。

谢谢,

奥利
<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<过程version = " 5.3.008 " >
> <上下文
<输入/ >
<输出/ >
<宏/ >
> < /上下文

<过程扩展= " true " >


< /操作符>


<过程扩展= " true " >


< /操作符>



< /操作符>


< /操作符>



< /操作符>


<列出关键= " application_parameters " / >
< /操作符>











> < /过程
< /操作符>




< /操作符>





> < /过程
< /操作符>
> < /过程
标记:

答案

  • 奥利奥利 成员职位:6因素二世
    你好,

    我想我通过使用自由内存和物化数据操作符找到了解决方案。使用这些函数似乎会降低内存。我做了一些测试,以确保数据没有变化,我的样本似乎没有问题。

    我已经粘贴了下面的代码,如果有人看到任何问题,我有兴趣知道。

    谢谢,

    奥利
    <?xml version="1.0" encoding="UTF-8" standalone="no"?>
    <过程version = " 5.3.008 " >
    > <上下文
    <输入/ >
    <输出/ >
    <宏/ >
    > < /上下文

    <过程扩展= " true " >



    < /操作符>


    <过程扩展= " true " >


    < /操作符>



    < /操作符>



    < /操作符>



    < /操作符>


    <列出关键= " application_parameters " / >
    < /操作符>













    > < /过程
    < /操作符>




    < /操作符>





    > < /过程
    < /操作符>
    > < /过程
登录注册置评。