“去支点内存问题”

jlabado

大家好,

我正在运行一个需要使用2个去枢轴运算符的过程。数据集很大(大约900k个例子)。第一个De-pivot运行得很好，但第二个因内存不足而崩溃，尽管我的机器有16GB的RAM。

我知道应该有一些解决方法通过使用循环批次(插入在第二个去枢轴)和追加操作符，但我只是不能让它工作。你能给我解释一下如何准确地设置这些操作系统吗?

非常感谢你的帮助。

最好的

Telcontar120

如果没有看到你的过程或数据，很难给你一个确切的解决方案。但是看一下这个例子，它是对去支点教程过程的简单修改。这循环遍历每个示例(一个接一个)并去中心化它，然后在最后取所有去中心化的单个示例并将它们附加到一个组合数据集中。类似这样的东西应该适合您(假设您的结果数据集实际上能够包含在内存中)。

问候,

Telcontar120

我建议您先做一些测试，以确定通过两步去中心化过程可以成功运行的最大记录数。您应该能够通过添加“过滤器示例范围”操作符手动执行此操作，并尝试越来越大的值，直到过程失败。

如果您知道可以成功处理多少个示例，那么您就应该能够创建一个循环，以合适的块遍历示例，完成去中心化，然后将结果存储到存储库条目中。作为最后一步，应该能够将所有这些存储库附加在一起。

jlabado

你好布莱恩,

非常感谢你的意见。你能给我更多的细节，选择哪个操作符(只是“循环”或另一个?)，以及如何连接它与相应的追加?您介意分享一个XML文件吗?

再次感谢!

jlabado

非常感谢Brian，这解决了我的问题!!

Telcontar120

@jlabado我很高兴解决了你的问题!你可能想要“接受作为解决方案”的帖子，这样如果其他社区成员正在搜索这个主题或类似的东西，那么它将显示在结果解决。