SVD的降维方法

Muhammed_Fatih_Muhammed_Fatih_ 成员职位:93Maven
2019年10月编辑 在帮助
亲爱的RapidMiner社区:

我目前正在执行一个简单的奇异值分解(SVD)过程，该过程基于我生成的考虑通信数据的TDM(术语文档矩阵)。这个矩阵有9662个属性列(术语)，总共有72826行。我的SVD进程已经运行了四天，而且还没有结束。特别是SVD操作符本身仍在加载(见附件)。

你能告诉我这样一个矩阵的“正常”计算时间与SVD降维有关吗?我真的需要几天的时间来计算SVD吗?

提前感谢您的帮助和支持!

致以最亲切的问候

穆罕默德


标记:
Tghadially

答案

  • rfuentealbarfuentealba 主持人，RapidMiner认证分析师，会员，大学教授职位:568独角兽
    你好,@Muhammed_Fatih_，

    考虑到9662x72826矩阵和计算的性质，我认为您的过程很可能仍然有效。我想看看计算机内存、处理器和交换是如何工作的，因为如果数据不适合RAM，它将开始在磁盘上交换，使磁盘访问(以及整个过程)有效地变慢。

    希望这能有所帮助，

    杆。
  • Muhammed_Fatih_Muhammed_Fatih_ 成员职位:93Maven
    你好@rfuentealba，

    谢谢你的回答。内存、处理器的行为如下:



    我的电脑有32g的内存。你会怎么说?你认为计算这个进程需要额外的内存吗?或者是否有关于SVD计算的替代方法来加速这个过程?

    提前感谢您的答复。

    穆罕默德
    Tghadially
  • rfuentealbarfuentealba 主持人，RapidMiner认证分析师，会员，大学教授职位:568独角兽

    我不是微软用户(自1995年以来就没有使用过它)，我不知道该操作系统的内部结构，因此我在阅读内存分页意味着什么时遇到了很多麻烦。我没有看到机器在使用交换内存，这清楚地表明你的计算机需要更多的内存，它正在尝试使用硬盘。然而，我在其他地方发现Windows只在崩溃的情况下使用swap。

    我认为@Marco_Boeck或@pschlunder可以对这里发生的事情有更好的技术理解。引用@mschmitz了。

    现在，NLP过程总是花费很多时间，这就是为什么我不能说“这是正常的”或“这不是”。如果你能提供一个小样本，我可以在我的服务器上为你测试一些东西。

    愿一切都好！

    罗德里戈。
登录或注册置评。