“Radoop连接:完整测试错误”

kimusu2002kimusu2002 成员职位:5贡献我
2019年6月编辑 在帮助
你好,

我有一个CDH5 4节点集群，我想使用radoop和rapidminer连接到。当运行分布式文件系统上传时，我得到下面的错误:
[May 19, 2015 5:33:09 PM]:分布式文件系统上传开始。
[May 19, 2015 5:37:10 PM]严重:测试数据上传到分布式文件系统超时。请检查NameNode和DataNode服务及其日志，查看是否有错误痕迹。
我已经打开了所有必要的端口，供你参考。

提前感谢你的帮助。


下面是完整的测试日志:
[May 19, 2015 5:32:58 PM]: master.example.com的连接测试开始了。
[May 19, 2015 5:32:58 PM]: Hive server 2连接(??? ??? ??? ??? ??? ??? ??? ?:10000)测试启动。
[May 19, 2015 5:32:59 PM]: Hive server 2连接测试成功。
[May 19, 2015 5:32:59 PM]:检索所需的配置属性…
[May 19, 2015 . 5:33:00 PM]:成功获取属性:yarn. resourcmanager .scheduler.address
[2015年5月19日下午5:33:00]:成功获取属性:yarn. resourcmanager .resource-tracker.address
[May 19, 2015 . 5:33:00 PM]:成功获取属性:yarn. resourcmanager .admin.address
[2015年5月19日下午5:33:00]:成功获取属性:yarn.application.classpath
[May 19, 2015 5:33:00 PM]: MapReduce Home添加到yarn.application.classpath ($HADOOP_MAPRED_HOME/*，$HADOOP_MAPRED_HOME/lib/*)
[May 19, 2015 5:33:00 PM]:成功获取属性:mapreduce.jobhistory.address
[May 19, 2015 5:33:01 PM]:分布式文件系统测试启动。
[May 19, 2015 5:33:01 PM]:分布式文件系统测试成功。
[May 19, 2015 5:33:01 PM]: MapReduce test started.
[May 19, 2015 5:33:02 PM]: MapReduce test succeeded.日志示例
[May 19, 2015 5:33:02 PM]: Radoop临时目录测试启动
[May 19, 2015 5:33:02 PM]: Radoop临时目录测试成功。
[May 19, 2015 5:33:02 PM]: MapReduce staging directory test started。
[May 19, 2015 5:33:02 PM]: MapReduce staging directory test succeeded.日志示例
[May 19, 2015 5:33:02 PM]: master.example.com的连接测试成功完成。
(2015年5月19日,5:33:07点 ]: --------------------------------------------------
[May 19, 2015 5:33:07 PM]: master.example.com的连接测试开始了。
[May 19, 2015 5:33:07 PM]: Hive server 2连接(??? ??? ??? ??? ??? ??? ??? ??:10000)测试启动。
[May 19, 2015 5:33:07 PM]: Hive server 2连接测试成功。
[May 19, 2015 5:33:07 PM]:检索所需的配置属性…
[May 19, 2015 5:33:09 PM]:成功获取属性:yarn. resourcmanager .scheduler.address
[May 19, 2015 . 5:33:09 PM]:成功获取属性:yarn. resourcmanager .resource-tracker.address
[May 19, 2015 5:33:09 PM]:成功获取属性:yarn. resourcmanager .admin.address
[May 19, 2015 5:33:09 PM]:成功获取属性:yarn.application.classpath
[May 19, 2015 5:33:09 PM]: MapReduce Home添加到yarn.application.classpath ($HADOOP_MAPRED_HOME/*，$HADOOP_MAPRED_HOME/lib/*)
[May 19, 2015 5:33:09 PM]:成功获取属性:mapreduce.jobhistory.address
[May 19, 2015 5:33:09 PM]:分布式文件系统测试启动。
[May 19, 2015 5:33:09 PM]:分布式文件系统测试成功。
[May 19, 2015 5:33:09 PM]: MapReduce test started.
[May 19, 2015 5:33:09 PM]: MapReduce test succeeded.日志示例
[May 19, 2015 5:33:09 PM]: Radoop临时目录测试启动
[May 19, 2015 5:33:09 PM]: Radoop临时目录测试成功。
[May 19, 2015 5:33:09 PM]: MapReduce staging directory test started。
[May 19, 2015 5:33:09 PM]: MapReduce staging directory test succeeded.日志示例
[May 19, 2015 5:33:09 PM]: master.example.com的连接测试成功完成。
(2015年5月19日,5:33:09点 ]: --------------------------------------------------
[May 19, 2015 5:33:09 PM]:“master.example.com”的集成测试开始。
[May 19, 2015 5:33:09 PM]:测试可能需要几分钟才能完成。
[May 19, 2015 5:33:09 PM]:分布式文件系统上传开始。
[May 19, 2015 5:37:10 PM]严重:测试数据上传到分布式文件系统超时。请检查NameNode和DataNode服务及其日志，查看是否有错误痕迹。
标记:

答案

  • DocMusherDocMusher 成员职位:333独角兽
    你好,
    在这个话题上我绝对是一个新手，但是在你的Rapidminer偏好中改变超时和其他设置会改变什么吗?它对我来说是成功的。
    干杯
    斯文
    Thomas_Ott
  • kimusu2002kimusu2002 成员职位:5贡献我
    谢谢斯文,

    但正如你在我的帖子中看到的，时差是4秒，我设置了一个非常大的超时秒数，它仍然不起作用，我认为这是一个文件/目录权限问题，将检查，然后再来这里张贴
  • MartinLiebigMartinLiebig 管理员，版主，员工，RapidMiner认证分析师，RapidMiner认证专家，大学教授职位:3362年RM数据科学家
    你好,

    你看了cloudera管理器的日志了吗?
    我再次建议你去support.www.turtlecreekpls.com咨询我们的支持，因为我认为斯文和我是这里唯一使用Radoop的人

    欢呼,
    马丁
    - RapidMin乐鱼平台进入er数据科学服务主管
    德国多特蒙德
  • DocMusherDocMusher 成员职位:333独角兽
    你好,
    总的来说，我非常喜欢RADOOP扩展。这样做的主要原因是它为我提供了运行进程而不会挤压我的计算机的可能性。Martin会同意我的观点，即您获得的额外能力使您没有理由对预处理数据进行同样的关注。我希望在RADOOP中有更多的操作符可用。你打算怎么做?停机时间在我的设置中是最小的。主观上速度提高10倍。
    干杯
    斯文
    Thomas_Ott
  • MartinLiebigMartinLiebig 管理员，版主，员工，RapidMiner认证分析师，RapidMiner认证专家，大学教授职位:3362年RM数据科学家
    如果你看一下前两个版本，你会发现我们通过添加线性回归、逻辑回归和决策树增加了更多的预测能力。
    所以我认为这表明我们正在积极地将更多的算法力量投入到radoop中。

    上周我们在多特蒙德有我们的拉多普队。我得到了一些时间和他们交谈——相信我，未来还会有更多:)
    - RapidMin乐鱼平台进入er数据科学服务主管
    德国多特蒙德
    Thomas_Ott
登录或注册置评。