连接Radoop到Azure上的Cloudera集群时出现问题

拉赫曼拉赫曼 成员职位:2贡献我
2020年8月编辑 在帮助
我正试图将Radoop连接到MS Azure上的Cloudera集群，该集群具有Spark 2.4。所有的测试都进行得很顺利，但我在Spark测试中出现了一个错误(Spark staging目录错误)。

Nov 24, 2019 10:55:31 PM]: Test succeeded: Fetch dynamic settings (9.60s)
[Nov 24, 2019 10:55:31]:运行测试2/5:Spark暂存目录
[Nov 24, 2019 10:55:32 PM]严重:测试失败:Spark暂存目录
[Nov 24, 2019 10:55:32]:测试后清理:Spark暂存目录
[11月24日下午10:55:32]:测试后清理:获取动态设置
[Nov 24, 2019, 10:55:32]:总时间:10.100秒
[Nov 24, 2019 10:55:32]: java.lang.IllegalArgumentException: java.net.UnknownHostException: sibaluster-50e44e52.siba
org.apache.hadoop.security.SecurityUtil.buildTokenService (SecurityUtil.java: 418)
org.apache.hadoop.hdfs.NameNodeProxiesClient.createProxyWithClientProtocol (NameNodeProxiesClient.java: 130)
在org.apache.hadoop.hdfs.DFSClient。< init > (DFSClient.java: 343)
在org.apache.hadoop.hdfs.DFSClient。< init > (DFSClient.java: 287)
org.apache.hadoop.hdfs.DistributedFileSystem.initialize (DistributedFileSystem.java: 156)
org.apache.hadoop.fs.FileSystem.createFileSystem (FileSystem.java: 2811)
org.apache.hadoop.fs.FileSystem.access 200美元(FileSystem.java: 100)
org.apache.hadoop.fs.FileSystem Cache.getInternal美元(FileSystem.java: 2848)
org.apache.hadoop.fs.FileSystem Cache.get美元(FileSystem.java: 2830)
org.apache.hadoop.fs.FileSystem.get (FileSystem.java: 389)
org.apache.hadoop.fs.FileSystem.get (FileSystem.java: 181)
eu.radoop.datahandler.mapreducehdfs.MRHDFSHandlerLowLevel.testDirPermission (MRHDFSHandlerLowLevel.java: 786)
eu.radoop.datahandler.mapreducehdfs.MRHDFSHandlerLowLevel.testSparkStagingPermission_invoke (MRHDFSHandlerLowLevel.java: 766)
在sun.reflect.NativeMethodAccessorImpl。invoke0(本地方法)
sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java: 62)
sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java: 43)
java.lang.reflect.Method.invoke (Method.java: 498)
在eu.radoop.datahandler.mapreducehdfs.MRHDFSHandlerLowLevel 2.美元运行(MRHDFSHandlerLowLevel.java: 641)
在java.security.AccessController。doPrivileged(本地方法)
javax.security.auth.Subject.doAs (Subject.java: 422)
org.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java: 1807)
在eu.radoop.security.UgiWrapper.doAs (UgiWrapper.java: 49)
eu.radoop.datahandler.mapreducehdfs.MRHDFSHandlerLowLevel.invokeAs (MRHDFSHandlerLowLevel.java: 637)
在sun.reflect.NativeMethodAccessorImpl。invoke0(本地方法)
sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java: 62)
sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java: 43)
java.lang.reflect.Method.invoke (Method.java: 498)
eu.radoop.datahandler.mapreducehdfs.MapReduceHDFSHandler.invokeAs (MapReduceHDFSHandler.java: 1805)
eu.radoop.datahandler.mapreducehdfs.MapReduceHDFSHandler.invokeAs (MapReduceHDFSHandler.java: 1769)
eu.radoop.datahandler.mapreducehdfs.MapReduceHDFSHandler.invokeAs (MapReduceHDFSHandler.java: 1746)
eu.radoop.datahandler.mapreducehdfs.MapReduceHDFSHandler.invoke (MapReduceHDFSHandler.java: 1733)
在eu.radoop.datahandler.mapreducehdfs.MapReduceHDFSHandler.lambda testStagingDirPermission 32美元(MapReduceHDFSHandler.java: 1522)
eu.radoop.tools.ExceptionTools.checkOnly (ExceptionTools.java: 277)
eu.radoop.datahandler.mapreducehdfs.MapReduceHDFSHandler.testStagingDirPermission (MapReduceHDFSHandler.java: 1521)
eu.radoop.datahandler.mapreducehdfs.MapReduceHDFSHandler.testSparkStagingPermission (MapReduceHDFSHandler.java: 1513)
eu.radoop.connections.service.test.connection.TestSparkStaging.call (TestSparkStaging.java: 45)
在eu.radoop.connections.service.test.connection.TestSparkStaging.call (TestSparkStaging.java: 24)
在eu.radoop.connections.service.test.RadoopTestContext.lambda小牛1美元(RadoopTestContext.java: 282)
java.util.concurrent.FutureTask.run (FutureTask.java: 266)
java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java: 1149)
java.util.concurrent.ThreadPoolExecutor Worker.run美元(ThreadPoolExecutor.java: 624)
java.lang.Thread.run (Thread.java: 748)
原因:java.net.UnknownHostException: sibaluster-50e44e52.siba
…42更多

[11月24日，2019 10:55:32 PM]严重:java.lang.IllegalArgumentException: java.net.UnknownHostException: sibaluster-50e44e52.siba
[Nov 24, 2019 10:55:32 PM] Spark staging directory (on HDFS) test failed.日志含义Radoop客户端试图写入HDFS用户主目录。
[Nov 24, 2019 10:55:32 PM]严重:测试失败:Spark暂存目录
[2019年11月24日10:55:32 PM]严重:“sibaucluster(10.1.7.8)”的集成测试失败。

标记:

答案

  • sgenzersgenzer 管理员，版主，员工，RapidMiner认证分析师，社区经理，成员，大学教授，PM版主职位:2959年社区经理
    cc@asimon
  • 拉赫曼拉赫曼 成员职位:2贡献我
    不。我请求帮助
  • sgenzersgenzer 管理员，版主，员工，RapidMiner认证分析师，社区经理，成员，大学教授，PM版主职位:2959年社区经理
    你好@rehman所以我是RapidMiner的社区经理。一般来说，如果我不知道一个问题的答案，并且没有人自愿插话，我会抄送给RapidMiner中专门研究该问题领域的人。在您的情况下，您有一个非常具体的Radoop问题属于这一类。因此，我已经抄送给我的同事，他可能有时间帮忙。

    注意，您可能需要耐心等待-这是社区支持。因此，人们在有时间和慷慨的精神下帮助这里。微笑:

    斯科特
  • asimonasimon 管理员、员工、会员职位:8RM工程
    你好,
    如果您可以分享您的connection.xml，或者更好的是由“Extract Logs”按钮生成的zip包，这将是有帮助的。
    否则，堆栈跟踪和异常表明网络问题(java.net.UnknownHostException: sibaluster-50e44e52.siba)，因此请检查您的网络连接(您可以从运行RM Studio的机器ping该主机吗?)。DNS和反向DNS必须在Hadoop集群和运行RapidMiner Studio的主机中都到位。实现这一点的最简单方法可能是将主机名及其IP地址放入/etc/hosts文件中。
登录或注册置评。