Pushdown错误

asmahassani08

我正在研究radoop。我使用sparkRM提取关联规则。为此，我在sparkRM操作符子流程中应用fpgrowth。
我有这些错误:SparkRM:驱动程序资源请求尚未授予Spark作业。

加入过程和错误。

asmahassani08

我将下推过程更改为sparkRM操作符，并出现问题:

它是什么意思:驱动程序资源请求尚未授予Spark作业。
在rapidminer的日志中，我有这个SparkRM (2): application_1544000400659_0013的Yarn应用状态:ACCEPTED

在纱线中:

ContainersMonitorImpl: container_1544000400659_0013_01_000001 for container-id container_1544000400659_0013_01_000001的进程树的内存使用情况:278.2 MB的2gb物理内存使用;4.2 GB的虚拟内存使用了455.0 MB

作业已被接受但尚未运行，问题的根源可能是什么?

sgenzer

cc@asimon

toth_zsolt_bme

你好,

这可能意味着多种原因，我的猜测是您的集群没有足够的空闲资源来启动作业。乐鱼体育安装你可以尝试在Radoop连接中设置Spark资源分配策略，以及在操作符参数中设置集群资源、驱动程序内存、执行器内存，例如尝试减少集群资源%。乐鱼体育安装

如果你可以访问yarn CLI，你可以执行“yarn logs -applicationId application_1544000400659_0013”来查看应用程序的完整日志。

asmahassani08

谢谢你的回应，问题是我是新的Hadoop和spark，我不知道我应该如何配置的东西。
遵循yarn-site.xml。
这是spark-default.conf:

# spark.master ,,,,,,,,,  yarn
# spark.eventLog.enabled           true
# spark.eventLog.dir               hdfs://namenode:8021/directory
# spark.serializer                 org.apache.spark.serializer.KryoSerializer
# spark.driver.memory              4G
# spark.driver.cores 1
# spark.yarn.driver.memoryOverhead 384MB
# spark.yarn.am.memory             1G
# spark.yarn.am.cores 1
# spark.yarn.am.memoryOverhead 384MB
# spark.yarn.nodemanager.resource.cpu-vcores   1
# spark.yarn.nodemanager.resource.memory-mb 2048MB
# spark.executor.memory            2G
# spark.executor.instances 1
# spark.executor.cores 1
# spark.yarn.executor.memoryOverhead 384MB
# spark.executor.extraJavaOptions  -XX:+PrintGCDetails -Dkey=value -Dnumbers="one two three"

Spark资源分配策略=静态，默认配置
驱动内存= 1024MB
在应用程序的诊断，我有如下:
我希望我有一个解决方案，让事情顺利进行。