“Spark不能与Cloudera HA集群一起工作”

michael_ahn

我配置了一个与HA Cloudera集群的Radoop连接，并且可以访问Hive和Impala。但是当我尝试启动Spark Operator时，当Spark Application Master启动时失败:

Java HotSpot(TM) 64位服务器虚拟机警告:忽略选项MaxPermSize=128m;支持在8.0中被移除
17/04/24 10:52:57 INFO纱线。ApplicationMaster: [TERM, HUP, INT]的注册信号处理程序
未知/不支持的参数列表(——executor-memory, 58880m，——executor-cores, 40，——properties-file， /mnt/disk1/yarn/nm/usercache/datameer/appcache/application_1492760101213_0043/container_e12_1492760101213_0043_01_000001/__spark_conf__/__spark_conf__.properties)

使用:org.apache.spark.deploy.yarn.ApplicationMaster [options]
选项:
——jar JAR_PATH应用程序jar文件的路径
——class CLASS_NAME应用程序的主类名
——primary-py-file Python主文件
——primary-r-file主R文件
——py-files PY_FILES以逗号分隔的。zip、。egg或。py文件列表
放置在Python应用程序的PYTHONPATH上。
args传递给应用程序主类的参数。
可能有多个调用，每个调用都将按顺序传递。
——properties- FILE FILE自定义Spark属性文件的路径。

我创建了与从Cloudera manager导出的客户端配置的连接:

配置

我还附加了XML配置

ptoth

你好,

请尝试将Spark版本切换到Spark 2.0。

最好的

彼得

michael_ahn

我安装了Cloudera Spark 2.1包，它工作得很好。

谢谢!