“当我们在使用RapidMin乐鱼体育安装er Radoop时，如何管理Hadoop集群上的资源”

Pavithra_Rao

通过Radoop提交和管理Hadoop作业是通过Radoop高级连接属性启用的:

1.提交map reduce作业的队列

Hadoop高级参数：

关键是"mapreduce。job。queuename"

默认值:

这必须匹配mapred-queue .xml中为系统定义的队列之一。在指定队列之前，请确保系统配置了该队列，并且允许向该队列提交作业

2.YARN资源队列，Client用来提交Spark应用程序。

高级火花参数：

关键是“spark.yarn.queue”。

默认值:

3.HiveServer2

Hive高级参数Tez上的Hive

Tez上的蜂巢

关键是hive.server2.tez.default.queues

Hive on MapReduce或Spark

关键字是mapreduce.job.queuename

默认值:

Hive会话数

关键是hive.server2.tez.sessions.per.default.queue

默认值:

4.的火花：

Radoop连接中“Spark资源分配策略”的默认设置是:“静态，启发式配置”。

建议:“动态资源分配”。然后使用少量和小型容器开始作业，然后根据需要进行扩展。

Radoop高级连接属性SparkRM：

SparkRM操作符有自定义设置作为操作符参数，可以根据子进程的需求进行更改——“集群资源%”和“执行器内存%”可以调优乐鱼体育安装

SparkRM ParametersCheers,