Radoop Hive连接测试在“创建永久udf”上失败
新手
你好,
我正在尝试设置与安全的cloudera集群的radoop连接，并启用了哨兵。
Hadoop管理员在我的测试数据库中手动创建了udf，但我仍然得到错误:
[Sep 27, 2019 3:56:09 PM]警告:HADOOP_CLASSPATH(9.0)上的rapidminer_libs jar的版本适用于其他版本的RapidMiner Radoop。当前版本:9.3。请通知您的Hadoop管理员这个问题。
[Sep 27, 2019 3:56:09 PM]警告:当前版本(9.3)的rapidminer_libs jar无法在HADOOP_CLASSPATH上找到。请通知您的Hadoop管理员这个问题。
[Sep 27, 2019 3:56:10 PM]严重:测试失败:创建永久udf
[2019年9月27日下午3:56:10]:测试后清理:创建永久udf
[2019年9月27日下午3:56:10]:测试后清理:UDF jar上传
[2019年9月27日下午3:56:10]:测试后清洁:获取动态设置
[2019年9月27日下午3:56:10]:测试后清洁:蜂巢连接
[2019年9月27日下午3:56:10]:总时间:23.705秒
[Sep 27, 2019 3:56:10 PM]: com.rapidminer.operator. operatoreexception: udf声称是手动安装的，但以下功能在数据库'test_db'中不可用:r3_is_eq test_db。r3_greatest test_db。r3_gaussian_rand test_db。r3_which test_db。r3_least test_db。r3_max_index test_db。r3_pivot_collect_count test_db。r3_nth test_db。r3_correlation_matrix test_db。r3_pivot_collect_avg test_db。r3_pivot_collect_min test_db。r3_sum_collect test_db。r3_add_file test_db。r3_pivot_createtable test_db。r3_score_naive_bayes test_db。r3_pivot_collect_sum test_db。r3_pivot_collect_max test_db。r3_sleep test_db.r3_esc]
eu.radoop.datahandler.hive.UDFHandler.ensureRadoopUDFs (UDFHandler.java: 839)
eu.radoop.connections.service.test.connection.TestCreatePermanentUDFs.call (TestCreatePermanentUDFs.java: 46)
在eu.radoop.connections.service.test.connection.TestCreatePermanentUDFs.call (TestCreatePermanentUDFs.java: 26)
在eu.radoop.connections.service.test.RadoopTestContext.lambda小牛1美元(RadoopTestContext.java: 280)
java.util.concurrent.FutureTask.run (FutureTask.java: 266)
java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java: 1149)
java.util.concurrent.ThreadPoolExecutor Worker.run美元(ThreadPoolExecutor.java: 624)
java.lang.Thread.run (Thread.java: 748)
我可以确认所有需要的udf已经创建通过运行:hive -e 'use test_db;显示功能;
test_db.r3_add_file
test_db.r3_apply_model
test_db.r3_correlation_matrix
test_db.r3_esc
test_db.r3_gaussian_rand
test_db.r3_greatest
test_db.r3_is_eq
test_db.r3_least
test_db.r3_max_index
test_db.r3_nth
test_db.r3_pivot_collect_avg
test_db.r3_pivot_collect_count
test_db.r3_pivot_collect_max
test_db.r3_pivot_collect_min
test_db.r3_pivot_collect_sum
test_db.r3_pivot_createtable
test_db.r3_score_naive_bayes
test_db.r3_sleep
test_db.r3_sum_collect
test_db.r3_which
我现在应该做些什么来解决这个问题?任何建议都将不胜感激。
谢谢
我正在尝试设置与安全的cloudera集群的radoop连接，并启用了哨兵。
Hadoop管理员在我的测试数据库中手动创建了udf，但我仍然得到错误:
[Sep 27, 2019 3:56:09 PM]警告:HADOOP_CLASSPATH(9.0)上的rapidminer_libs jar的版本适用于其他版本的RapidMiner Radoop。当前版本:9.3。请通知您的Hadoop管理员这个问题。
[Sep 27, 2019 3:56:09 PM]警告:当前版本(9.3)的rapidminer_libs jar无法在HADOOP_CLASSPATH上找到。请通知您的Hadoop管理员这个问题。
[Sep 27, 2019 3:56:10 PM]严重:测试失败:创建永久udf
[2019年9月27日下午3:56:10]:测试后清理:创建永久udf
[2019年9月27日下午3:56:10]:测试后清理:UDF jar上传
[2019年9月27日下午3:56:10]:测试后清洁:获取动态设置
[2019年9月27日下午3:56:10]:测试后清洁:蜂巢连接
[2019年9月27日下午3:56:10]:总时间:23.705秒
[Sep 27, 2019 3:56:10 PM]: com.rapidminer.operator. operatoreexception: udf声称是手动安装的，但以下功能在数据库'test_db'中不可用:r3_is_eq test_db。r3_greatest test_db。r3_gaussian_rand test_db。r3_which test_db。r3_least test_db。r3_max_index test_db。r3_pivot_collect_count test_db。r3_nth test_db。r3_correlation_matrix test_db。r3_pivot_collect_avg test_db。r3_pivot_collect_min test_db。r3_sum_collect test_db。r3_add_file test_db。r3_pivot_createtable test_db。r3_score_naive_bayes test_db。r3_pivot_collect_sum test_db。r3_pivot_collect_max test_db。r3_sleep test_db.r3_esc]
eu.radoop.datahandler.hive.UDFHandler.ensureRadoopUDFs (UDFHandler.java: 839)
eu.radoop.connections.service.test.connection.TestCreatePermanentUDFs.call (TestCreatePermanentUDFs.java: 46)
在eu.radoop.connections.service.test.connection.TestCreatePermanentUDFs.call (TestCreatePermanentUDFs.java: 26)
在eu.radoop.connections.service.test.RadoopTestContext.lambda小牛1美元(RadoopTestContext.java: 280)
java.util.concurrent.FutureTask.run (FutureTask.java: 266)
java.util.concurrent.ThreadPoolExecutor.runWorker (ThreadPoolExecutor.java: 1149)
java.util.concurrent.ThreadPoolExecutor Worker.run美元(ThreadPoolExecutor.java: 624)
java.lang.Thread.run (Thread.java: 748)
我可以确认所有需要的udf已经创建通过运行:hive -e 'use test_db;显示功能;
test_db.r3_add_file
test_db.r3_apply_model
test_db.r3_correlation_matrix
test_db.r3_esc
test_db.r3_gaussian_rand
test_db.r3_greatest
test_db.r3_is_eq
test_db.r3_least
test_db.r3_max_index
test_db.r3_nth
test_db.r3_pivot_collect_avg
test_db.r3_pivot_collect_count
test_db.r3_pivot_collect_max
test_db.r3_pivot_collect_min
test_db.r3_pivot_collect_sum
test_db.r3_pivot_createtable
test_db.r3_score_naive_bayes
test_db.r3_sleep
test_db.r3_sum_collect
test_db.r3_which
我现在应该做些什么来解决这个问题?任何建议都将不胜感激。
谢谢
0
答案
完整文件可在此下载:https://docs.cloudera.com/documentation/enterprise/5-16-x/topics/cm_mc_hive_udf.html
我还建议更新rapidminer包，这样警告也可以消失。
谢谢你回答我的问题。
我会回到我的Hadoop管理员那里，看看它是否有帮助。