一.背景:
因为公司使用的调度平台是没有加入到CDH集群,所以只复制了/opt/cdh下的所有文件到调度平台的work节点,公司的平台一直使用的是MR引擎为调度,上周接到一个项目,必须跑spark,调度平台执行了以后报错找不到hive on spark找不到spark的客户端.
FAILED: Execution Error,return code 30041 from org.apache.hadoophive,gl.exec,spark.Sparktask, Failed to create Spark client
9d-ad23-19ac3d31e4ec_0: java,lang.ClassNotFoundException: org.apache.spark.network,util.ByteUnit二.解决方案:
1.在客户端的机器上执行spark-shell命令,报无此命令
2.打开profile文件
vim /etc/profile
3.设置spark客户端配置路径和bin
4.souce /etc/profile
5.重新提交spark任务问题解决
知识点.
出现此类问题的主要原因是因为我在观察使用hue执行的时候,是可以执行成功的.
然后在调度上执行不成功,主要就是因为没有配置spark的客户端导致的.
