spark submit on yarn 提交作业的时候,报错
image.png
由于是本地搭建的伪分布机器,首先想到的是内存分配有问题.在yarn-size.xml中 将 虚拟内存,物理内存检测关闭掉.如下:
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
<property>
<name>yarn.nodemanager.pmem-check-enabled</name>
<value>false</value>
</property>
但是问题还是没有解决. 查看yarn ui 寻找问题.找到container的日志显示
Failed while trying to construct the redirect url.....
解决方式:
1 .需要在 mapred-site.xml 增加 History服务
<property>
<name>mapreduce.jobhistory.address</name>
<value>localhost:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>localhost:19888</value>
</property>
- 在yarn-site.xml 中配置
<property>
<name>yarn.log.server.url</name>
<value>http://127.0.0.1:19888/jobhistory/logs</value>
</property>
现在就能看到container报错信息了. 原因是依赖没有打包进入.
image.png
