开启HadoopYarn的日志监控功能,解决web端查看日志时的Java.lang.Exception:Unknown container问题

mac2024-02-21  70

解放方法: yarn的日志监控功能默认是处于关闭状态的,需要我们进行开启,开启步骤如下:

一、在yarn-site.xml文件中添加日志监控支持 该配置中添加下面的配置:

<property>     <name>yarn.log-aggregation-enable</name>     <value>true</value> </property>

二、在mapred-site.xml文件中添加日志服务的配置 该配置文件中添加如下配置:

<property>     <!-- 表示提交到hadoop中的任务采用yarn来运行,要是已经有该配置则无需重复配置 -->     <name>mapreduce.framework.name</name>     <value>yarn</value> </property> <property>   <!--日志监控服务的地址,一般填写为namenode节点地址 -->     <name>mapreduce.jobhistroy.address</name>     <value>node1:10020</value> </property> <property>     <name>mapreduce.jobhistroy.webapp.address</name>     <value>node1:19888</value> </property>

三、将修改后的配置文件拷贝到集群中的其他机器(单机版hadoop可以跳过该步骤)

scp yarn-site.xml mapred-site.xml 其他节点:{HADOOP_HOME}/etc/hadoop

四、重新启动集群的Hdfs和Yarn服务 在namenode机器上分别对hdfs和yarn服务进行重启

bin/stop-all.sh bin/start-dfs.sh bin/start-yarn.sh

五、 开启日志监控服务进程 在nodenode机器上执行 sbin/mr-jobhistory-daemon.sh start historyserver 命令,执行完成后使用jps命令查看是否启动成功,若启动成功则会显示出JobHistoryServer服务

最新回复(0)