Hadoop启动MR日志服务

当执行MR程序，Hive程序时，如果配置并开启了yarn的话，一般都会提交到yarn上管理执行，如果要在yarn上查看application的日志，需要启动MR日志服务器。

1.最低配置

在yarn-site中添加

 

<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>86400</value>
</property>

yarn.log-aggregation-enable=true表示启动日志聚合，yarn.log-aggregation.retain-seconds表示日志存留时间，设为了一天，也可以不配置。

2.详细配置说明

在 http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0/左下方configuration里选择对应的默认配置进行查看。

mapred-site.xml

staging-log

mapreduce.jobhistory

yarn-site.xml

yarn.nodemanager.remote-app-log-dir

yarn.nodemanager.remote-app-log-dir-suffix