目录

YARN配置笔记

2021-07-19 约 421 字预计阅读 1 分钟次阅读

目录

之前配置Hadoop的hdfs后还需要配置yarn

为了使用start-dfs.sh和start-yarn.sh自动远程启动datanode等，除了ssh免密码以外还需要在对应用户下配置HADOOP_HOME

配置文件

yarn-site.xml

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29


<configuration>
  <!--指定Yarn的老大(ResourceManager)的地址-->
  <property>
    <name>yarn.resourcemanager.hostname</name>
    <value>node98</value>
  </property>
  <!--Yarn打印工作日志-->
  <property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
  </property>
  <property>
    <name>yarn.nodemanager.resource.memory-mb</name>
    <value>204800</value>
  </property>
  <property>
    <description>Max available cores data node.</description>
    <name>yarn.nodemanager.resource.cpu-vcores</name>
    <value>20</value>
  </property>
  <property>
    <name>yarn.nodemanager.local-dirs</name>
    <value>/media/moosefs/hadoop/nodemanager/localdirs</value>
  </property>
  <property>
    <name>yarn.nodemanager.log-dirs</name>
    <value>/media/moosefs/hadoop/nodemanager/logdirs</value>
  </property>
</configuration>

mapred-site.xml

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15


<configuration>
  <!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.address</name>
    <value>192.168.131.198:10020</value>
  </property>
  <property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>192.168.131.198:19888</value>
  </property>
</configuration>

分发配置

在datanode上

1

scp -r wjadmin@192.168.131.198:/opt/hadoop/hadoop-3.3.1/etc/hadoop/* /opt/hadoop/hadoop-3.3.1/etc/hadoop/

scp -r wjadmin@192.168.131.198:/opt/hadoop/hadoop-3.3.1/etc/hadoop /opt/hadoop/hadoop-3.3.1/etc/hadoop 不行，无法覆盖本地文件

启动集群

在namenode上

1
2
3
4


cd $HADOOP_HOME
./sbin/start-dfs.sh
./sbin/start-yarn.sh
$HADOOP_HOME/bin/mapred --daemon start historyserver

验证集群

进入webui：http://192.168.131.198:8088/cluster/nodes