搭建yarn(hadoop-2.2.0)环境详细过程

步骤二：配置环境变量

在这里我自己没有将环境全局化所以在hadoop-2.2.0中没有配置系统环境/etc/profile
如果配置，执行执行source /etc/profile，使之生效。

步骤三：core-site.xml hdfs-site.xml mapred-site.xml yarn-site.xml配置

接下来我们的具体配置就是/home/hadoop/yarn/hadoop-2.2.0/etc/hadoop目录中进行。

core-site.xml配置

 
 fs.default.name
 hdfs://localhost:9000
 指定NameNode的IP地址和端口号
 

hdfs-site.xml

 
 dfs.replication
 2
 备份数
 
 
 dfs.namenode.name.dir
 file:/home/hadoop/yarn/yarn_data/hdfs/namenode
 
 
 dfs.datanode.data.dir
 file:/home/hadoop/yarn/yarn_data/hdfs/datanode
 

mapred-site.xml

  
 mapreduce.framework.name 
 yarn 
 
 
 mapreduce.jobhistory.address
 localhost:10020
 
 
 mapreduce.jobhistory.webapp.address
 localhost:19888
 
 

yarn-site.xml

　　yarn.resourcemanager.address
　　localhost:8032


　　yarn.resourcemanager.scheduler.address
　　localhost:8030


　　yarn.resourcemanager.resource-tracker.address
　　localhost:8031
 

　　yarn.resourcemanager.admin.address
　　localhost:8033
 

　　yarn.resourcemanager.webapp.address
　　localhost:8088
 
 
yarn.nodemanager.aux-services 
mapreduce_shuffle 
 
 
yarn.nodemanager.aux-services.mapreduce.shuffle.class 
org.apache.hadoop.mapred.ShuffleHandler 
 

步骤四：slaves配置

因为是伪分布式，所以我们只有localhost

步骤五：将配置好的hadoop-2.2.0分发同步到各个数据节点

因为是伪分布式，这步跳过。

步骤六：格式化NameNode

执行命令：

bin/hdfs namenode –format

或者

bin/hadoop namenode –format

步骤七：启动hdfs和yarn

启动hdfs:

sbin/start-dfs.sh

启动yarn:

sbin/start-yarn.sh

或者可以执行

sbin/start-all.sh

一起启动hdfs和yarn。

另外还要启动history服务，不然在面板中不能打开history链接。

sbin/mr-jobhistory-daemon.sh start historyserver

下面使用jps命令查看启动进程：

4504 ResourceManager
4066 DataNode
4761 NodeManager
5068 JobHistoryServer
4357 SecondaryNameNode
3833 NameNode
5127 Jps

步骤八：测试

hdfs测试：

在hdfs中创建文件：bin/hadoop fs -mkdir /wordcount
向hdfs中上传文件：bin/hadoop fs /home/hadoop/file2.txt /wordcount
查看hdfs文件目录：hdfs dfs –ls /

Yarn测试： 运行WordCount测试程序，

bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar wordcount /wordcount /output2

具体查看结果：

bin/hadoop fs -cat /output2/*

结果显示：

hadoop 1
hello 2
java 4
jsp 1

到这里，hadoop-2.2.0环境搭建结束，配置文件根据具体需求，具体配置。可能有配置不当的地方，若有看到还望指正。

原文地址：搭建yarn(hadoop-2.2.0)环境详细过程, 感谢原作者分享。