大数据学习Hadoop之YARN伪分布式部署和MapReduce案例-JobPlus

一、YARN伪分布式部署

1、进入/software/hadoop-2.8.1/etc/hadoop目录

cd /software/hadoop-2.8.1/etc/hadoop

2、复制配置模板

cp mapred-site.xml.template yarn-site.xml

3、修改配置文件：

vim yarn-site.xml

4、启动hdfs和yarn:

5、查看进程：

jps

yarn的两个进程：

ResourceManager

NodeManager

6、使用网页访问yarn:

192.168.137.130:8088

二、MapReduce案例

1、进入/software/hadoop-2.8.1/etc/hadoop目录

cd /software/hadoop-2.8.1/etc/hadoop

2、复制配置模板

cp mapred-site.xml.template mapred-site.xml

3、修改配置文件：

vim mapred-site.xml

4、查找MapReduce案例：

find ./ -name "*example*"

5、计算圆周率：

hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 5 10

6、在yarn上进行查看：

有提交的应用程序，也就是作业：

application

7、查看集群状态：

一、YARN伪分布式部署1、进入/software/hadoop-2.8.1/etc/hadoop目录cd   /software/hadoop-2.8.1/etc/hadoop 2、复制配置模板 cp mapred-site.xml.template yarn-site.xml3、修改配置文件：vim  yarn-site.xml<img src="https://file.jobplus.com.cn/2018/06/08/a4881b471c5b4a7992ef7ae1421239f0.png" _src="https://file.jobplus.com.cn/2018/06/08/a4881b471c5b4a7992ef7ae1421239f0.png"/> 4、启动hdfs和yarn:<img src="https://file.jobplus.com.cn/2018/06/08/83672e02589f4ddebb129972f816f867.png" _src="https://file.jobplus.com.cn/2018/06/08/83672e02589f4ddebb129972f816f867.png"/> 5、查看进程：jps<img src="https://file.jobplus.com.cn/2018/06/08/b7230cf9bcd8414690591461b485ff1a.png" _src="https://file.jobplus.com.cn/2018/06/08/b7230cf9bcd8414690591461b485ff1a.png"/> yarn的两个进程：ResourceManager NodeManager 6、使用网页访问yarn:192.168.137.130:8088<img src="https://file.jobplus.com.cn/2018/06/08/01918e468a8244cd9945cde8e615b087.png" _src="https://file.jobplus.com.cn/2018/06/08/01918e468a8244cd9945cde8e615b087.png"/> 二、MapReduce案例 1、进入/software/hadoop-2.8.1/etc/hadoop目录cd   /software/hadoop-2.8.1/etc/hadoop 2、复制配置模板 cp mapred-site.xml.template mapred-site.xml<img src="https://file.jobplus.com.cn/2018/06/08/054167f4555f4505aa2e37d4ec9a2a25.png" _src="https://file.jobplus.com.cn/2018/06/08/054167f4555f4505aa2e37d4ec9a2a25.png"/> 3、修改配置文件：vim  mapred-site.xml<img src="https://file.jobplus.com.cn/2018/06/08/9d7c31ea33ef43bdbe8912c99985cdbe.png" _src="https://file.jobplus.com.cn/2018/06/08/9d7c31ea33ef43bdbe8912c99985cdbe.png"/> 4、查找MapReduce案例：find ./ -name "*example*" <img src="https://file.jobplus.com.cn/2018/06/08/41fa3626daa14bea8bc9ab960439ca9e.png" _src="https://file.jobplus.com.cn/2018/06/08/41fa3626daa14bea8bc9ab960439ca9e.png"/> 5、计算圆周率：hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.8.1.jar pi 5 10 <img src="https://file.jobplus.com.cn/2018/06/08/172b5d5ccea0495788d76a17df5933a5.png" _src="https://file.jobplus.com.cn/2018/06/08/172b5d5ccea0495788d76a17df5933a5.png"/> <img src="https://file.jobplus.com.cn/2018/06/08/2df1684b05784aff9a0d0fe656313170.png" _src="https://file.jobplus.com.cn/2018/06/08/2df1684b05784aff9a0d0fe656313170.png"/> 6、在yarn上进行查看： 有提交的应用程序，也就是作业：application <img src="https://file.jobplus.com.cn/2018/06/08/319998c1f144468c9adf62b2c6517490.png" _src="https://file.jobplus.com.cn/2018/06/08/319998c1f144468c9adf62b2c6517490.png"/> 7、查看集群状态：<img src="https://file.jobplus.com.cn/2018/06/08/620456b8b86141e0bbd41a9c3893a19e.png" _src="https://file.jobplus.com.cn/2018/06/08/620456b8b86141e0bbd41a9c3893a19e.png"/>