CentOS7搭建Hadoop + HBase + Zookeeper集群-JobPlus

一、基础环境准备

1、下载安装包(均使用当前最新的稳定版本，截止至2017年05月24日)

1)jdk-8u131

2)hadoop-2.7.3

3)hbase-1.2.5

4)zookeeper-3.4.10

以上下载地址请点击“阅读原文”

2、修改hosts文件(使用的三台集群主机默认IP为192.168.0.100、192.168.0.101、192.168.0.102)

1. # vim /etc/hosts

3. 添加以下信息

5. 192.168.0.100 master

7. 192.168.0.101 slave1

9. 192.168.0.102 slave2

3、安装JDK

1. -- 解压jdk安装包

3. # mkdir /usr/java

5. # tar -zxvf jdk-8u131-linux-x64.tar.gx -C /usr/java

7. -- 拷贝jdk至slave1及slave2中

9. # scp -r /usr/java slave1:/usr

10.

11. # scp -r /usr/java slave2:/usr

12.

13. -- 设置jdk环境变量

14.

15. # vim /etc/environment

16.

17. JAVA_HOME=/usr/java/jdk1.8.0_131

18.

19. JRE_HOME=/usr/java/jdk1.8.0_131/jre

20.

21. # vim /etc/profile

22.

23. export JAVA_HOME=/usr/java/jdk1.8.0_131

24.

25. export JRE_HOME=${JAVA_HOME}/jre

26.

27. export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

28.

29. export PATH=$PATH:$JAVA_HOME/bin

4、设置免密登陆

slave1

1. # ssh-keygen -t rsa

3. # cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub

5. # scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/

slave2

1. # ssh-keygen -t rsa

3. # cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub

5. # scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/

master

1. # ssh-keygen -t rsa

3. # cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

5. # cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys

7. # cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes

9. -- 拷贝文件至slave1及slave2

10.

11. # scp ~/.ssh/authorized_keys slave1:~/.ssh

12.

13. # scp ~/.ssh/authorized_keys slave2:~/.ssh

5、关闭防火墙及SELINUX

1. -- 关闭防火墙

3. # systemctl stop firewalld.service

5. # systemctl disable firewalld.service

7. -- 关闭SELINUX

9. # vim /etc/selinux/config

10.

11. -- 注释掉

12.

13. #SELINUX=enforcing

14.

15. #SELINUXTYPE=targeted

16.

17. -- 添加

18.

19. SELINUX=disable

二、Hadoop环境搭建

1、解压缩安装包及创建基本目录

1. # tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr

3. # cd /usr/hadoop-2.7.3

5. # mkdir tmp logs hdf hdf/data hdf/name

2、修改hadoop配置文件

1. -- 修改 slaves 文件

3. # vim /usr/hadoop-2.7.3/etc/hadoop/slaves

5. -- 删除 localhost，添加

7. slave1

9. slave2

10.

11. -- 修改 core-site.xml 文件

12.

13. # vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml

14.

15. -- 在 configuration 节点中添加以下内容

16.

17. <property>

18.

19. <name>fs.default.name</name>

20.

21. <value>hdfs://master:9000</value>

22.

23. </property>

24.

25. <property>

26.

27. <name>hadoop.tmp.dir</name>

28.

29. <value>file:/usr/hadoop-2.7.3/tmp</value>

30.

31. </property>

32.

33. -- 修改 hdfs-site.xml 文件

34.

35. # vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml

36.

37. -- 在 configuration 节点添加以下内容

38.

39. <property>

40.

41. <name>dfs.datanode.data.dir</name>

42.

43. <value>/usr/hadoop-2.7.3/hdf/data</value>

44.

45. <final>true</final>

46.

47. </property>

48.

49. <property>

50.

51. <name>dfs.namenode.name.dir</name>

52.

53. <value>/usr/hadoop-2.7.3/hdf/name</value>

54.

55. <final>true</final>

56.

57. </property>

58.

59. -- 修改 mapred-site.xml 文件

60.

61. # cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml

62.

63. # vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml

64.

65. -- 在 configuration 节点添加以下内容

66.

67. <property>

68.

69. <name>mapreduce.framework.name</name>

70.

71. <value>yarn</value>

72.

73. </property>

74.

75. <property>

76.

77. <name>mapreduce.jobhistory.address</name>

78.

79. <value>master:10020</value>

80.

81. </property>

82.

83. <property>

84.

85. <name>mapreduce.jobhistory.webapp.address</name>

86.

87. <value>master:19888</value>

88.

89. </property>

90.

91. -- 修改 yarn-site.xml 文件

92.

93. # vim /usr/hadoop-2.7.3/etc/hadoop/yarn-site.xml

94.

95. -- 在 configuration 节点添加以下内容

96.

97. <property>

98.

99. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

100.

101. <value>org.apache.mapred.ShuffleHandler</value>

102.

103. </property>

104.

105. <property>

106.

107. <name>yarn.resourcemanager.address</name>

108.

109. <value>master:8032</value>

110.

111. </property>

112.

113. <property>

114.

115. <name>yarn.resourcemanager.scheduler.address</name>

116.

117. <value>master:8030</value>

118.

119. </property>

120.

121. <property>

122.

123. <name>yarn.resourcemanager.resource-tracker.address</name>

124.

125. <value>master:8031</value>

126.

127. </property>

128.

129. <property>

130.

131. <name>yarn.resourcemanager.admin.address</name>

132.

133. <value>master:8033</value>

134.

135. </property>

136.

137. <property>

138.

139. <name>yarn.resourcemanager.webapp.address</name>

140.

141. <value>master:8088</value>

142.

143. </property>

3、复制hadoop到slave节点

1. # scp -r /usr/hadoop-2.7.3 slave1:/usr

3. # scp -r /usr/hadoop-2.7.3 slave2:/usr

4、配置 master 和 slave 的 hadoop 环境变量

1. # vim /etc/profile

3. -- 添加如下内容

5. export HADOOP_HOME=/usr/hadoop-2.7.3

7. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

9. export HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs

10.

11. export YARN_LOG_DIR=$HADOOP_LOG_DIR

12.

13.

14.

15. -- 保存后执行

16.

17. # source /etc/profile

18.

19.

20. # vim ~/.bashrc

21.

22. -- 添加如下内容

23.

24. export HADOOP_PREFIX=/usr/hadoop-2.7.3/

5、格式化 namenode

1. # /usr/hadoop-2.7.3/sbin/hdfs namenode -format

6、启动 hadoop

1. # /usr/hadoop-2.7.3/sbin/start-all.sh

到这一步已经成功完成了hadoop环境的搭建

三、Zookeeper 环境搭建

1、解压缩 zookeeper 安装包，并建立基本目录

1. # tar -zxvf zookeeper-3.4.10.tar.gz -C /usr

3. # mkdir /usr/zookeeper-3.4.10/data

2、修改配置文件

1. -- 复制配置文件模板

3. # cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg

5. -- 修改配置文件

7. # vim /usr/zookeeper-3.4.10/conf/zoo.cfg

9. -- 添加如下内容

10.

11. dataDir=/usr/zookeeper-3.4.10/data

12.

13. server.1=master:2888:3888

14.

15. server.2=slave1:2888:3888

16.

17. server.3=slave2:2888:3888

18.

19. -- 创建myid文件(master、slave1、slave2均需更新)

20.

21. # touch /usr/zookeeper-3.4.10/data/myid

22.

23. # vim /usr/zookeeper-3.4.10/myid

24.

25. -- 添加如下内容

26.

27. 1(master节点添加)

28.

29. 2(slave2节点添加)

30.

31. 3(slave3节点添加)

3、启动zookeeper

1. -- master、slave1、slave2增需要执行

3. # cd /usr/zookeeper-3.4.10/bin

5. # ./zkServer.sh start

7. # ./zkServer.sh status

到这一步完成了zookeeper环境的搭建

四、HBase环境搭建

1、解压缩 hbase 安装包

1. # tar -zxvf hbase-1.2.5-bin.star.gz -C /usr

3. # mkdir /usr/hbase-1.2.5-bin/logs

2、修改配置文件

1. # vim /usr/hbase-1.2.5/conf/hbase-env.sh

3. -- 添加如下内容

5. export JAVA_HOME=/usr/java/jdk1.8.0_131

7. export HBASE_LOG_DIR=${HBASE_HOME}/logs

9. export HBASE_MANAGES_ZK=false

3、修改regionservers

1. # vim /usr/hbase-1.2.5/conf/regionservers

3. -- 删除localhost，新增如下内容

5. master

7. slave1

9. slave2

4、修改配置文件

1. # vim /usr/hbase-1.2.5/conf/hbase-site.xml

3. -- 在configuration节点下添加如下内容

5. <property>

7. <name>hbase.rootdir</name>

9. <value>hdfs://master:9000/hbase</value>

10.

11. </property>

12.

13. <property>

14.

15. <name>hbase.cluster.distributed</name>

16.

17. <value>true</value>

18.

19. </property>

20.

21. <property>

22.

23. <name>hbase.zookeeper.quorum</name>

24.

25. <value>master,slave1,slave2</value>

26.

27. </property>

28.

29. <property>

30.

31. <name>hbase.zookeeper.property.dataDir</name>

32.

33. <value>/usr/zookeeper-3.4.10/data</value>

34.

35. </property>

36.

37. <property>

38.

39. <name>hbase.master</name>

40.

41. <value>hdfs://master:60000</value>

42.

43. </property>

5、复制hbase到slave中

1. # scp -r /usr/hbase-1.2.5 slave1:/usr

3. # scp -r /usr/hbase-1.2.5 slave2:/usr

6、启动hbase

1. # /usr/hbase-1.2.5/bin/start-hbase.sh

到这一步hbase环境搭建完成

一、基础环境准备 1、下载安装包(均使用当前最新的稳定版本，截止至2017年05月24日)1)jdk-8u1312)hadoop-2.7.33)hbase-1.2.54)zookeeper-3.4.10以上下载地址请点击“阅读原文”2、修改hosts文件(使用的三台集群主机默认IP为192.168.0.100、192.168.0.101、192.168.0.102)1. # vim /etc/hosts 2.  3. 添加以下信息 4.  5. 192.168.0.100 master 6.  7. 192.168.0.101 slave1 8.  9. 192.168.0.102 slave2  3、安装JDK1. -- 解压jdk安装包 2.  3. # mkdir /usr/java 4.  5. # tar -zxvf jdk-8u131-linux-x64.tar.gx -C /usr/java 6.  7. -- 拷贝jdk至slave1及slave2中 8.  9. # scp -r /usr/java slave1:/usr 10.  11. # scp -r /usr/java slave2:/usr 12.  13. -- 设置jdk环境变量 14.  15. # vim /etc/environment 16.  17. JAVA_HOME=/usr/java/jdk1.8.0_131 18.  19. JRE_HOME=/usr/java/jdk1.8.0_131/jre 20.  21. # vim /etc/profile 22.  23. export JAVA_HOME=/usr/java/jdk1.8.0_131 24.  25. export JRE_HOME=${JAVA_HOME}/jre 26.  27. export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar 28.  29. export PATH=$PATH:$JAVA_HOME/bin  4、设置免密登陆slave11. # ssh-keygen -t rsa 2.  3. # cp ~/.ssh/id_rsa.pub ~/.ssh/slave1_id_rsa.pub 4.  5. # scp ~/.ssh/slave1_id_rsa.pub master:~/.ssh/  slave21. # ssh-keygen -t rsa 2.  3. # cp ~/.ssh/id_rsa.pub ~/.ssh/slave2_id_rsa.pub 4.  5. # scp ~/.ssh/slave2_id_rsa.pub master:~/.ssh/  master1. # ssh-keygen -t rsa 2.  3. # cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys 4.  5. # cat ~/.ssh/slave1_id_rsa.pub >> ~/.ssh/authorized_keys 6.  7. # cat ~/.ssh/slave2_id_rsa.pub >> ~/.ssh/authorized_kyes 8.  9. -- 拷贝文件至slave1及slave2 10.  11. # scp ~/.ssh/authorized_keys slave1:~/.ssh 12.  13. # scp ~/.ssh/authorized_keys slave2:~/.ssh  5、关闭防火墙及SELINUX1. -- 关闭防火墙 2.  3. # systemctl stop firewalld.service 4.  5. # systemctl disable firewalld.service 6.  7. -- 关闭SELINUX 8.  9. # vim /etc/selinux/config 10.  11. -- 注释掉 12.  13. #SELINUX=enforcing 14.  15. #SELINUXTYPE=targeted 16.  17. -- 添加 18.  19. SELINUX=disable  二、Hadoop环境搭建1、解压缩安装包及创建基本目录1. # tar -zxvf hadoop-2.7.3-x64.tar.gz -C /usr 2.  3. # cd /usr/hadoop-2.7.3 4.  5. # mkdir tmp logs hdf hdf/data hdf/name  2、修改hadoop配置文件1. -- 修改 slaves 文件 2.  3. # vim /usr/hadoop-2.7.3/etc/hadoop/slaves 4.  5. -- 删除 localhost，添加 6.  7. slave1 8.  9. slave2 10.  11. -- 修改 core-site.xml 文件 12.  13. # vim /usr/hadoop-2.7.3/etc/hadoop/core-site.xml 14.  15. -- 在 configuration 节点中添加以下内容 16.  17. <property> 18.  19. <name>fs.default.name</name> 20.  21. <value>hdfs://master:9000</value> 22.  23. </property> 24.  25. <property> 26.  27. <name>hadoop.tmp.dir</name> 28.  29. <value>file:/usr/hadoop-2.7.3/tmp</value> 30.  31. </property> 32.  33. -- 修改 hdfs-site.xml 文件 34.  35. # vim /usr/hadoop-2.7.3/etc/hadoop/hdfs-site.xml 36.  37. -- 在 configuration 节点添加以下内容 38.  39. <property> 40.  41. <name>dfs.datanode.data.dir</name> 42.  43. <value>/usr/hadoop-2.7.3/hdf/data</value> 44.  45. <final>true</final> 46.  47. </property> 48.  49. <property> 50.  51. <name>dfs.namenode.name.dir</name> 52.  53. <value>/usr/hadoop-2.7.3/hdf/name</value> 54.  55. <final>true</final> 56.  57. </property> 58.  59. -- 修改 mapred-site.xml 文件 60.  61. # cp /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml.template /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml 62.  63. # vim /usr/hadoop-2.7.3/etc/hadoop/mapred-site.xml 64.  65. -- 在 configuration 节点添加以下内容 66.  67. <property> 68.  69. <name>mapreduce.framework.name</name> 70.  71. <value>yarn</value> 72.  73. </property> 74.  75. <property> 76.  77. <name>mapreduce.jobhistory.address</name> 78.  79. <value>master:10020</value> 80.  81. </property> 82.  83. <property> 84.  85. <name>mapreduce.jobhistory.webapp.address</name> 86.  87. <value>master:19888</value> 88.  89. </property> 90.  91. -- 修改 yarn-site.xml 文件 92.  93. # vim /usr/hadoop-2.7.3/etc/hadoop/yarn-site.xml 94.  95. -- 在 configuration 节点添加以下内容 96.  97. <property> 98.  99. <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name> 100.  101. <value>org.apache.mapred.ShuffleHandler</value> 102.  103. </property> 104.  105. <property> 106.  107. <name>yarn.resourcemanager.address</name> 108.  109. <value>master:8032</value> 110.  111. </property> 112.  113. <property> 114.  115. <name>yarn.resourcemanager.scheduler.address</name> 116.  117. <value>master:8030</value> 118.  119. </property> 120.  121. <property> 122.  123. <name>yarn.resourcemanager.resource-tracker.address</name> 124.  125. <value>master:8031</value> 126.  127. </property> 128.  129. <property> 130.  131. <name>yarn.resourcemanager.admin.address</name> 132.  133. <value>master:8033</value> 134.  135. </property> 136.  137. <property> 138.  139. <name>yarn.resourcemanager.webapp.address</name> 140.  141. <value>master:8088</value> 142.  143. </property>  3、复制hadoop到slave节点1. # scp -r /usr/hadoop-2.7.3 slave1:/usr 2.  3. # scp -r /usr/hadoop-2.7.3 slave2:/usr  4、配置 master 和 slave 的 hadoop 环境变量1. # vim /etc/profile 2.  3. -- 添加如下内容 4.  5. export HADOOP_HOME=/usr/hadoop-2.7.3 6.  7. export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH 8.  9. export HADOOP_LOG_DIR=/usr/hadoop-2.7.3/logs 10.  11. export YARN_LOG_DIR=$HADOOP_LOG_DIR 12.  13.  14.  15. -- 保存后执行 16.  17. # source /etc/profile 18.  19.  20. # vim ~/.bashrc 21.  22. -- 添加如下内容 23.  24. export HADOOP_PREFIX=/usr/hadoop-2.7.3/  5、格式化 namenode1. # /usr/hadoop-2.7.3/sbin/hdfs namenode -format 6、启动 hadoop1. # /usr/hadoop-2.7.3/sbin/start-all.sh 到这一步已经成功完成了hadoop环境的搭建三、Zookeeper 环境搭建1、解压缩 zookeeper 安装包，并建立基本目录1. # tar -zxvf zookeeper-3.4.10.tar.gz -C /usr 2.  3. # mkdir /usr/zookeeper-3.4.10/data  2、修改配置文件1. -- 复制配置文件模板 2.  3. # cp /usr/zookeeper-3.4.10/conf/zoo-sample.cfg /usr/zookeeper-3.4.10/conf/zoo.cfg 4.  5. -- 修改配置文件 6.  7. # vim /usr/zookeeper-3.4.10/conf/zoo.cfg 8.  9. -- 添加如下内容 10.  11. dataDir=/usr/zookeeper-3.4.10/data 12.  13. server.1=master:2888:3888 14.  15. server.2=slave1:2888:3888 16.  17. server.3=slave2:2888:3888 18.  19. -- 创建myid文件(master、slave1、slave2均需更新) 20.  21. # touch /usr/zookeeper-3.4.10/data/myid 22.  23. # vim /usr/zookeeper-3.4.10/myid 24.  25. -- 添加如下内容 26.  27. 1(master节点添加) 28.  29. 2(slave2节点添加) 30.  31. 3(slave3节点添加)  3、启动zookeeper1. -- master、slave1、slave2增需要执行 2.  3. # cd /usr/zookeeper-3.4.10/bin 4.  5. # ./zkServer.sh start 6.  7. # ./zkServer.sh status  到这一步完成了zookeeper环境的搭建四、HBase环境搭建1、解压缩 hbase 安装包1. # tar -zxvf hbase-1.2.5-bin.star.gz -C /usr 2.  3. # mkdir /usr/hbase-1.2.5-bin/logs  2、修改配置文件1. # vim /usr/hbase-1.2.5/conf/hbase-env.sh 2.  3. -- 添加如下内容 4.  5. export JAVA_HOME=/usr/java/jdk1.8.0_131 6.  7. export HBASE_LOG_DIR=${HBASE_HOME}/logs 8.  9. export HBASE_MANAGES_ZK=false  3、修改regionservers1. # vim /usr/hbase-1.2.5/conf/regionservers 2.  3. -- 删除localhost，新增如下内容 4.  5. master 6.  7. slave1 8.  9. slave2 4、修改配置文件1. # vim /usr/hbase-1.2.5/conf/hbase-site.xml 2.  3. -- 在configuration节点下添加如下内容 4.  5. <property> 6.  7. <name>hbase.rootdir</name> 8.  9. <value>hdfs://master:9000/hbase</value> 10.  11. </property> 12.  13. <property> 14.  15. <name>hbase.cluster.distributed</name> 16.  17. <value>true</value> 18.  19. </property> 20.  21. <property> 22.  23. <name>hbase.zookeeper.quorum</name> 24.  25. <value>master,slave1,slave2</value> 26.  27. </property> 28.  29. <property> 30.  31. <name>hbase.zookeeper.property.dataDir</name> 32.  33. <value>/usr/zookeeper-3.4.10/data</value> 34.  35. </property> 36.  37. <property> 38.  39. <name>hbase.master</name> 40.  41. <value>hdfs://master:60000</value> 42.  43. </property>  5、复制hbase到slave中1. # scp -r /usr/hbase-1.2.5 slave1:/usr 2.  3. # scp -r /usr/hbase-1.2.5 slave2:/usr  6、启动hbase1. # /usr/hbase-1.2.5/bin/start-hbase.sh 到这一步hbase环境搭建完成

关于我们

法律声明

帮助中心

商务合作

相关文章

关于我们

法律声明

帮助中心

商务合作