Hadoop HA- hadoop集群部署

 

前期部署,至少准备3台服务器(可以是虚拟机)

1、linux系统环境准备

ip地址配置

hostname配置

hosts映射配置

关闭防火墙 service iptables stop ,也可以设置防火墙不开机自启动 chkconfig iptables off 

init启动级别修改

2.java环境的配置

上传jdk,解压,修改/etc/profile

3.zookeeper集群的部署,安装zookeeper,环境变量,发送zookeeper文件,profile文件给其他服务器并刷新他,都创建myid文件,开启3台zookeeper: zkServer.sh start ,出现错误可以检查日志文件

 

4.解压hadoop安装包,配置PATH环境

5.做免密钥登录SSH

node1到node1-3
node2到node1-3
注意:namenode之间一定要做免密钥SSH

6.修改hadoop配置文件

-env.sh中添加java的环境变量JAVA_HOME
core-site.xml

复制代码
<configuration>
  <!-- 指定hdfs的nameservice为ns1 -->
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://ns1/</value>
  </property>
  <!-- 指定hadoop临时目录 -->
  <property>
    <name>.tmp.dir</name>
    <value>/usr//hdpt</value>
  </property>
                    
  <!-- 指定zookeeper地址 -->
  <property>
    <name>ha.zookeeper.quorum</name>
    <value>server01-hosetname:2181,server02-hostname:2181,server03-hostname:2181</value>   //server-hostname这里写你实际的服务器主机名
  </property>
</configuration>
复制代码

hdfs-site.xml

复制代码
configuration>
  <!--指定hdfs的nameservice为ns1,需要和core-site.xml中的保持一致 -->
  <property>
      <name>dfs.nameservices</name>
      <value>ns1</value>
  </property>
  <!-- ns1下面有两个NameNode,分别是nn1,nn2 -->
  <property>
      <name>dfs.ha.namenodes.ns1</name>
      <value>nn1,nn2</value>
  </property>
  <!-- nn1的RPC通信地址 -->
  <property>
      <name>dfs.namenode.rpc-address.ns1.nn1</name>
      <value>server01-hostname:9000</value>
  </property>
  <!-- nn1的http通信地址 -->
  <property>
      <name>dfs.namenode.http-address.ns1.nn1</name>
      <value>server01-hostname:50070</value>
  </property>
  <!-- nn2的RPC通信地址 -->
  <property>
      <name>dfs.namenode.rpc-address.ns1.nn2</name>
      <value>server02-hostname:9000</value>
  </property>
  <!-- nn2的http通信地址 -->
  <property>
      <name>dfs.namenode.http-address.ns1.nn2</name>
      <value>server02-hostname:50070</value>
  </property>
  <!-- 指定NameNode的edits元数据在JournalNode上的存放位置 -->
  <property>
      <name>dfs.namenode.shared.edits.dir</name>
      <value>qjournal://hostname05:8485;hostname06:8485;hostname07:8485/ns1</value> //hostname为3台journalnode服务器的主机名
  </property>
  <!-- 指定JournalNode在本地磁盘存放数据的位置 -->
  <property>
      <name>dfs.journalnode.edits.dir</name>
      <value>/home/hadoop/app/hadoop-2.4.1/journaldata</value>
  </property>
  <!-- 开启NameNode失败自动切换 -->
  <property>
      <name>dfs.ha.automatic-failover.enabled</name>
      <value>true</value>
  </property>
  <!-- 配置失败自动切换实现方式 -->
  <property>
      <name>dfs.client.failover.proxy.provider.ns1</name>
      <value>org.apache.hadoop.hdfs.server.namenode.ha.ConfiguredFailoverProxyProvider</value>
  </property>
  <!-- 配置隔离机制方法,多个机制用换行分割,即每个机制暂用一行-->
  <property>
      <name>dfs.ha.fencing.methods</name>
      <value>
          sshfence
          shell(/bin/true)
      </value>
  </property>
  <!-- 使用sshfence隔离机制时需要ssh免登陆 -->
  <property>
      <name>dfs.ha.fencing.ssh.private-key-files</name>
      <value>/home/hadoop/.ssh/id_rsa</value>   //里面放的值为SSH放密钥地址在你所在的用户家目录下的.ssh文件夹内,root用户在/root/.ssh/ ,加密方式不同可能不是id_rsa,自己选择即可类似的文件即可
  </property>
  <!-- 配置sshfence隔离机制超时时间 -->
  <property>
      <name>dfs.ha.fencing.ssh.connect-timeout</name>
      <value>30000</value>
  </property>
/configuration>
复制代码

7.同步配置文件

8.启动3台journalnode服务器: hadoop-daemon.sh start journalnode (也可以先不启动)

9.格式化NN(namenode01): hdfs namenode -format ,并启动hdfs: start-dfs.sh 。

10.同步其他没有格式化的NN(namenode)上执行node2 hdfs namenode -bootstrapStandby

   如果格式化后的NN没有开启,第二台NN上执行 hdfs namenode -format会失败,出现

11.开启3台zookeeper,如果开启了忽略。

12.格式化zk, 在一台NN上执行 hdfs zkfc -formatZK

13启动集群  start-dfs.sh

 

搭建完成后重启集群 stop-dfs.sh
再启动:
1.启动ZK集群 三台zk node1,2,3执行 zkServer.sh start
2.启动 hadoop  start-dfs.sh 

3启动yarn  start-yarn.sh 或者 start-all.sh //同时把集群和yarn开启

jps检查namenode是否正常开启,没有的话需要手动单点启动: hadoop-daemon.sh start namenode

 

 

报错解决:这样一个情况,在设置了Hadoop的HA模式。每次开启zookeeper之后再输入 start-all.sh 将hdfs 和yarn都开启来。一切启动正常,但是namenode的进程却在很短的时间内就消失了,必须通过hadoop-daemon.sh start namenode 手动才能重新上线namenode。

进检查namenode的日志文件,出现下面的警告:

WARN org.apache.hadoop.hdfs.server.namenode.FSEditLog: Unable to determine input streams from QJM to

jps查看进程,namenode进程已经消失。

肯定NameNode不能正常运行,不是配置错了,而是不能连接上JournalNode、
查看JournalNode的日志没有问题,那么问题就在JournalNode的客户端NameNode。

来分析上句的日志:
NameNode作为JournalNode的客户端发起连接请求,但是失败了,然后NameNode又向其他节点依次发起了请求都失败了,直至到了最大重试次数。

通过实验知道,先启动JournalNode或者再次启动NameNode就可以了,说明JournalNode并没有准备好,而NameNode已经用完了所有重试次数。

三、解决办法
修改core-site.xml中的ipc参数
<property>
<name>ipc.client.connect.max.retries</name>
<value>100</value>
<description>Indicates the number of retries a client will make to establish
a server connection.
</description>
</property>
<property>
<name>ipc.client.connect.retry.interval</name>
<value>10000</value>
<description>Indicates the number of milliseconds a client will wait for
before retrying to establish a server connection.
</description>
</property>

Namenode向JournalNode发起的ipc连接请求的重试间隔时间和重试次数,我的虚拟机集群实验大约需要2分钟,NameNode即可连接上JournalNode。连接后很稳定。

注意:仅对于这种由于服务没有启动完成造成连接超时的问题,都可以调整core-site.xml中的ipc参数来解决。如果目标服务本身没有启动成功,这边调整ipc参数是无效的。

 

 

人已赞赏
博客

大数据之路- Hadoop环境搭建(Linux)

2019-8-17 18:18:12

博客

Linux- 恢复.swp文件

2019-8-17 18:22:37

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
有新消息 消息中心
搜索