Linux搭建 ZooKeeper-3.4.12 Cluster 集群服务

发表于 | 分类于 | | 阅读次数 |
| 字数统计 2,508 | 阅读时长 12

Zookeeper 概述

zookeeper实际上是yahoo开发的，用于分布式中一致性处理的框架。最初其作为研发Hadoop时的副产品。由于分布式系统中一致性处理较为困难，
其他的分布式系统没有必要 费劲重复造轮子，故随后的分布式系统中大量应用了zookeeper，以至于zookeeper成为了各种分布式系统的基础组件，其地位之重要，
可想而知。著名的hadoop，kafka，dubbo 都是基于zookeeper而构建。

想理解zookeeper到底是做啥的，那首先得理解清楚，什么是一致性？

所谓的一致性，实际上就是围绕着“看见”来的。谁能看见？能否看见？什么时候看见？举个例子：淘宝后台卖家，在后台上架一件大促的商品，通过服务器A提交到主数据库，
假设刚提交后立马就有用户去通过应用服务器B去从数据库查询该商品，就会出现一个现象，卖家已经更新成功了，然而买家却看不到；而经过一段时间后，主数据库的数据同步到
了从数据库，买家就能查到了。

假设卖家更新成功之后买家立马就能看到卖家的更新，则称为强一致性

如果卖家更新成功后买家不能看到卖家更新的内容，则称为弱一致性

而卖家更新成功后，买家经过一段时间最终能看到卖家的更新，则称为最终一致性

《一致性协议》

《ZooKeeper应用场景》

《分布式架构》

《分布式 ZooKeeper 系列》

环境

  • Linux版本：Oracle Linux Server release 6.5
  • ZooKeeper版本：zookeeper-3.4.12.tar.gz
  • 虚拟机IP：192.168.229.115,192.168.229.116,192.168.229.117
  • 集群主机名称：kiko1,kiko2,kiko3
  • 集群主机用户：root
  • 集群JDK版本：jdk1.8.0_121
  • 集群主机之间设置免密登陆：设置方式请参考 linux ssh 免密登录

注意事项

关闭防火墙

iptables防火墙关闭命令

1
$ service iptables stop # 关闭命令：

firewall防火墙关闭命令

1
$ systemctl stop firewalld.service # 停止firewall

ZooKeeper 安装

下载ZooKeeper

1
2
$ cd /home/kiko/tools/
$ wget https://mirrors.tuna.tsinghua.edu.cn/apache/zookeeper/zookeeper-3.4.12/zookeeper-3.4.12.tar.gz

提取tar文件

1
2
$ tar -xvf zookeeper-3.4.12.tar.gz
$ cd zookeeper-3.4.12

创建配置文件

zoo.cfg为zookeeper的主要配置文件，因为Zookeeper是一个集群服务，集群的每个节点都需要这个配置文件。为了避免出差错，zoo.cfg这个配置文件里没有跟特定节点相关的配置，所以每个节点上的这个zoo.cfg都是一模一样的配置。这样就非常便于管理了，比如我们可以把这个文件提交到版本控制里管理起来。其实这给我们设计集群系统的时候也是个提示：集群系统一般有很多配置，应该尽量将通用的配置和特定每个服务的配置(比如服务标识)分离，这样通用的配置在不同服务之间copy就ok了

编辑zoo.cfg

1
[root@kiko1 ~]# vim /home/kiko/tools/zookeeper-3.4.12/conf/zoo.cfg

编辑内容如下

1
2
3
4
5
6
7
8
9
dataDir =  /home/kiko/tools/zookeeper-3.4.12/data
dataLogDir = /home/kiko/tools/zookeeper-3.4.12/logs
tickTime = 2000
clientPort = 2181
initLimit = 5
syncLimit = 2
server.1=kiko1:2888:3888
server.2=kiko2:2888:3888
server.3=kiko3:2888:3888

配置文件描述

  • tickTime tickTime则是上述两个超时配置的基本单位，例如对于initLimit，其配置值为5，说明其超时时间为 2000ms * 5 = 10秒。
  • dataDir 其配置的含义跟单机模式下的含义类似，不同的是集群模式下还有一个myid文件。myid文件的内容只有一行，且内容只能为1 - 255之间的数字，这个数字亦即上面介绍server.id中的id，表示zk进程的id。
  • dataLogDir 如果没提供的话使用的则是dataDir。zookeeper的持久化都存储在这两个目录里。dataLogDir里是放到的顺序日志(WAL)。而dataDir里放的是内存数据结构的snapshot，便于快速恢复。为了达到性能最大化，一般建议把dataDir和dataLogDir分到不同的磁盘上，这样就可以充分利用磁盘顺序写的特性。
  • initLimit ZooKeeper集群模式下包含多个zk进程，其中一个进程为leader，余下的进程为follower。当follower最初与leader建立连接时，它们之间会传输相当多的数据，尤其是follower的数据落后leader很多。initLimit配置follower与leader之间建立连接后进行同步的最长时间。
  • syncLimit 配置follower和leader之间发送消息，请求和应答的最大时间长度。
  • server.id=host:port1:port2
    • server.id 其中id为一个数字，表示zk进程的id，这个id也是data目录下myid文件的内容
    • host 是该zk进程所在的IP地址
    • port1 表示follower和leader交换消息所使用的端口
    • port2 表示选举leader所使用的端口

      创建myid 文件

      在data里会放置一个myid文件，里面就一个数字，用来唯一标识这个服务。这个id是很重要的，一定要保证整个集群中唯一

ZooKeeper会根据这个id来取出server.x上的配置。比如当前id为1，则对应着zoo.cfg里的server.1的配置

1
[root@kiko1 ~]# echo "1">/home/kiko/tools/zookeeper-3.4.12/data/myid

这样一台kiko1机器就配置完了

复制集群配置

在集群kiko1上执行,循环复制配置好的zookeeper到其他两台主机kiko2,kiko3上

1
[root@kiko1 data]# for a in {2..3} ; do scp -r /home/kiko/tools/zookeeper-3.4.12/ kiko$a:/home/kiko/tools/zookeeper-3.4.12 ; done

在集群kiko1 上执行 ,批量修改myid 文件

1
[root@kiko1 data]# for a in {1..3} ; do ssh kiko$a "source /etc/profile; echo $a > /home/kiko/tools/zookeeper-3.4.12/data/myid" ; done

集群操作

在集群任意一台机器上执行

启动集群

1
[root@kiko1 data]# for a in {1..3} ; do ssh kiko$a "source /etc/profile; /home/kiko/tools/zookeeper-3.4.12/bin/zkServer.sh start" ; done

响应

1
2
3
4
5
6
7
8
9
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Starting zookeeper ... STARTED

连接集群

1
[root@kiko1 /]# ./home/kiko/tools/zookeeper-3.4.12/bin/zkCli.sh -server kiko1:2181,kiko2:2181,kiko3:2181

响应

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
Connecting to kiko1:2181,kiko2:2181,kiko3:2181
2018-05-09 15:51:39,711 [myid:] - INFO  [main:Environment@100] - Client environment:zookeeper.version=3.4.12-e5259e437540f349646870ea94dc2658c4e44b3b, built on 03/27/2018 03:55 GMT
2018-05-09 15:51:39,715 [myid:] - INFO  [main:Environment@100] - Client environment:host.name=acct.dev.gyist.com
2018-05-09 15:51:39,715 [myid:] - INFO  [main:Environment@100] - Client environment:java.version=1.8.0_121
2018-05-09 15:51:39,718 [myid:] - INFO  [main:Environment@100] - Client environment:java.vendor=Oracle Corporation
2018-05-09 15:51:39,718 [myid:] - INFO  [main:Environment@100] - Client environment:java.home=/usr/java/jdk1.8.0_121/jre
2018-05-09 15:51:39,718 [myid:] - INFO  [main:Environment@100] - Client environment:java.class.path=/home/kiko/tools/zookeeper-3.4.12/bin/../build/classes:/home/kiko/tools/zookeeper-3.4.12/bin/../build/lib/*.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../lib/slf4j-log4j12-1.7.25.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../lib/slf4j-api-1.7.25.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../lib/netty-3.10.6.Final.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../lib/log4j-1.2.17.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../lib/jline-0.9.94.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../lib/audience-annotations-0.5.0.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../zookeeper-3.4.12.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../src/java/lib/*.jar:/home/kiko/tools/zookeeper-3.4.12/bin/../conf:.:/usr/java/jdk1.8.0_121/lib/dt.jar:/usr/java/jdk1.8.0_121/lib/tools.jar
2018-05-09 15:51:39,718 [myid:] - INFO  [main:Environment@100] - Client environment:java.library.path=/usr/local/apr/lib:/usr/java/packages/lib/amd64:/usr/lib64:/lib64:/lib:/usr/lib
2018-05-09 15:51:39,718 [myid:] - INFO  [main:Environment@100] - Client environment:java.io.tmpdir=/tmp
2018-05-09 15:51:39,718 [myid:] - INFO  [main:Environment@100] - Client environment:java.compiler=<NA>
2018-05-09 15:51:39,719 [myid:] - INFO  [main:Environment@100] - Client environment:os.name=Linux
2018-05-09 15:51:39,719 [myid:] - INFO  [main:Environment@100] - Client environment:os.arch=amd64
2018-05-09 15:51:39,719 [myid:] - INFO  [main:Environment@100] - Client environment:os.version=3.8.13-26.1.1.el6uek.x86_64
2018-05-09 15:51:39,719 [myid:] - INFO  [main:Environment@100] - Client environment:user.name=root
2018-05-09 15:51:39,719 [myid:] - INFO  [main:Environment@100] - Client environment:user.home=/root
2018-05-09 15:51:39,719 [myid:] - INFO  [main:Environment@100] - Client environment:user.dir=/
2018-05-09 15:51:39,721 [myid:] - INFO  [main:ZooKeeper@441] - Initiating client connection, connectString=kiko1:2181,kiko2:2181,kiko3:2181 sessionTimeout=30000 watcher=org.apache.zookeeper.ZooKeeperMain$MyWatcher@67424e82
Welcome to ZooKeeper!
2018-05-09 15:51:39,747 [myid:] - INFO  [main-SendThread(kiko3:2181):ClientCnxn$SendThread@1028] - Opening socket connection to server kiko3/192.168.229.117:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled
2018-05-09 15:51:39,842 [myid:] - INFO  [main-SendThread(kiko3:2181):ClientCnxn$SendThread@878] - Socket connection established to kiko3/192.168.229.117:2181, initiating session
[zk: kiko1:2181,kiko2:2181,kiko3:2181(CONNECTING) 0] 2018-05-09 15:51:39,893 [myid:] - INFO  [main-SendThread(kiko3:2181):ClientCnxn$SendThread@1302] - Session establishment complete on server kiko3/192.168.229.117:2181, sessionid = 0x300044d1c310000, negotiated timeout = 30000
WATCHER::
WatchedEvent state:SyncConnected type:None path:null

从日志可以看出客户端成功连接的是kiko3 连接上哪台机器的zk进程是随机的

1
2
3
Welcome to ZooKeeper!
2018-05-09 15:51:39,747 [myid:] - INFO  [main-SendThread(kiko3:2181):ClientCnxn$SendThread@1028] - Opening socket connection to server kiko3/192.168.229.117:2181. Will not attempt to authenticate using SASL (unknown error)
JLine support is enabled

集群状态

1
[root@kiko1 /]# for a in {1..3} ; do ssh kiko$a "source /etc/profile; /home/kiko/tools/zookeeper-3.4.12/bin/zkServer.sh status" ; done

响应

1
2
3
4
5
6
7
8
9
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Mode: follower
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Mode: leader
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Mode: follower

通过日志我可以看到 kiko2 leader (ps 是老大)，其他 kiko1 ,kiko3 follower (ps 都是小弟)

Leader 怎么选举的可以参考《Zookeeper的Leader选举》

停止集群

1
[root@kiko1 /]# for a in {1..3} ; do ssh kiko$a "source /etc/profile; /home/kiko/tools/zookeeper-3.4.12/bin/zkServer.sh stop" ; done

响应

1
2
3
4
5
6
7
8
9
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED
ZooKeeper JMX enabled by default
Using config: /home/kiko/tools/zookeeper-3.4.12/bin/../conf/zoo.cfg
Stopping zookeeper ... STOPPED

本文参考 CentOs7.3 搭建 ZooKeeper-3.4.9 Cluster 集群服务