1. 先搞明白ZooKeeper到底是什么为什么绕不开它很多刚接触分布式系统的人第一次听到ZooKeeper都会有个错觉这玩意儿是不是管理动物园的名字确实有点怪但在大数据和分布式生态里它几乎是绕不开的基础设施。无论是Hadoop的高可用HA还是Kafka的元数据管理甚至很多自研的分布式任务调度系统背后都站着ZooKeeper。可以说搞懂ZooKeeper的安装部署是进入分布式世界的一道必经门槛。那它到底是什么用一句最直白的话讲ZooKeeper是一个分布式协调服务。你可以把它理解成一个“集群大管家”专门负责让一堆机器之间互相知道对方的状态、统一意见、分配任务并且在部分机器挂掉的时候还能继续工作。它的核心功能包括配置管理、命名服务、分布式锁、集群选主Leader选举等。这篇文章我会从零开始把ZooKeeper的安装部署讲透包含单机、伪集群、真集群三种部署方式最后再聊聊它和Hadoop、Kafka的那些事以及Docker下的部署方法。无论你是学生、运维新手还是刚接触分布式开发的程序员这篇都能给你一个可以直接照做的完整参考。1.1 用生活类比快速理解ZooKeeper的工作方式前面说了它是“集群大管家”但这个管家到底怎么工作的我再用一个更具体的例子帮你建立直觉。假设你开了一家连锁奶茶店有总店和几十家分店。分店每天要卖什么原料、卖了多少杯、库存还剩多少这些信息不能每家店各记各的否则总店问起来对不上账。于是你定了一条规矩所有分店统一向一个“总台账本”汇报数据谁要看数据都查这个本子。ZooKeeper就相当于这个总台账本——它保存着一棵类似文件系统的“数据树”每个节点可以存一小段数据客户端也就是那些分店通过读写这些节点来获取和更新状态。这棵数据树的结构长这样/ ├── app1 │ ├── config │ └── status ├── app2 │ └── leader └── hadoop-ha ├── active └── standby每个路径比如/hadoop-ha/active就是一个ZNode既可以在上面存数据也可以创建子节点。客户端的机器挂没挂、某个服务当前谁是主节点全都体现在这些节点的状态里。ZNode的变化新增、删除、数据修改会被ZooKeeper实时通知给所有订阅的客户端这样大家就能快速响应变化。1.2 ZooKeeper在集群里到底干了哪些活我简单梳理一下它的几个核心用途这些决定了你部署之后怎么用也方便你理解后续配置里的一些参数为什么那么设计。配置管理假如你有10台应用服务器公共配置放在ZooKeeper上。配置改了所有机器瞬间收到通知并自动加载新配置不用一台一台ssh上去改文件。命名服务给服务分配全局唯一的名称比如生成分布式ID或者注册服务的地址。服务起来了就注册一个临时节点挂了临时节点自动消失。分布式锁多个客户端同时操作某个资源时通过创建临时顺序节点实现“谁先抢占谁执行”的互斥效果避免多台机器同时修改数据导致错乱。Leader选举这是最常用的场景。Hadoop的NameNode HA、Kafka的Controller选举都依靠ZooKeeper实现“主备切换”。主节点挂了备用节点通过竞争创建节点的方式成为新的主节点整个过程全自动。所以回头再看“ZooKeeper是干什么的”这个问题你心里大概有数了它不是数据库不存业务数据它不是消息队列不做异步通信它是一个让分布式系统能“整齐划一”运转的裁判员。接下来我们进入正题聊聊怎么把它部署起来。2. 安装前的准备版本选择、环境检查和目录规划老话说磨刀不误砍柴工装ZooKeeper也一样。虽然它的安装过程本身不复杂但前期准备没做好后面启动报错能让你排查到怀疑人生。我见过不少新人一上来就下载最新版结果JDK版本对不上或者端口被防火墙挡住卡了半天都不知道问题出在哪。所以这一节先把准备工作说清楚。2.1 版本怎么选别盲目追新ZooKeeper的版本主要分两条线3.4系列和3.5/3.6/3.7/3.8系列。3.4是很老的稳定版很多老教程和老集群还在用但它不支持TLS、某些新特性也没有官方早已停止维护不建议新项目再用。3.5之后引入了内置的Admin Server、动态重新配置、读写分离等能力是目前的主流选择。我个人建议直接选3.6.3以上的稳定版或者3.7/3.8的最新稳定小版本。以当前常见的3.7.1为例下载包的名字一般是apache-zookeeper-3.7.1-bin.tar.gz。这里有个特别容易踩的坑一定要下载带-bin后缀的包。Apache官网提供了两种打包带-bin的是编译好的可执行版本不带-bin的是源码包。如果你把源码包当普通包解压后直接跑bin脚本大概率会报类似Could not find or load main class的错因为里面根本没有编译好的类文件。我第一次装的时候就在这上面浪费了半小时后来才发现下载错了包。2.2 JDK环境检查ZooKeeper是Java写的跑起来必须要有JDK。3.7版本要求Java 8以上推荐Java 8或Java 11。如果你机器上装的是Java 17目前实测问题也不大但如果你要跟老版本的Hadoop集群配合可能还是要用Java 8更稳这个后面讲集成的时候再展开。检查JDK非常简单执行java -version如果提示找不到命令就说明还没装JDK。以CentOS 7为例用yum装OpenJDK 8yum install -y java-1.8.0-openjdk-devel装完再看一眼版本确认出现类似openjdk version 1.8.0_xxx的输出就说明环境OK了。2.3 目录规划和端口规划ZooKeeper运行时会涉及两种数据快照数据snapshot和事务日志log。默认情况下它们都写在dataDir目录下但我强烈建议把二者分开存储尤其是生产环境。原因很简单事务日志是实时追加写入的磁盘IO压力大快照是定期生成的数据量也不小。如果放同一块磁盘写入压力叠加容易拖慢性能。生产机上如果有两块磁盘就把dataDir指向数据盘把dataLogDir指向日志盘。个人学习环境一台机器无所谓但至少要把目录规划好。我的习惯目录结构如下/opt/zookeeper ├── apache-zookeeper-3.7.1-bin # 程序目录 ├── data # 快照数据目录 ├── logs # 日志目录 └── conf/zoo.cfg # 配置文件端口方面默认有三个端口需要注意端口作用说明2181客户端连接端口应用连ZooKeeper就用这个2888集群内部通信端口Leader和Follower之间同步数据3888选举端口集群启动时选举Leader用单机模式只用到2181集群模式三个端口都要放行。如果你在服务器上装别忘了检查防火墙firewall-cmd --permanent --add-port2181/tcp firewall-cmd --permanent --add-port2888/tcp firewall-cmd --permanent --add-port3888/tcp firewall-cmd --reload如果用云服务器还得到安全组里把这三个端口加上光在系统层面放行是不够的。3. 单机模式部署先把ZooKeeper跑起来所谓单机模式就是只有一台机器不配置集群。这种模式适合本地开发测试、学习入门或者你只是想先验证ZooKeeper能不能用。别指望它在生产环境提供高可用因为单机挂了就全挂了。3.1 下载解压三步搞定拿到下载链接后操作很直接cd /opt wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz如果你所在网络访问Apache官网比较慢可以去国内镜像站下载速度会快很多。下载完解压之后进入程序目录看一眼结构cd /opt/apache-zookeeper-3.7.1-bin ls -l你会在bin目录下看到zkServer.sh和zkCli.sh前者用来启停服务后者是命令行客户端后面都会用到。3.2 修改配置文件注意这个致命细节ZooKeeper默认不会读取conf/zoo.cfg因为官方只给了一个zoo_sample.cfg示例文件。你需要手动把示例文件复制一份再改里面几个关键参数cp /opt/apache-zookeeper-3.7.1-bin/conf/zoo_sample.cfg /opt/apache-zookeeper-3.7.1-bin/conf/zoo.cfg vim /opt/apache-zookeeper-3.7.1-bin/conf/zoo.cfg至少需要关注下面这几个参数tickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper/data dataLogDir/opt/zookeeper/logs clientPort2181 maxClientCnxns60各参数的含义先说清楚tickTimeZooKeeper内部的基础时间单位单位是毫秒。默认2000即2秒。这个值决定了会话超时、心跳间隔的粒度。initLimitFollower在启动时能容忍与Leader之间最大的心跳次数差。配置为10表示Follower可以在10*tickTime20秒内完成数据同步超过这个时间还没同步完就会被判定为连接失败。syncLimitLeader和Follower之间正常通信时允许丢失的最大心跳次数。配置为5表示10秒内没收到对方心跳就认为连接断开。dataDir快照数据存储目录这个目录必须提前建好。如果不建启动时会报Directory /opt/zookeeper/data does not exist之类的错误。dataLogDir事务日志目录生产环境建议独立配置。不配的话默认和dataDir共用。clientPort客户端连接端口默认2181。maxClientCnxns单个客户端IP能建立的最大连接数防止连接耗尽。一个经常被忽略的细节dataDir和dataLogDir指向的目录必须先创建并且要有写权限。直接用root跑无所谓但如果用普通用户启动记得chown给对应用户。否则服务会启动失败或者启动后在日志里疯狂刷权限报错。3.3 启动验证从启动到命令行观察配置完成后启动服务/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start启动完以后别急着高兴先用命令行客户端连接验证一下/opt/apache-zookeeper-3.7.1-bin/bin/zkCli.sh -server 127.0.0.1:2181连上之后会出现一个交互式终端输入ls /如果显示了[zookeeper]说明基本正常。然后可以简单测试一下创建节点create /test_node hello zookeeper get /test_node能正常返回你设置的值就说明整个链路已经通了。退出客户端用quit就行。除了人工验证还可以看ZooKeeper的运行状态/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh status单机模式下会输出Mode: standalone意思是当前以单机模式运行没有Leader。4. 伪集群模式一台机器模拟三个节点伪集群的意思是一台物理机器上跑多个ZooKeeper进程通过不同端口模拟出一个集群。这种模式最大的价值在于它让你不用三台机器就能完整体验集群的主从选举过程。学习阶段我特别推荐先练伪集群因为成本低、方便反复搞坏重来而且很多生产环境下的配置思路都能通过它理解清楚。4.1 为什么推荐先练伪集群你可能觉得反正都要上真实集群干嘛多此一举我自己的体会是伪集群能帮你快速验证很多概念。比如你改了配置重启一下三个进程就能观察到哪台变成Leader杀掉Leader进程几秒后另外两台里又冒出一个新的Leader。这种直观的观察对理解ZooKeeper的选举机制帮助特别大。而且伪集群踩过的坑在真实集群里大概率还会遇到。比如myid文件没建、端口被占用、数据目录权限不对这些问题早早在伪集群阶段暴露出来总比上了生产环境再折腾要强。4.2 创建三个实例的目录和myid文件伪集群的关键在于虽然是同一台机器但每个实例必须拥有独立的dataDir和dataLogDir而且每个实例的clientPort、2888、3888端口都不能冲突。我在/opt/zookeeper-cluster下建了几个目录/opt/zookeeper-cluster ├── node1 │ ├── data │ └── logs ├── node2 │ ├── data │ └── logs └── node3 ├── data └── logs然后在每个实例的 data 目录下创建myid文件。myid文件的内容是一个数字用来标识当前实例在集群中的唯一ID范围是1到255。比如 node1 的 myid 写1node2 写2node3 写3mkdir -p /opt/zookeeper-cluster/node1/data /opt/zookeeper-cluster/node1/logs echo 1 /opt/zookeeper-cluster/node1/data/myid mkdir -p /opt/zookeeper-cluster/node2/data /opt/zookeeper-cluster/node2/logs echo 2 /opt/zookeeper-cluster/node2/data/myid mkdir -p /opt/zookeeper-cluster/node3/data /opt/zookeeper-cluster/node3/logs echo 3 /opt/zookeeper-cluster/node3/data/myid这里要特别提醒myid 文件不存在集群就无法启动。ZooKeeper启动时会先去 dataDir 下找 myid 文件如果找不到会直接报错退出。这个文件和 zoo.cfg 里的 server.x 配置是对应的后续讲真集群时会再强调。4.3 三份配置文件的完整写法接下来需要准备三份配置文件。我直接把每个节点的关键配置写出来你照着改就行。node1 的conf/zoo.cfgtickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper-cluster/node1/data dataLogDir/opt/zookeeper-cluster/node1/logs clientPort2181 server.1127.0.0.1:2888:3888 server.2127.0.0.1:2889:3889 server.3127.0.0.1:2890:3890node2 的conf/zoo.cfgtickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper-cluster/node2/data dataLogDir/opt/zookeeper-cluster/node2/logs clientPort2182 server.1127.0.0.1:2888:3888 server.2127.0.0.1:2889:3889 server.3127.0.0.1:2890:3890node3 的conf/zoo.cfgtickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper-cluster/node3/data dataLogDir/opt/zookeeper-cluster/node3/logs clientPort2183 server.1127.0.0.1:2888:3888 server.2127.0.0.1:2889:3889 server.3127.0.0.1:2890:3890server.xhost:port1:port2这段配置的格式很容易让人懵我拆开讲一下x必须跟对应机器 myid 文件里的数值一致。比如 myid 是2那这台机器在配置里对应的就是server.2。host集群其他节点访问这台机器的地址。port1集群内部数据同步端口默认2888。port2集群选举通信端口默认3888。伪集群因为是同一台机器所以三个实例的端口必须错开。你会发现 node1 的 clientPort 是2181node2 的是2182node3 的是2183而配置里三份文件声明的 server 地址都指向同一批端口这样三个进程才能各占各的端口互不干扰。启动的时候需要给每个实例单独指定配置文件。ZooKeeper的启动脚本默认只找conf/zoo.cfg所以要么把三份配置文件分别放在不同的conf目录要么用环境变量ZOOCFGDIR指定配置路径。我习惯的做法是分别建三个目录比如mkdir -p /opt/zookeeper-cluster/node1/conf vim /opt/zookeeper-cluster/node1/conf/zoo.cfg然后启动时进入对应目录执行cd /opt/zookeeper-cluster/node1 /opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start /opt/zookeeper-cluster/node1/conf/zoo.cfg三个实例都用同一套 Apache 解压目录下的 bin 脚本只不过传参时指向不同的配置文件。启动完以后通过zkServer.sh status分别查看状态正常情况下你会看到其中一个节点是Mode: leader另外两个是Mode: follower。4.4 伪集群最值得做的实验伪集群搭起来之后有一件特别值得做的事手动杀掉Leader观察选举过程。假如 node1 是Leader执行jps找到进程号或者直接zkServer.sh stop停掉它。几秒后再查看 node2 和 node3 的状态你会发现两台机器里有一个变成了新的Leader。ZooKeeper的容错能力就是这么体现的。这个实验你亲手做一次比看十篇文章都管用。它会让你真正理解为什么生产环境至少要部署三个节点以及为什么说“奇数节点能容忍更少节点宕机”。5. 真正的集群模式从机器规划到完整部署伪集群只是学习工具生产环境当然要用多台机器组真集群。真集群和伪集群的配置思路几乎一模一样只是每台机器各跑一个实例。但正因为分布在多台机器上很多问题会更隐蔽比如机器间网络不通、时钟不同步等。这一节我详细说说真集群部署的完整流程。5.1 集群规模怎么定为什么推荐奇数节点真实环境里ZooKeeper集群节点数有明确的讲究。它使用的是“多数派存活”机制只要超过半数的节点活着集群就能正常工作。所以节点数可容忍宕机数3141526273你会发现4台机器最多也只能容忍1台宕机和3台一样6台最多容忍2台和5台一样。多出来的机器只是提高了写性能的冗余度并没有提升容错上限。所以ZooKeeper集群的节点数最好是奇数3台起步5台是很多中大型集群的常见配置。这样既保证了容错能力又不会浪费机器资源。同时需要注意ZooKeeper本身的性能瓶颈通常不在CPU或内存而在磁盘IO和网络延迟。事务日志的同步写入是最主要的开销所以生产环境建议用SSD并把日志目录放到独立的挂载点上。5.2 三台机器上的操作步骤假设我有三台机器IP分别如下10.0.0.11 - node1 10.0.0.12 - node2 10.0.0.13 - node3每台机器上都执行一样的解压和目录创建操作cd /opt wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz mkdir -p /opt/zookeeper/data /opt/zookeeper/logs然后分别在每台机器上创建myidnode1 上执行echo 1 /opt/zookeeper/data/myidnode2 上执行echo 2 /opt/zookeeper/data/myidnode3 上执行echo 3 /opt/zookeeper/data/myid接着在每台机器上创建配置文件conf/zoo.cfg。三台机器的配置除了dataDir和dataLogDir相同之外server.x指向的地址要改成真实IPtickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper/data dataLogDir/opt/zookeeper/logs clientPort2181 server.110.0.0.11:2888:3888 server.210.0.0.12:2888:3888 server.310.0.0.13:2888:3888注意这里三台机器的配置几乎一样因为 server.x 写的是集群内所有节点的地址。唯一不同的是每台机器上 myid 文件里的数字。这一步经常有人搞错在 node1 上配了server.110.0.0.11:2888:3888结果 myid 文件写的是2启动以后各种诡异问题都来了要么一直连接不上要么状态一直是乱码。配置完成后三台机器分别执行启动命令/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start启动完以后在任意一台机器上执行/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh status正常情况下你会看到一台是leader两台是follower。再通过zkCli.sh -server 10.0.0.11:2181连接任意一台看看集群是否对外正常提供服务。5.3 用四字命令监控集群状态ZooKeeper提供了一套四字命令Four Letter Words来查看运行时状态。不过默认情况下一些命令需要先在配置文件里开启白名单否则会报Unrecognized ZooKeeper Server command。在conf/zoo.cfg里加上4lw.commands.whitelist*然后重启服务就能用nc或者telnet直接发命令查看状态了。常用命令有命令作用ruok检查服务是否存活存活返回 imokstat查看当前节点的角色、连接数、延迟等信息mntr输出更细粒度的监控指标适合接入监控系统conf输出当前生效的配置srvr查看服务端详细信息以nc为例echo stat | nc 127.0.0.1 2181输出里会包含Mode: leader或者Mode: follower以及各种计数统计。生产环境把mntr的结果接到Prometheus或者Zabbix里都是很常见的做法。6. 集成实战ZooKeeper和Hadoop、Kafka的关系研究ZooKeeper的人十有八九是因为Hadoop或者Kafka才接触到它的。所以这里专门聊一聊它俩是怎么配合的。很多教程一句“Hadoop依赖ZooKeeper做HA”就带过去了但实际整合的时候细节还挺多。6.1 Hadoop整合NameNode HA全自动切换Hadoop 2.0以后NameNode的高可用HA就是靠ZooKeeper来实现的。简单说集群里有两个NameNode一个是Active一个是Standby。Active负责处理客户端请求Standby实时同步元数据。当Active挂了Standby要能立刻顶上这个“切换”动作就是通过ZooKeeper来协调的。具体的协调方式是通过ZooKeeper上的一个临时节点Active的NameNode会在ZooKeeper上注册一个临时节点Standby一直在监听这个节点。Active如果宕机临时节点因为会话超时自动消失Standby收到通知后迅速抢占成为新的Active。整个过程不需要人工干预。所以如果你要搭一套Hadoop高可用集群前提条件就是先把ZooKeeper集群部署好。Hadoop的配置文件里需要指定ZooKeeper的地址property nameha.zookeeper.quorum/name value10.0.0.11:2181,10.0.0.12:2181,10.0.0.13:2181/value /property部署顺序上建议先启动ZooKeeper确认集群状态正常再启动HDFS和YARN。否则NameNode启动后找不到ZooKeeper会有大量的超时重试日志刷屏。6.2 Kafka现在的版本还需要ZooKeeper吗关于Kafka和ZooKeeper的关系最近几年变化挺大。老版本的Kafka0.x到2.x早期强依赖ZooKeeper来管理broker元数据、消费者组offset、分区leader选举等。你会看到config/server.properties里必须配置zookeeper.connect...没有ZooKeeperKafka根本起不来。但Kafka从3.0开始引入了KRaft模式尝试去掉ZooKeeper依赖。到Kafka 3.5以后KRaft模式已经逐渐稳定并成为长期演进方向。现在你搜索“kafka不用zookeeper”指的就是KRaft模式下Kafka可以直接用内置的raft协议管理元数据不再需要外部部署ZooKeeper。不过实操中要注意如果你是跟着教程部署Kafka 2.x版本那别管新特性怎么说老老实实把ZooKeeper先装好。如果你用的是Kafka 3.5可以选择KRaft模式跑但网上大量存量教程还是基于ZooKeeper模式的遇到问题时要看清版本别拿着新版本的配置去套老教程。我个人建议学习阶段先用老一套的ZooKeeper模式跑通Kafka理解broker、partition、offset这些概念之后再尝试KRaft模式做对比。这样你对整个生态的理解会更完整。7. Docker部署方式开发和测试的极简方案最后聊一个非常实用的话题Docker跑ZooKeeper。这个方法在本地开发、CI环境、快速验证场景下特别好用。以前我本地测试总是先在笔记本上装一个ZooKeeper后来改用Docker容器几秒钟就能拉起一个服务用完直接删方便太多了。7.1 单节点Docker容器官方有现成的ZooKeeper镜像直接拉取运行docker pull zookeeper:3.7 docker run -d -p 2181:2181 --name zookeeper-single zookeeper:3.7就这么简单。容器内部会把dataDir和dataLogDir指向/data和/datalog如果你要持久化数据可以挂载宿主机的目录docker run -d -p 2181:2181 \ -v /opt/zookeeper/data:/data \ -v /opt/zookeeper/logs:/datalog \ --name zookeeper-single zookeeper:3.7连客户端的方式不变docker exec -it zookeeper-single zkCli.sh -server 127.0.0.1:21817.2 用Docker Compose搭一个三节点集群如果要验证集群行为用Docker Compose能非常快速地搭出三个节点。写一个docker-compose.ymlversion: 3 services: zk1: image: zookeeper:3.7 container_name: zk1 restart: always ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.10.0.0.0:2888:3888;2181 server.2zk2:2888:3888;2181 server.3zk3:2888:3888;2181 zk2: image: zookeeper:3.7 container_name: zk2 restart: always ports: - 2182:2181 environment: ZOO_MY_ID: 2 ZOO_SERVERS: server.1zk1:2888:3888;2181 server.20.0.0.0:2888:3888;2181 server.3zk3:2888:3888;2181 zk3: image: zookeeper:3.7 container_name: zk3 restart: always ports: - 2183:2181 environment: ZOO_MY_ID: 3 ZOO_SERVERS: server.1zk1:2888:3888;2181 server.2zk2:2888:3888;2181 server.30.0.0.0:2888:3888;2181执行docker-compose up -d就能看到三个容器依次启动。用docker exec zk1 zkServer.sh status查看状态你会看到正常的Leader和Follower角色分配。用Docker部署ZooKeeper做学习和测试很方便但生产环境我一般还是会用传统方式部署在物理机或虚拟机上因为这样对磁盘IO、网络、日志的处理更可控也方便接入自建的监控和告警体系。容器化跑有状态服务要做的功课比无状态服务多很多不是拉个镜像就完事的。8. 常见问题与排查技巧实录最后一部分我把自己实际部署过程中遇到的和帮别人排查过的各种问题做个汇总。这些问题出现频率真的很高建议你收藏起来以后踩坑了直接对着查。8.1 启动失败类问题问题1报错ZooKeeper audit is disabled或者直接启动后进程消失先看日志文件logs/zookeeper-root-server-主机名.log。最常见的原因是zoo.cfg里配置的dataDir目录不存在。目录没建好服务起不来是必然的。解决方式很简单手动创建目录再启动。问题2端口被占用报错Address already in use多半是之前启动的实例没停干净或者别的程序占了2181端口。先jps查看Java进程再用netstat -tlnp | grep 2181看端口占用情况确认是残留进程就杀掉重新启动。问题3客户端连接被拒绝Connection refused先确认服务本身是否在运行端口是否监听。然后确认防火墙有没有放行2181。如果是从别的机器连还要检查ZooKeeper监听的地址是否是0.0.0.0。有些场景下配置文件里设置了特殊的绑定地址导致外部机器无法连接需要检查clientPortAddress这类参数。8.2 集群模式特有故障问题4集群启动后所有节点状态都是follower或者一直报LEADERELECTION失败这种问题多半出在三个地方myid文件内容和server.x配置对不上server.x里的IP地址写错导致节点之间互相找不到对方防火墙没放行2888和3888端口。逐项排查顺序是先cat dataDir/myid确认编号再cat conf/zoo.cfg确认server列表最后telnet 对端IP 2888验证网络通不通。我曾经遇到一个特别隐蔽的情况集群里三台机器的时间差了好几分钟导致session过期频繁节点反复从集群中断开重连。后来用ntpdate同步了各机器时间才稳定下来。ZooKeeper对节点间时钟偏移比较敏感生产环境强烈建议部署NTP服务统一时间。问题5节点反复重启日志显示Unexpected exception causing shutdown这个问题大概率跟数据目录损坏或磁盘空间耗尽有关。检查df -h看磁盘是否满了再查看日志里有没有Error UNRECOVERABLE字样。如果数据目录损坏在确认没有可用数据的情况下可以尝试清除 dataDir 后重启但生产环境这样做要格外谨慎最好是先备份再操作。8.3 连接和会话类问题问题6客户端连接ZooKeeper时超时日志报Session 0x0 for server null优先检查客户端连接字符串的格式。用127.0.0.1:2181还是10.0.0.11:2181是有讲究的。连接到集群时zkCli.sh -server ip1:2181,ip2:2181,ip3:2181的每个地址都要确保能通。另外tickTime设置太小也会导致会话容易超时如果网络环境有较大抖动适当把tickTime调大也是一种缓解手段。问题7临时节点为什么消失了ZooKeeper有临时节点Ephemeral和持久节点Persistent之分。临时节点在创建它的会话结束或超时后会被自动删除。如果你创建的节点消失大概率是客户端断开了连接或者session因网络问题过期。在应用代码里如果发现节点频繁丢失需要检查客户端是否在空闲时自动关闭了连接。8.4 部署规范方面的避坑建议除了上面这些故障再补充几条规范性的经验。磁盘规划无论什么模式dataLogDir建议单独目录并且用快速磁盘。事务日志是写ZooKeeper时“先写日志再落快照”的关键日志盘满了会直接影响整个集群写入能力。内存设置ZooKeeper默认的堆内存不算大但大多数场景够用。如果你发现GC频繁或者内存占用过高可以在conf/zookeeper-env.sh里调整JVMFLAGS比如-Xms2g -Xmx2g。注意ZooKeeper不建议通过ZOOKEEPER_HEAP无脑调大堆内存关键要看dataDir里的快照大小和客户端会话数。监控告警生产环境至少要对ZooKeeper做两层监控。第一层是进程是否存活挂掉就得告警第二层是集群角色和连接数如果Leader频繁切换或者连接数突然暴涨通常说明底层网络或应用连接池有问题。用前面说的mntr命令输出的指标接上运维平台长期观测是比较稳妥的做法。升级替换老版本升级到新版本的时候不要直接拿新版本程序去读旧版本的 dataDir最好先在测试环境完整跑一遍数据兼容性验证。ZooKeeper的data目录格式在个别版本间并不保证完全兼容稳妥的升级路径是“滚动升级保留旧版本数据备份”。一点个人体会做技术这么多年我越来越觉得ZooKeeper这种基础组件反而是整个分布式体系里最值得花时间吃透的一块。它不炫技但几乎所有上层组件都在依赖它的选举和协调能力。你在部署上踩过的每一个坑本质上都是在帮你理解“多数派存活”“会话超时”“顺序一致性”这些分布式系统的底层概念。如果今天这篇文章只能留给你一个操作建议那就是不管装单机还是集群先把conf/zoo.cfg和myid这两个东西搞明白再动手启动。80%的部署问题都出在这两个环节。至于剩下的20%多半是网络和防火墙一把telnet就能验出问题在哪。最后再分享一个小技巧在/opt/zookeeper/logs下建一个软链接指向当前的程序日志比如ln -s /opt/apache-zookeeper-3.7.1-bin/logs current-logs以后排查问题直接进这个目录看最新的日志就行不用每次记那一长串程序目录。细节上的顺手能让你在排查问题时比别人快一步。
ZooKeeper安装部署全指南：从单机到集群的完整实战
1. 先搞明白ZooKeeper到底是什么为什么绕不开它很多刚接触分布式系统的人第一次听到ZooKeeper都会有个错觉这玩意儿是不是管理动物园的名字确实有点怪但在大数据和分布式生态里它几乎是绕不开的基础设施。无论是Hadoop的高可用HA还是Kafka的元数据管理甚至很多自研的分布式任务调度系统背后都站着ZooKeeper。可以说搞懂ZooKeeper的安装部署是进入分布式世界的一道必经门槛。那它到底是什么用一句最直白的话讲ZooKeeper是一个分布式协调服务。你可以把它理解成一个“集群大管家”专门负责让一堆机器之间互相知道对方的状态、统一意见、分配任务并且在部分机器挂掉的时候还能继续工作。它的核心功能包括配置管理、命名服务、分布式锁、集群选主Leader选举等。这篇文章我会从零开始把ZooKeeper的安装部署讲透包含单机、伪集群、真集群三种部署方式最后再聊聊它和Hadoop、Kafka的那些事以及Docker下的部署方法。无论你是学生、运维新手还是刚接触分布式开发的程序员这篇都能给你一个可以直接照做的完整参考。1.1 用生活类比快速理解ZooKeeper的工作方式前面说了它是“集群大管家”但这个管家到底怎么工作的我再用一个更具体的例子帮你建立直觉。假设你开了一家连锁奶茶店有总店和几十家分店。分店每天要卖什么原料、卖了多少杯、库存还剩多少这些信息不能每家店各记各的否则总店问起来对不上账。于是你定了一条规矩所有分店统一向一个“总台账本”汇报数据谁要看数据都查这个本子。ZooKeeper就相当于这个总台账本——它保存着一棵类似文件系统的“数据树”每个节点可以存一小段数据客户端也就是那些分店通过读写这些节点来获取和更新状态。这棵数据树的结构长这样/ ├── app1 │ ├── config │ └── status ├── app2 │ └── leader └── hadoop-ha ├── active └── standby每个路径比如/hadoop-ha/active就是一个ZNode既可以在上面存数据也可以创建子节点。客户端的机器挂没挂、某个服务当前谁是主节点全都体现在这些节点的状态里。ZNode的变化新增、删除、数据修改会被ZooKeeper实时通知给所有订阅的客户端这样大家就能快速响应变化。1.2 ZooKeeper在集群里到底干了哪些活我简单梳理一下它的几个核心用途这些决定了你部署之后怎么用也方便你理解后续配置里的一些参数为什么那么设计。配置管理假如你有10台应用服务器公共配置放在ZooKeeper上。配置改了所有机器瞬间收到通知并自动加载新配置不用一台一台ssh上去改文件。命名服务给服务分配全局唯一的名称比如生成分布式ID或者注册服务的地址。服务起来了就注册一个临时节点挂了临时节点自动消失。分布式锁多个客户端同时操作某个资源时通过创建临时顺序节点实现“谁先抢占谁执行”的互斥效果避免多台机器同时修改数据导致错乱。Leader选举这是最常用的场景。Hadoop的NameNode HA、Kafka的Controller选举都依靠ZooKeeper实现“主备切换”。主节点挂了备用节点通过竞争创建节点的方式成为新的主节点整个过程全自动。所以回头再看“ZooKeeper是干什么的”这个问题你心里大概有数了它不是数据库不存业务数据它不是消息队列不做异步通信它是一个让分布式系统能“整齐划一”运转的裁判员。接下来我们进入正题聊聊怎么把它部署起来。2. 安装前的准备版本选择、环境检查和目录规划老话说磨刀不误砍柴工装ZooKeeper也一样。虽然它的安装过程本身不复杂但前期准备没做好后面启动报错能让你排查到怀疑人生。我见过不少新人一上来就下载最新版结果JDK版本对不上或者端口被防火墙挡住卡了半天都不知道问题出在哪。所以这一节先把准备工作说清楚。2.1 版本怎么选别盲目追新ZooKeeper的版本主要分两条线3.4系列和3.5/3.6/3.7/3.8系列。3.4是很老的稳定版很多老教程和老集群还在用但它不支持TLS、某些新特性也没有官方早已停止维护不建议新项目再用。3.5之后引入了内置的Admin Server、动态重新配置、读写分离等能力是目前的主流选择。我个人建议直接选3.6.3以上的稳定版或者3.7/3.8的最新稳定小版本。以当前常见的3.7.1为例下载包的名字一般是apache-zookeeper-3.7.1-bin.tar.gz。这里有个特别容易踩的坑一定要下载带-bin后缀的包。Apache官网提供了两种打包带-bin的是编译好的可执行版本不带-bin的是源码包。如果你把源码包当普通包解压后直接跑bin脚本大概率会报类似Could not find or load main class的错因为里面根本没有编译好的类文件。我第一次装的时候就在这上面浪费了半小时后来才发现下载错了包。2.2 JDK环境检查ZooKeeper是Java写的跑起来必须要有JDK。3.7版本要求Java 8以上推荐Java 8或Java 11。如果你机器上装的是Java 17目前实测问题也不大但如果你要跟老版本的Hadoop集群配合可能还是要用Java 8更稳这个后面讲集成的时候再展开。检查JDK非常简单执行java -version如果提示找不到命令就说明还没装JDK。以CentOS 7为例用yum装OpenJDK 8yum install -y java-1.8.0-openjdk-devel装完再看一眼版本确认出现类似openjdk version 1.8.0_xxx的输出就说明环境OK了。2.3 目录规划和端口规划ZooKeeper运行时会涉及两种数据快照数据snapshot和事务日志log。默认情况下它们都写在dataDir目录下但我强烈建议把二者分开存储尤其是生产环境。原因很简单事务日志是实时追加写入的磁盘IO压力大快照是定期生成的数据量也不小。如果放同一块磁盘写入压力叠加容易拖慢性能。生产机上如果有两块磁盘就把dataDir指向数据盘把dataLogDir指向日志盘。个人学习环境一台机器无所谓但至少要把目录规划好。我的习惯目录结构如下/opt/zookeeper ├── apache-zookeeper-3.7.1-bin # 程序目录 ├── data # 快照数据目录 ├── logs # 日志目录 └── conf/zoo.cfg # 配置文件端口方面默认有三个端口需要注意端口作用说明2181客户端连接端口应用连ZooKeeper就用这个2888集群内部通信端口Leader和Follower之间同步数据3888选举端口集群启动时选举Leader用单机模式只用到2181集群模式三个端口都要放行。如果你在服务器上装别忘了检查防火墙firewall-cmd --permanent --add-port2181/tcp firewall-cmd --permanent --add-port2888/tcp firewall-cmd --permanent --add-port3888/tcp firewall-cmd --reload如果用云服务器还得到安全组里把这三个端口加上光在系统层面放行是不够的。3. 单机模式部署先把ZooKeeper跑起来所谓单机模式就是只有一台机器不配置集群。这种模式适合本地开发测试、学习入门或者你只是想先验证ZooKeeper能不能用。别指望它在生产环境提供高可用因为单机挂了就全挂了。3.1 下载解压三步搞定拿到下载链接后操作很直接cd /opt wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz如果你所在网络访问Apache官网比较慢可以去国内镜像站下载速度会快很多。下载完解压之后进入程序目录看一眼结构cd /opt/apache-zookeeper-3.7.1-bin ls -l你会在bin目录下看到zkServer.sh和zkCli.sh前者用来启停服务后者是命令行客户端后面都会用到。3.2 修改配置文件注意这个致命细节ZooKeeper默认不会读取conf/zoo.cfg因为官方只给了一个zoo_sample.cfg示例文件。你需要手动把示例文件复制一份再改里面几个关键参数cp /opt/apache-zookeeper-3.7.1-bin/conf/zoo_sample.cfg /opt/apache-zookeeper-3.7.1-bin/conf/zoo.cfg vim /opt/apache-zookeeper-3.7.1-bin/conf/zoo.cfg至少需要关注下面这几个参数tickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper/data dataLogDir/opt/zookeeper/logs clientPort2181 maxClientCnxns60各参数的含义先说清楚tickTimeZooKeeper内部的基础时间单位单位是毫秒。默认2000即2秒。这个值决定了会话超时、心跳间隔的粒度。initLimitFollower在启动时能容忍与Leader之间最大的心跳次数差。配置为10表示Follower可以在10*tickTime20秒内完成数据同步超过这个时间还没同步完就会被判定为连接失败。syncLimitLeader和Follower之间正常通信时允许丢失的最大心跳次数。配置为5表示10秒内没收到对方心跳就认为连接断开。dataDir快照数据存储目录这个目录必须提前建好。如果不建启动时会报Directory /opt/zookeeper/data does not exist之类的错误。dataLogDir事务日志目录生产环境建议独立配置。不配的话默认和dataDir共用。clientPort客户端连接端口默认2181。maxClientCnxns单个客户端IP能建立的最大连接数防止连接耗尽。一个经常被忽略的细节dataDir和dataLogDir指向的目录必须先创建并且要有写权限。直接用root跑无所谓但如果用普通用户启动记得chown给对应用户。否则服务会启动失败或者启动后在日志里疯狂刷权限报错。3.3 启动验证从启动到命令行观察配置完成后启动服务/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start启动完以后别急着高兴先用命令行客户端连接验证一下/opt/apache-zookeeper-3.7.1-bin/bin/zkCli.sh -server 127.0.0.1:2181连上之后会出现一个交互式终端输入ls /如果显示了[zookeeper]说明基本正常。然后可以简单测试一下创建节点create /test_node hello zookeeper get /test_node能正常返回你设置的值就说明整个链路已经通了。退出客户端用quit就行。除了人工验证还可以看ZooKeeper的运行状态/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh status单机模式下会输出Mode: standalone意思是当前以单机模式运行没有Leader。4. 伪集群模式一台机器模拟三个节点伪集群的意思是一台物理机器上跑多个ZooKeeper进程通过不同端口模拟出一个集群。这种模式最大的价值在于它让你不用三台机器就能完整体验集群的主从选举过程。学习阶段我特别推荐先练伪集群因为成本低、方便反复搞坏重来而且很多生产环境下的配置思路都能通过它理解清楚。4.1 为什么推荐先练伪集群你可能觉得反正都要上真实集群干嘛多此一举我自己的体会是伪集群能帮你快速验证很多概念。比如你改了配置重启一下三个进程就能观察到哪台变成Leader杀掉Leader进程几秒后另外两台里又冒出一个新的Leader。这种直观的观察对理解ZooKeeper的选举机制帮助特别大。而且伪集群踩过的坑在真实集群里大概率还会遇到。比如myid文件没建、端口被占用、数据目录权限不对这些问题早早在伪集群阶段暴露出来总比上了生产环境再折腾要强。4.2 创建三个实例的目录和myid文件伪集群的关键在于虽然是同一台机器但每个实例必须拥有独立的dataDir和dataLogDir而且每个实例的clientPort、2888、3888端口都不能冲突。我在/opt/zookeeper-cluster下建了几个目录/opt/zookeeper-cluster ├── node1 │ ├── data │ └── logs ├── node2 │ ├── data │ └── logs └── node3 ├── data └── logs然后在每个实例的 data 目录下创建myid文件。myid文件的内容是一个数字用来标识当前实例在集群中的唯一ID范围是1到255。比如 node1 的 myid 写1node2 写2node3 写3mkdir -p /opt/zookeeper-cluster/node1/data /opt/zookeeper-cluster/node1/logs echo 1 /opt/zookeeper-cluster/node1/data/myid mkdir -p /opt/zookeeper-cluster/node2/data /opt/zookeeper-cluster/node2/logs echo 2 /opt/zookeeper-cluster/node2/data/myid mkdir -p /opt/zookeeper-cluster/node3/data /opt/zookeeper-cluster/node3/logs echo 3 /opt/zookeeper-cluster/node3/data/myid这里要特别提醒myid 文件不存在集群就无法启动。ZooKeeper启动时会先去 dataDir 下找 myid 文件如果找不到会直接报错退出。这个文件和 zoo.cfg 里的 server.x 配置是对应的后续讲真集群时会再强调。4.3 三份配置文件的完整写法接下来需要准备三份配置文件。我直接把每个节点的关键配置写出来你照着改就行。node1 的conf/zoo.cfgtickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper-cluster/node1/data dataLogDir/opt/zookeeper-cluster/node1/logs clientPort2181 server.1127.0.0.1:2888:3888 server.2127.0.0.1:2889:3889 server.3127.0.0.1:2890:3890node2 的conf/zoo.cfgtickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper-cluster/node2/data dataLogDir/opt/zookeeper-cluster/node2/logs clientPort2182 server.1127.0.0.1:2888:3888 server.2127.0.0.1:2889:3889 server.3127.0.0.1:2890:3890node3 的conf/zoo.cfgtickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper-cluster/node3/data dataLogDir/opt/zookeeper-cluster/node3/logs clientPort2183 server.1127.0.0.1:2888:3888 server.2127.0.0.1:2889:3889 server.3127.0.0.1:2890:3890server.xhost:port1:port2这段配置的格式很容易让人懵我拆开讲一下x必须跟对应机器 myid 文件里的数值一致。比如 myid 是2那这台机器在配置里对应的就是server.2。host集群其他节点访问这台机器的地址。port1集群内部数据同步端口默认2888。port2集群选举通信端口默认3888。伪集群因为是同一台机器所以三个实例的端口必须错开。你会发现 node1 的 clientPort 是2181node2 的是2182node3 的是2183而配置里三份文件声明的 server 地址都指向同一批端口这样三个进程才能各占各的端口互不干扰。启动的时候需要给每个实例单独指定配置文件。ZooKeeper的启动脚本默认只找conf/zoo.cfg所以要么把三份配置文件分别放在不同的conf目录要么用环境变量ZOOCFGDIR指定配置路径。我习惯的做法是分别建三个目录比如mkdir -p /opt/zookeeper-cluster/node1/conf vim /opt/zookeeper-cluster/node1/conf/zoo.cfg然后启动时进入对应目录执行cd /opt/zookeeper-cluster/node1 /opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start /opt/zookeeper-cluster/node1/conf/zoo.cfg三个实例都用同一套 Apache 解压目录下的 bin 脚本只不过传参时指向不同的配置文件。启动完以后通过zkServer.sh status分别查看状态正常情况下你会看到其中一个节点是Mode: leader另外两个是Mode: follower。4.4 伪集群最值得做的实验伪集群搭起来之后有一件特别值得做的事手动杀掉Leader观察选举过程。假如 node1 是Leader执行jps找到进程号或者直接zkServer.sh stop停掉它。几秒后再查看 node2 和 node3 的状态你会发现两台机器里有一个变成了新的Leader。ZooKeeper的容错能力就是这么体现的。这个实验你亲手做一次比看十篇文章都管用。它会让你真正理解为什么生产环境至少要部署三个节点以及为什么说“奇数节点能容忍更少节点宕机”。5. 真正的集群模式从机器规划到完整部署伪集群只是学习工具生产环境当然要用多台机器组真集群。真集群和伪集群的配置思路几乎一模一样只是每台机器各跑一个实例。但正因为分布在多台机器上很多问题会更隐蔽比如机器间网络不通、时钟不同步等。这一节我详细说说真集群部署的完整流程。5.1 集群规模怎么定为什么推荐奇数节点真实环境里ZooKeeper集群节点数有明确的讲究。它使用的是“多数派存活”机制只要超过半数的节点活着集群就能正常工作。所以节点数可容忍宕机数3141526273你会发现4台机器最多也只能容忍1台宕机和3台一样6台最多容忍2台和5台一样。多出来的机器只是提高了写性能的冗余度并没有提升容错上限。所以ZooKeeper集群的节点数最好是奇数3台起步5台是很多中大型集群的常见配置。这样既保证了容错能力又不会浪费机器资源。同时需要注意ZooKeeper本身的性能瓶颈通常不在CPU或内存而在磁盘IO和网络延迟。事务日志的同步写入是最主要的开销所以生产环境建议用SSD并把日志目录放到独立的挂载点上。5.2 三台机器上的操作步骤假设我有三台机器IP分别如下10.0.0.11 - node1 10.0.0.12 - node2 10.0.0.13 - node3每台机器上都执行一样的解压和目录创建操作cd /opt wget https://dlcdn.apache.org/zookeeper/zookeeper-3.7.1/apache-zookeeper-3.7.1-bin.tar.gz tar -zxvf apache-zookeeper-3.7.1-bin.tar.gz mkdir -p /opt/zookeeper/data /opt/zookeeper/logs然后分别在每台机器上创建myidnode1 上执行echo 1 /opt/zookeeper/data/myidnode2 上执行echo 2 /opt/zookeeper/data/myidnode3 上执行echo 3 /opt/zookeeper/data/myid接着在每台机器上创建配置文件conf/zoo.cfg。三台机器的配置除了dataDir和dataLogDir相同之外server.x指向的地址要改成真实IPtickTime2000 initLimit10 syncLimit5 dataDir/opt/zookeeper/data dataLogDir/opt/zookeeper/logs clientPort2181 server.110.0.0.11:2888:3888 server.210.0.0.12:2888:3888 server.310.0.0.13:2888:3888注意这里三台机器的配置几乎一样因为 server.x 写的是集群内所有节点的地址。唯一不同的是每台机器上 myid 文件里的数字。这一步经常有人搞错在 node1 上配了server.110.0.0.11:2888:3888结果 myid 文件写的是2启动以后各种诡异问题都来了要么一直连接不上要么状态一直是乱码。配置完成后三台机器分别执行启动命令/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh start启动完以后在任意一台机器上执行/opt/apache-zookeeper-3.7.1-bin/bin/zkServer.sh status正常情况下你会看到一台是leader两台是follower。再通过zkCli.sh -server 10.0.0.11:2181连接任意一台看看集群是否对外正常提供服务。5.3 用四字命令监控集群状态ZooKeeper提供了一套四字命令Four Letter Words来查看运行时状态。不过默认情况下一些命令需要先在配置文件里开启白名单否则会报Unrecognized ZooKeeper Server command。在conf/zoo.cfg里加上4lw.commands.whitelist*然后重启服务就能用nc或者telnet直接发命令查看状态了。常用命令有命令作用ruok检查服务是否存活存活返回 imokstat查看当前节点的角色、连接数、延迟等信息mntr输出更细粒度的监控指标适合接入监控系统conf输出当前生效的配置srvr查看服务端详细信息以nc为例echo stat | nc 127.0.0.1 2181输出里会包含Mode: leader或者Mode: follower以及各种计数统计。生产环境把mntr的结果接到Prometheus或者Zabbix里都是很常见的做法。6. 集成实战ZooKeeper和Hadoop、Kafka的关系研究ZooKeeper的人十有八九是因为Hadoop或者Kafka才接触到它的。所以这里专门聊一聊它俩是怎么配合的。很多教程一句“Hadoop依赖ZooKeeper做HA”就带过去了但实际整合的时候细节还挺多。6.1 Hadoop整合NameNode HA全自动切换Hadoop 2.0以后NameNode的高可用HA就是靠ZooKeeper来实现的。简单说集群里有两个NameNode一个是Active一个是Standby。Active负责处理客户端请求Standby实时同步元数据。当Active挂了Standby要能立刻顶上这个“切换”动作就是通过ZooKeeper来协调的。具体的协调方式是通过ZooKeeper上的一个临时节点Active的NameNode会在ZooKeeper上注册一个临时节点Standby一直在监听这个节点。Active如果宕机临时节点因为会话超时自动消失Standby收到通知后迅速抢占成为新的Active。整个过程不需要人工干预。所以如果你要搭一套Hadoop高可用集群前提条件就是先把ZooKeeper集群部署好。Hadoop的配置文件里需要指定ZooKeeper的地址property nameha.zookeeper.quorum/name value10.0.0.11:2181,10.0.0.12:2181,10.0.0.13:2181/value /property部署顺序上建议先启动ZooKeeper确认集群状态正常再启动HDFS和YARN。否则NameNode启动后找不到ZooKeeper会有大量的超时重试日志刷屏。6.2 Kafka现在的版本还需要ZooKeeper吗关于Kafka和ZooKeeper的关系最近几年变化挺大。老版本的Kafka0.x到2.x早期强依赖ZooKeeper来管理broker元数据、消费者组offset、分区leader选举等。你会看到config/server.properties里必须配置zookeeper.connect...没有ZooKeeperKafka根本起不来。但Kafka从3.0开始引入了KRaft模式尝试去掉ZooKeeper依赖。到Kafka 3.5以后KRaft模式已经逐渐稳定并成为长期演进方向。现在你搜索“kafka不用zookeeper”指的就是KRaft模式下Kafka可以直接用内置的raft协议管理元数据不再需要外部部署ZooKeeper。不过实操中要注意如果你是跟着教程部署Kafka 2.x版本那别管新特性怎么说老老实实把ZooKeeper先装好。如果你用的是Kafka 3.5可以选择KRaft模式跑但网上大量存量教程还是基于ZooKeeper模式的遇到问题时要看清版本别拿着新版本的配置去套老教程。我个人建议学习阶段先用老一套的ZooKeeper模式跑通Kafka理解broker、partition、offset这些概念之后再尝试KRaft模式做对比。这样你对整个生态的理解会更完整。7. Docker部署方式开发和测试的极简方案最后聊一个非常实用的话题Docker跑ZooKeeper。这个方法在本地开发、CI环境、快速验证场景下特别好用。以前我本地测试总是先在笔记本上装一个ZooKeeper后来改用Docker容器几秒钟就能拉起一个服务用完直接删方便太多了。7.1 单节点Docker容器官方有现成的ZooKeeper镜像直接拉取运行docker pull zookeeper:3.7 docker run -d -p 2181:2181 --name zookeeper-single zookeeper:3.7就这么简单。容器内部会把dataDir和dataLogDir指向/data和/datalog如果你要持久化数据可以挂载宿主机的目录docker run -d -p 2181:2181 \ -v /opt/zookeeper/data:/data \ -v /opt/zookeeper/logs:/datalog \ --name zookeeper-single zookeeper:3.7连客户端的方式不变docker exec -it zookeeper-single zkCli.sh -server 127.0.0.1:21817.2 用Docker Compose搭一个三节点集群如果要验证集群行为用Docker Compose能非常快速地搭出三个节点。写一个docker-compose.ymlversion: 3 services: zk1: image: zookeeper:3.7 container_name: zk1 restart: always ports: - 2181:2181 environment: ZOO_MY_ID: 1 ZOO_SERVERS: server.10.0.0.0:2888:3888;2181 server.2zk2:2888:3888;2181 server.3zk3:2888:3888;2181 zk2: image: zookeeper:3.7 container_name: zk2 restart: always ports: - 2182:2181 environment: ZOO_MY_ID: 2 ZOO_SERVERS: server.1zk1:2888:3888;2181 server.20.0.0.0:2888:3888;2181 server.3zk3:2888:3888;2181 zk3: image: zookeeper:3.7 container_name: zk3 restart: always ports: - 2183:2181 environment: ZOO_MY_ID: 3 ZOO_SERVERS: server.1zk1:2888:3888;2181 server.2zk2:2888:3888;2181 server.30.0.0.0:2888:3888;2181执行docker-compose up -d就能看到三个容器依次启动。用docker exec zk1 zkServer.sh status查看状态你会看到正常的Leader和Follower角色分配。用Docker部署ZooKeeper做学习和测试很方便但生产环境我一般还是会用传统方式部署在物理机或虚拟机上因为这样对磁盘IO、网络、日志的处理更可控也方便接入自建的监控和告警体系。容器化跑有状态服务要做的功课比无状态服务多很多不是拉个镜像就完事的。8. 常见问题与排查技巧实录最后一部分我把自己实际部署过程中遇到的和帮别人排查过的各种问题做个汇总。这些问题出现频率真的很高建议你收藏起来以后踩坑了直接对着查。8.1 启动失败类问题问题1报错ZooKeeper audit is disabled或者直接启动后进程消失先看日志文件logs/zookeeper-root-server-主机名.log。最常见的原因是zoo.cfg里配置的dataDir目录不存在。目录没建好服务起不来是必然的。解决方式很简单手动创建目录再启动。问题2端口被占用报错Address already in use多半是之前启动的实例没停干净或者别的程序占了2181端口。先jps查看Java进程再用netstat -tlnp | grep 2181看端口占用情况确认是残留进程就杀掉重新启动。问题3客户端连接被拒绝Connection refused先确认服务本身是否在运行端口是否监听。然后确认防火墙有没有放行2181。如果是从别的机器连还要检查ZooKeeper监听的地址是否是0.0.0.0。有些场景下配置文件里设置了特殊的绑定地址导致外部机器无法连接需要检查clientPortAddress这类参数。8.2 集群模式特有故障问题4集群启动后所有节点状态都是follower或者一直报LEADERELECTION失败这种问题多半出在三个地方myid文件内容和server.x配置对不上server.x里的IP地址写错导致节点之间互相找不到对方防火墙没放行2888和3888端口。逐项排查顺序是先cat dataDir/myid确认编号再cat conf/zoo.cfg确认server列表最后telnet 对端IP 2888验证网络通不通。我曾经遇到一个特别隐蔽的情况集群里三台机器的时间差了好几分钟导致session过期频繁节点反复从集群中断开重连。后来用ntpdate同步了各机器时间才稳定下来。ZooKeeper对节点间时钟偏移比较敏感生产环境强烈建议部署NTP服务统一时间。问题5节点反复重启日志显示Unexpected exception causing shutdown这个问题大概率跟数据目录损坏或磁盘空间耗尽有关。检查df -h看磁盘是否满了再查看日志里有没有Error UNRECOVERABLE字样。如果数据目录损坏在确认没有可用数据的情况下可以尝试清除 dataDir 后重启但生产环境这样做要格外谨慎最好是先备份再操作。8.3 连接和会话类问题问题6客户端连接ZooKeeper时超时日志报Session 0x0 for server null优先检查客户端连接字符串的格式。用127.0.0.1:2181还是10.0.0.11:2181是有讲究的。连接到集群时zkCli.sh -server ip1:2181,ip2:2181,ip3:2181的每个地址都要确保能通。另外tickTime设置太小也会导致会话容易超时如果网络环境有较大抖动适当把tickTime调大也是一种缓解手段。问题7临时节点为什么消失了ZooKeeper有临时节点Ephemeral和持久节点Persistent之分。临时节点在创建它的会话结束或超时后会被自动删除。如果你创建的节点消失大概率是客户端断开了连接或者session因网络问题过期。在应用代码里如果发现节点频繁丢失需要检查客户端是否在空闲时自动关闭了连接。8.4 部署规范方面的避坑建议除了上面这些故障再补充几条规范性的经验。磁盘规划无论什么模式dataLogDir建议单独目录并且用快速磁盘。事务日志是写ZooKeeper时“先写日志再落快照”的关键日志盘满了会直接影响整个集群写入能力。内存设置ZooKeeper默认的堆内存不算大但大多数场景够用。如果你发现GC频繁或者内存占用过高可以在conf/zookeeper-env.sh里调整JVMFLAGS比如-Xms2g -Xmx2g。注意ZooKeeper不建议通过ZOOKEEPER_HEAP无脑调大堆内存关键要看dataDir里的快照大小和客户端会话数。监控告警生产环境至少要对ZooKeeper做两层监控。第一层是进程是否存活挂掉就得告警第二层是集群角色和连接数如果Leader频繁切换或者连接数突然暴涨通常说明底层网络或应用连接池有问题。用前面说的mntr命令输出的指标接上运维平台长期观测是比较稳妥的做法。升级替换老版本升级到新版本的时候不要直接拿新版本程序去读旧版本的 dataDir最好先在测试环境完整跑一遍数据兼容性验证。ZooKeeper的data目录格式在个别版本间并不保证完全兼容稳妥的升级路径是“滚动升级保留旧版本数据备份”。一点个人体会做技术这么多年我越来越觉得ZooKeeper这种基础组件反而是整个分布式体系里最值得花时间吃透的一块。它不炫技但几乎所有上层组件都在依赖它的选举和协调能力。你在部署上踩过的每一个坑本质上都是在帮你理解“多数派存活”“会话超时”“顺序一致性”这些分布式系统的底层概念。如果今天这篇文章只能留给你一个操作建议那就是不管装单机还是集群先把conf/zoo.cfg和myid这两个东西搞明白再动手启动。80%的部署问题都出在这两个环节。至于剩下的20%多半是网络和防火墙一把telnet就能验出问题在哪。最后再分享一个小技巧在/opt/zookeeper/logs下建一个软链接指向当前的程序日志比如ln -s /opt/apache-zookeeper-3.7.1-bin/logs current-logs以后排查问题直接进这个目录看最新的日志就行不用每次记那一长串程序目录。细节上的顺手能让你在排查问题时比别人快一步。