环境
　　Red Hat Enterprise Linux Server release 7.3 (Maipo)
　　jdk1.7.0_80
zookeeper-3.4.11

一、事务日志和快照日志
1.事务日志和快照日志概述
配置文件：/home/cluster/zookeeper/conf/zoo.cfg
事务日志目录：dataDir=/home/cluster/zookeeper/zkdata
快照日志目录：dataLogDir=/home/cluster/zookeeper/logs

事务日志，指zookeeper系统在正常运行过程中，针对所有的更新操作，在返回客户端“更新成功”的响应前，zookeeper会保证已经将本次更新操作的事务日志已经写到磁盘上，只有这样，整个更新操作才会生效，在/home/cluster/zookeeper/zkdata目录下生成一个version-2目录，该目录下面是一堆格式如log.****事务日志，文件大小为64MB，****表示写入该日志的第一个事务的ID，十六进制表示比如log.8cc70320908b。
快照日志，zookeeper的数据在内存中是以树形结构进行存储的，而快照就是每隔一段时间就会把整个DataTree的数据序列化后存储在磁盘中，这就是zookeeper的快照文件。在/home/cluster/zookeeper/logs目录下有一个version-2目录，下面是一对格式snapshot.的快照文件，比如：snapshot.8cc703247dc2，其中表示zookeeper触发快照的那个瞬间，提交的最后一个事务的ID。

2.事务日志可视化：事务日志为二进制文件，不能通过vim等工具直接访问。其实可以通过zookeeper自带的jar包读取事务日志文件。首先将libs中的slf4j-api-1.6.1.jar文件和zookeeper根目录下的zookeeper-3.4.11.jar文件复制到临时文件夹tmplibs中，然后执行如下命令：
java -classpath .:slf4j-api-1.6.1.jar:zookeeper-3.4.9.jar org.apache.zookeeper.server.LogFormatter …/Data/datalog/version-2/log.8cc70320908b

复制代码
[cluster@PCS102 tmplibs]$ java -classpath .:slf4j-api-1.6.1.jar:zookeeper-3.4.11.jar org.apache.zookeeper.server.LogFoatter …/zkdata/version-2/log.8cc705501505

10/23/18 3:38:38 AM CST session 0x20309e8d8bd000f cxid 0x1004dee zxid 0x8cc705509109 create '/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a302c2274696d657374616d70223a2231353430323337313138363837227d,v{s{31,s{'world,'anyone}}},T,21575201

10/23/18 3:38:38 AM CST session 0x20309e8d8bd0010 cxid 0x2876033 zxid 0x8cc70550910a error -110

10/23/18 3:38:38 AM CST session 0x1006a28d0860051 cxid 0x170127f zxid 0x8cc70550910b error -110

10/23/18 3:38:38 AM CST session 0x20309e8d8bd000f cxid 0x1004df3 zxid 0x8cc70550910c setData '/controller_epoch,#3231353735313837,21575186

10/23/18 3:38:38 AM CST session 0x20309e8d8bd000f cxid 0x1004e4c zxid 0x8cc70550910d delete '/controller

10/23/18 3:38:38 AM CST session 0x20309e8d8bd0010 cxid 0x287603c zxid 0x8cc70550910e create '/controller,#7b2276657273696f6e223a312c2262726f6b65726964223a312c2274696d657374616d70223a2231353430323337313138373831227d,v{s{31,s{'world,'anyone}}},T,21575202
复制代码

3.四种日志清理
3.1 使用定时删除日志脚本推荐使用这一种结合crontab，每天定时清理: 0 0 2 * * ? /home/cluster/zookeeper/bin/cleanuplog.sh

复制代码
#!/bin/bash

#snapshot file dir
dataLogDir=/home/cluster/zookeeper/logs/version-2
#transction file dir
dataDir=/home/cluster/zookeeper/zkdata/version-2
#zk log dir
logDir=/home/cluster/zookeeper/logs
#保留最新的60个文件
count=60
count= $[$ count+1]
##按照时间正序排列|展示从头开始第count行开始|传入执行参数
#事务日志
LOGNUM=ls -l /home/cluster/zookeeper/zkdata/version-2/log.* |wc -l
if [ $LOGNUM -gt 0 ]; then
ls -t $d a t a D i r / l o g . * ∣ t a i l - n +$ count | xargs rm -f
fi

#快照日志
SNAPSHOTNUM=ls -l /home/cluster/zookeeper/logs/version-2/snapshot.* |wc -l
if [ $SNAPSHOTNUM -gt 0 ]; then
ls -t $d a t a L o g D i r / s n a p s h o t . * ∣ t a i l - n +$ count | xargs rm -f
fi

#zookeeper.log
ZKLOGNUM=ls -l /home/cluster/zookeeper/logs/zookeeper.log.* |wc -l
if [ $ZKLOGNUM -gt 0 ]; then
ls -t $l o g D i r / z o o k e e p e r . l o g . * ∣ t a i l - n +$ count |xargs rm -f
fi

#zookeeper.out
if [ -e “$logDir/zookeeper.out” ]; then
rm -f /home/cluster/zookeeper/logs/zookeeper.out
fi
复制代码

3.2 使用ZK的工具类PurgeTxnLog，它的实现了一种简单的历史文件清理策略，可以在这里看一下他的使用方法：http://zookeeper.apache.org/doc/r3.4.3/api/index.html，可以指定要清理的目录和需要保留的文件数目，简单使用如下
java -cp zookeeper.jar:lib/slf4j-api-1.6.1.jar:lib/slf4j-log4j12-1.6.1.jar:lib/log4j-1.2.15.jar:conf org.apache.zookeeper.server.PurgeTxnLog -n

3.3对于上面这个Java类的执行，ZK自己已经写好了脚本，在bin/zkCleanup.sh中，所以直接使用这个脚本也是可以执行清理工作的。

3.4从3.4.0开始，zookeeper提供了自动清理snapshot和事务日志的功能，通过配置zoo.cfg中 autopurge.snapRetainCount 和 autopurge.purgeInterval 这两个参数能够实现定时清理了。这两个参数都是在zoo.cfg中配置的：autopurge.purgeInterval 这个参数指定了清理频率，单位是小时，需要填写一个1或更大的整数，默认是0，表示不开启自己清理功能。autopurge.snapRetainCount 这个参数和上面的参数搭配使用，这个参数指定了需要保留的文件数目。默认是保留3个。

二、zk运行日志 zookeeper.out和zookeeper.log
zkEnv.sh配置日志目录ZOO_LOG_DIR和log4j日志输出的配置ZOO_LOG4J_PROP

复制代码
if [ “x${ZOO_LOG_DIR}” = “x” ]
then
ZOO_LOG_DIR="/home/cluster/zookeeper/logs"
fi

#默认日志级别INFO，输出器是控制台
if [ “x${ZOO_LOG4J_PROP}” = “x” ]
then
ZOO_LOG4J_PROP=“INFO,CONSOLE”
fi
复制代码

zkServer.sh 配置日志文件名称和启动参数

复制代码
if [ ! -w “ $ZOO_LOG_DIR" ] ; then mkdir -p "$ ZOO_LOG_DIR”
fi

#nohup日志输出
_ZOO_DAEMON_OUT="$ZOO_LOG_DIR/zookeeper.out"

nohup “ $J A V A " " - D z o o k e e p e r . l o g . d i r =$ {ZOO_LOG_DIR}” “-Dzookeeper.root.logger= $KaTeX parse error: Undefined control sequence: \ at position 19: …O_LOG4J_PROP}" \̲ ̲-cp "$ CLASSPATH” $JVMFLAGS $Z O O M A I N "$ ZOOCFG" > “$_ZOO_DAEMON_OUT” 2>&1 < /dev/null &
复制代码

通过以上代码可以知道：zookeeper.out实际上是nohup的输出。而nohup的输出实际上是stdout,stderr的输出，可以使用 /home/cluster/zookeeper/bin/cleanuplog.sh一起清理

看下原来log4j配置，基本上没实际用处

复制代码
#声明属性
zookeeper.root.logger=INFO, CONSOLE
zookeeper.console.threshold=INFO
zookeeper.log.dir=.
zookeeper.log.file=zookeeper.log
zookeeper.log.threshold=INFO
zookeeper.tracelog.dir=.
zookeeper.tracelog.file=zookeeper_trace.log

ZooKeeper 日志配置默认INFO级别输出器CONSOLE

log4j.rootLogger=${zookeeper.root.logger}

#控制台 info日志
log4j.appender.CONSOLE=org.apache.log4j.ConsoleAppender
log4j.appender.CONSOLE.Threshold=${zookeeper.console.threshold}
log4j.appender.CONSOLE.layout=org.apache.log4j.PatternLayout
log4j.appender.CONSOLE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n

#ROLLINGFILE appender
log4j.appender.ROLLINGFILE=org.apache.log4j.RollingFileAppender
log4j.appender.ROLLINGFILE.Threshold= ${zookeeper.log.threshold} log4j.appender.ROLLINGFILE.File=$ {zookeeper.log.dir}/${zookeeper.log.file}
#每个日志文件最大多少
log4j.appender.ROLLINGFILE.MaxFileSize=10MB
#最多几个文件
log4j.appender.ROLLINGFILE.MaxBackupIndex=10
log4j.appender.ROLLINGFILE.layout=org.apache.log4j.PatternLayout
log4j.appender.ROLLINGFILE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n

#TRACE日志
log4j.appender.TRACEFILE=org.apache.log4j.FileAppender
log4j.appender.TRACEFILE.Threshold=TRACE
log4j.appender.TRACEFILE.File= ${zookeeper.tracelog.dir}/$ {zookeeper.tracelog.file}
log4j.appender.TRACEFILE.layout=org.apache.log4j.PatternLayout
log4j.appender.TRACEFILE.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L][%x] - %m%n
复制代码
现在我们改造一下，使用DailyRollingFileAppender每天生成一个文件

修改zkEnv.sh配置日志目录ZOO_LOG_DIR和log4j日志输出的配置ZOO_LOG4J_PROP

这样可以使用 /home/cluster/zookeeper/bin/cleanuplog.sh 一起清理

[cluster@PCS102 bin]$ vim zkEnv.sh
if [ “x${ZOO_LOG4J_PROP}” = “x” ]
then
ZOO_LOG4J_PROP=“INFO,DAYROLLINGAppender”
fi

复制代码
#声明属性
zookeeper.root.logger=INFO, DAYROLLINGAppender
zookeeper.log.dir=/home/cluster/zookeeper/logs
zookeeper.log.file=zookeeper.log

ZooKeeper 日志配置默认INFO级别输出器CONSOLE

log4j.rootLogger=${zookeeper.root.logger}

#DAYROLLING appender
log4j.appender.DAYROLLINGAppender=org.apache.log4j.DailyRollingFileAppender
log4j.appender.DAYROLLINGAppender.DatePattern=’.'yyyy-MM-dd-HH
log4j.appender.DAYROLLINGAppender.File= ${zookeeper.log.dir}/$ {zookeeper.log.file}
log4j.appender.DAYROLLINGAppender.Threshold=INFO
log4j.appender.DAYROLLINGAppender.layout=org.apache.log4j.PatternLayout
log4j.appender.DAYROLLINGAppender.layout.ConversionPattern=%d{ISO8601} [myid:%X{myid}] - %-5p [%t:%C{1}@%L] - %m%n
复制代码