Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具,采用了 Linux 内核(2.6.13 及以后)里的 inotify 触发机制,然后通过rsync去差异同步,达到实时的效果。完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。
由于成本考虑,没有用ELK来做日志手机。需要采用lsyncd将每台服务器的/data/log/tomcat目录同步到固定的机器,使用Nginx来做日志展示。
服务器列表
系统ipssh端口目录注释CentOS 6.9192.168.31.727/data/log/tomcat安装lsyncCentOS 6.9192.168.31.21627/data/log/tomcat/192.168.31.7安装rsync
备注:将192.168.31.7的/data/log/tomcat目录同步到192.168.31.216的/data/log/tomcat/192.168.31.7目录
说明:将每台web服务器的日志/data/log/tomcat,使用rsync工具,通过ssh协议,发送给日志服务器。
注意:设置单向的ssh免密即可。也就是192.168.31.7能免密登录192.168.31.216
2台服务器,都执行命令:
ssh-keygen -t rsa
登录192.168.31.7,执行命令:
ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 27 root@192.168.31.216"
有2种方法可以安装,主要讲解源码安装
yum安装,前提是安装了epel更新源。使用命令:yum install -y lsyncd
github下载,地址为:https://github.com/axkibe/lsyncd本文采用的是源码安装方式,因为版本是比yum安装要新一点
注意:rsync必须要安装
yum install -y rsync unzip
登录192.168.31.7,执行命令:
mkdir -p /data/log/tomcat touch /data/log/tomcat/1.txt
登录192.168.31.216,执行命令:
mkdir -p /data/log/tomcat/192.168.31.7
注意:server端和client端都需要安装rsync登录192.168.31.7和192.168.31.216,执行命令:
yum install -y rsync
内容如下:
settings { --pid文件 logfile = "/data/lsyncd/var/lsyncd.log", --状态文件 statusFile = "/data/lsyncd/var/lsyncd.status", --同步模式,意思就是有更新就同步 inotifyMode = "CloseWrite or Modify", --最大8个进程 maxProcesses = 8, } --需要同步服务器的IP地址池 servers = { "192.168.31.216", } --使用for循环遍历IP池 for _, server in ipairs(servers) do sync { --本地目录间同步,使用rsync default.rsync, --同步的源目录,使用绝对路径 source = "/data/log/tomcat", --定义目的地址,注意:冒号后面是绝对路径 target = server..":/data/log/tomcat/192.168.31.7", --累计事件,等待rsync同步延时时间。这里设置0秒,表示实时同步。 delay = 0, rsync ={ --rsync命令的绝对路径 binary ="/usr/bin/rsync", archive =true, compress =true, verbose = true, --使用ssh协议连接到目标服务器,如果端口不是22,请修改一下。 rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no" }, } end View Code
输出:
sent 106 bytes received 31 bytes 274.00 bytes/sec total size is 0 speedup is 0.00 Mon Oct 28 10:21:02 2019 Normal: Finished a list after exitcode: 0
登录到192.168.31.216,查看目录是否同步过来了
# ls /data/log/tomcat/192.168.31.7/ 1.txt
内容如下:
#!/bin/bash # # chkconfig: - 85 15 # description: Lightweight inotify based sync daemon # # processname: lsyncd # config: /data/lsyncd/etc/lsyncd.conf # config: /etc/sysconfig/lsyncd # pidfile: /data/lsyncd/var/lsyncd.pid # Source function library . /etc/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 LSYNCD_OPTIONS="-pidfile /data/lsyncd/var/lsyncd.pid /data/lsyncd/etc/lsyncd.conf" if [ -e /etc/sysconfig/lsyncd ]; then . /etc/sysconfig/lsyncd fi RETVAL=0 prog="lsyncd" thelock=/var/lock/subsys/lsyncd start() { [ -f /data/lsyncd/etc/lsyncd.conf ] || exit 6 echo -n $"Starting $prog: " if [ $UID -ne 0 ]; then RETVAL=1 failure else daemon ${LSYNCD_USER:+--user ${LSYNCD_USER}} /data/lsyncd/bin/lsyncd $LSYNCD_OPTIONS RETVAL=$? [ $RETVAL -eq 0 ] && touch $thelock fi; echo return $RETVAL } stop() { echo -n $"Stopping $prog: " if [ $UID -ne 0 ]; then RETVAL=1 failure else killproc lsyncd RETVAL=$? [ $RETVAL -eq 0 ] && rm -f $thelock fi; echo return $RETVAL } reload(){ echo -n $"Reloading $prog: " killproc lsyncd -HUP RETVAL=$? echo return $RETVAL } restart(){ stop start } condrestart(){ [ -e $thelock ] && restart return 0 } case "$1" in start) start ;; stop) stop ;; restart) restart ;; reload) reload ;; condrestart) condrestart ;; status) status lsyncd RETVAL=$? ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|reload}" RETVAL=1 esac exit $RETVAL View Code
增加启动项
chkconfig --add lsyncd chkconfig --level 2345 lsyncd on
如果遇到不同步的情况:
1.检查几台服务器是否存在文件/usr/bin/rsync 2.检查source和target文件目录是否存在 3.检查iptables和selinux是否关闭 4.检查几台服务器之间是否做了秘钥认证,能够无密码ssh登录
本文参考链接:https://linux.cn/article-5849-1.html