lsyncd实时同步工具

mac2024-12-20  6

简介

Lysncd 实际上是lua语言封装了 inotify 和 rsync 工具,采用了 Linux 内核(2.6.13 及以后)里的 inotify 触发机制,然后通过rsync去差异同步,达到实时的效果。完美解决了 inotify + rsync海量文件同步带来的文件频繁发送文件列表的问题 —— 通过时间延迟或累计触发事件次数实现。

环境

由于成本考虑,没有用ELK来做日志手机。需要采用lsyncd将每台服务器的/data/log/tomcat目录同步到固定的机器,使用Nginx来做日志展示。

服务器列表

系统ipssh端口目录注释CentOS 6.9192.168.31.727/data/log/tomcat安装lsyncCentOS 6.9192.168.31.21627/data/log/tomcat/192.168.31.7安装rsync

 

 

 

 

备注:将192.168.31.7的/data/log/tomcat目录同步到192.168.31.216的/data/log/tomcat/192.168.31.7目录

拓扑图

说明:将每台web服务器的日志/data/log/tomcat,使用rsync工具,通过ssh协议,发送给日志服务器。

ssh免密

注意:设置单向的ssh免密即可。也就是192.168.31.7能免密登录192.168.31.216

生成秘钥

2台服务器,都执行命令:

ssh-keygen -t rsa

 

copy秘钥

登录192.168.31.7,执行命令:

ssh-copy-id -i ~/.ssh/id_rsa.pub "-p 27 root@192.168.31.216"

 

安装lsyncd

有2种方法可以安装,主要讲解源码安装

yum安装

yum安装,前提是安装了epel更新源。使用命令:yum install -y lsyncd

源码安装

github下载,地址为:https://github.com/axkibe/lsyncd本文采用的是源码安装方式,因为版本是比yum安装要新一点

安装依赖

编译环境

yum install -y gcc psmisc gcc-c++ cmake

 

安装lua

yum install -y lua lua-devel

 

安装其他组件

注意:rsync必须要安装

yum install -y rsync unzip

 

编译安装

mkdir -p /data/ unzip lsyncd-master.zip -d /usr/src/ cd /usr/src/lsyncd-master/ cmake -DCMAKE_INSTALL_PREFIX=/data/lsyncd make && make install

 

 

创建同步目录

登录192.168.31.7,执行命令:

mkdir -p /data/log/tomcat touch /data/log/tomcat/1.txt

 

 

登录192.168.31.216,执行命令:

mkdir -p /data/log/tomcat/192.168.31.7

 

安装rsync

注意:server端和client端都需要安装rsync登录192.168.31.7和192.168.31.216,执行命令:

yum install -y rsync

 

配置文件

cd /data/lsyncd mkdir etc var cd etc/ vi lsyncd.conf

 

 

内容如下:

settings { --pid文件 logfile = "/data/lsyncd/var/lsyncd.log", --状态文件 statusFile = "/data/lsyncd/var/lsyncd.status", --同步模式,意思就是有更新就同步 inotifyMode = "CloseWrite or Modify", --最大8个进程 maxProcesses = 8, } --需要同步服务器的IP地址池 servers = { "192.168.31.216", } --使用for循环遍历IP池 for _, server in ipairs(servers) do sync { --本地目录间同步,使用rsync default.rsync, --同步的源目录,使用绝对路径 source = "/data/log/tomcat", --定义目的地址,注意:冒号后面是绝对路径 target = server..":/data/log/tomcat/192.168.31.7", --累计事件,等待rsync同步延时时间。这里设置0秒,表示实时同步。 delay = 0, rsync ={ --rsync命令的绝对路径 binary ="/usr/bin/rsync", archive =true, compress =true, verbose = true, --使用ssh协议连接到目标服务器,如果端口不是22,请修改一下。 rsh = "/usr/bin/ssh -p 22 -o StrictHostKeyChecking=no" }, } end View Code

 

启动服务

/data/lsyncd/bin/lsyncd /data/lsyncd/etc/lsyncd.conf

 

查看日志

tail -f /data/lsyncd/var/lsyncd.log

 

输出:

sent 106 bytes received 31 bytes 274.00 bytes/sec total size is 0 speedup is 0.00 Mon Oct 28 10:21:02 2019 Normal: Finished a list after exitcode: 0

 

 

查看进程

# ps -aux|grep lsync Warning: bad syntax, perhaps a bogus '-'? See /usr/share/doc/procps-3.2.8/FAQ root 1581 0.0 0.0 11376 1112 ? Ss 10:19 0:00 /data/lsyncd/bin/lsyncd /data/lsyncd/etc/lsyncd.conf root 1602 0.0 0.0 103336 896 pts/0 S+ 10:23 0:00 grep lsync

 

 

查看同步目录

登录到192.168.31.216,查看目录是否同步过来了

# ls /data/log/tomcat/192.168.31.7/ 1.txt

 

 

开机启动脚本

vi /etc/init.d/lsyncd

 

内容如下:

#!/bin/bash # # chkconfig: - 85 15 # description: Lightweight inotify based sync daemon # # processname: lsyncd # config: /data/lsyncd/etc/lsyncd.conf # config: /etc/sysconfig/lsyncd # pidfile: /data/lsyncd/var/lsyncd.pid # Source function library . /etc/init.d/functions # Source networking configuration. . /etc/sysconfig/network # Check that networking is up. [ "$NETWORKING" = "no" ] && exit 0 LSYNCD_OPTIONS="-pidfile /data/lsyncd/var/lsyncd.pid /data/lsyncd/etc/lsyncd.conf" if [ -e /etc/sysconfig/lsyncd ]; then . /etc/sysconfig/lsyncd fi RETVAL=0 prog="lsyncd" thelock=/var/lock/subsys/lsyncd start() { [ -f /data/lsyncd/etc/lsyncd.conf ] || exit 6 echo -n $"Starting $prog: " if [ $UID -ne 0 ]; then RETVAL=1 failure else daemon ${LSYNCD_USER:+--user ${LSYNCD_USER}} /data/lsyncd/bin/lsyncd $LSYNCD_OPTIONS RETVAL=$? [ $RETVAL -eq 0 ] && touch $thelock fi; echo return $RETVAL } stop() { echo -n $"Stopping $prog: " if [ $UID -ne 0 ]; then RETVAL=1 failure else killproc lsyncd RETVAL=$? [ $RETVAL -eq 0 ] && rm -f $thelock fi; echo return $RETVAL } reload(){ echo -n $"Reloading $prog: " killproc lsyncd -HUP RETVAL=$? echo return $RETVAL } restart(){ stop start } condrestart(){ [ -e $thelock ] && restart return 0 } case "$1" in start) start ;; stop) stop ;; restart) restart ;; reload) reload ;; condrestart) condrestart ;; status) status lsyncd RETVAL=$? ;; *) echo $"Usage: $0 {start|stop|status|restart|condrestart|reload}" RETVAL=1 esac exit $RETVAL View Code

 

增加启动项

chkconfig --add lsyncd chkconfig --level 2345 lsyncd on

 

 

如果遇到不同步的情况:

1.检查几台服务器是否存在文件/usr/bin/rsync 2.检查source和target文件目录是否存在 3.检查iptables和selinux是否关闭 4.检查几台服务器之间是否做了秘钥认证,能够无密码ssh登录

 

 

本文参考链接:https://linux.cn/article-5849-1.html

 

最新回复(0)