1. 服务器/VPS/主机用户Telegram电报群: https://t.me/openos
    黑群晖 Synology Telegram电报群: https://t.me/nasfan
    排除公告

CentOS 7 配置rsync+lsyncd实现海量文件实时同步

本帖由 post2020-11-23 发布。版面名称:Linux

  1. post

    post New Member

    注册:
    2019-10-24
    帖子:
    465
    rsync是一个非常好用的文件同步工具, 但是无法进行实时同步, 但通过lsyncd+rsync可以完美的解决海量文件实时备份, lsyncd其实可以理解为inotify + rsync的重新打包整合, 现在参考部分教程简单记录一下.

    [​IMG]

    主要目的
    从主服务器上实时增量备份文件到另外一台服务器上.

    先在主服务器上创建无密码的ssh证书.

    cd /root/
    ssh-keygen -t rsa


    一直按回车就会得到两个ssh证书文件, 一个id_rsa秘钥, 一个id_rsa.pub公钥.

    查看公钥证书

    cat /root/.ssh/id_rsa.pub



    然后去备份服务器上

    cd /root/
    mkdir /root/.ssh
    vi id_rsa.pub


    然后把之前在主服务器上创建的公钥id_rsa.pub内容复制到这里

    把公钥增量添加到~/.ssh/authorized_keys里面

    cat /root/id_rsa.pub >> /root/.ssh/authorized_keys


    再更改公钥文件权限

    chmod 600 /root/.ssh/authorized_keys


    更改sshd配置文件

    vi /etc/ssh/sshd_config


    把#AuthorizedKeysFile .ssh/authorized_keys前面的#去掉, 让其保持为

    AuthorizedKeysFile .ssh/authorized_keys


    然后重启备份服务器的ssh

    service sshd restart



    设置完成后再会主服务器
    先测试一下是否可以免密码登录备份服务器

    ssh root@备份服务器的ip


    如果能正常登录就可以.

    然后在备份服务器上操作

    vi /etc/rsyncd.conf


    配置如下

    [backup]
    # destination directory for copy
    path = /home/backup
    # hosts you allow to access
    hosts allow = 1.1.1.1
    hosts deny = *
    list = true
    uid = root
    gid = root
    read only = false


    再设置rsync自动启动

    systemctl enable rsyncd.service
    systemctl start rsyncd.service



    从再退出, 返回主服务器.

    exit



    返回主服务器后
    安装lua lua-devel

    yum install lua lua-devel -y
    yum install lsyncd -y


    编辑配置lsyncd的配置文件

    vi /etc/lsyncd.conf



    参考配置文件如下

    settings {
    logfile = "/var/log/lsyncd.log", --日志路径
    statusFile = "/var/log/lsyncd.status", --状态文件
    pidfile = "/var/run/lsyncd.pid", --pid文件路径
    statusInterval = 1, --状态文件写入最短时间
    nodaemon = false, --daemon运行
    maxProcesses = 1, --最大进程
    maxDelays = 1, --最大延迟
    }
    sync {
    default.rsyncssh, --默认rsync+ssh,rsync版本需要升级3以上版本
    source = "/home/backup/", --源目录
    delete = true, --保持完全同步
    host = "[email protected]",
    targetdir = "/home/backup/", --目标目录
    exclude={ "*.tmp", "*.bak" }, --需排除的文件

    rsync = {
    binary = "/usr/bin/rsync", --需先安装好rsync
    archive = true, --归档
    compress = false, --压缩
    owner = true, --属主
    perms = true, --权限
    _extra = {"--bwlimit=5120"}, --限速5120KB/S
    whole_file = false
    },
    ssh = {
    port = 22
    }
    }




    设置开机启动并运行

    systemctl enable lsyncd.service
    systemctl start lsyncd.service



    然后去原服务器的/home/backup目录下创建一个文件看看会不会自动同步到备份服务器的/home/backup目录下

    [​IMG]

    如果无法运行, 查看状态:

    systemctl status lsyncd.service


    提示

    Error: Terminating since out of inotify watches Consider increasing
    /proc/sys/fs/inotify/max_user_watches​

    [​IMG]

    这个是超过实例可监听的最大上限, 编辑sysctl.conf文件

    vi /etc/sysctl.conf


    把监听值改大一点, 在下面添加

    fs.inotify.max_user_watches = 999999999


    再重启lsyncd服务

    sysctl -p
    systemctl restart lsyncd.service




    如果想停止服务
    主服务器

    systemctl disable lsyncd.service
    systemctl stop lsyncd.service


    备份服务器

    systemctl disable rsyncd.service
    systemctl stop rsyncd.service


    本教程参考以下链接
    https://www.jianshu.com/p/0ecac4f6baf2
    https://renwole.com/archives/1001
    https://linux.cn/article-5849-1.html
    https://github.com/axkibe/lsyncd
    https://axkibe.github.io/lsyncd/
    http://seanlook.com/2015/05/06/lsyncd-synchronize-realtime/
    https://www.stephenrlang.com/2015/12/how-to-install-and-configure-lsyncd/

    另外安装后也可以直接使用rsync手动同步

    从主服务器上同步数据到备份服务器上
    (在主服务器上操作)
    同步命令:

    rsync -avzP --delete {localDir} root@{remoteHost}:{remoteDir}​

    示例:

    rsync -avzP --delete /home/backups/ [email protected]:/tmp/



    从备份服务器上恢复数据到主服务器上
    (在主服务器上操作)
    同步命令:

    rsync -avzP --delete root@{remoteHost}:{remoteDir} {localDir}​

    参数说明:

    示例:

    rsync -avzP --delete [email protected]:/tmp/ /home/backups/


    -a 参数,相当于-rlptgoD(-r 是递归 -l 是链接文件,意思是拷贝链接文件;-p 表示保持文件原有权限;-t 保持文件原有时间;-g 保持文件原有用户组;-o 保持文件原有属主;-D 相当于块设备文件);
    -z 传输时压缩;
    -P 传输进度;
    -v 传输时的进度等信息;
    -q 不提示信息


    rsync 客户端命令参数

    -v, –verbose 详细模式输出
    -q, –quiet 精简输出模式
    -c, –checksum 打开校验开关,强制对文件传输进行校验
    -a, –archive 归档模式,表示以递归方式传输文件,并保持所有文件属性,等于-rlptgoD
    -r, –recursive 对子目录以递归模式处理
    -R, –relative 使用相对路径信息
    -b, –backup 创建备份,也就是对于目的已经存在有同样的文件名时,将老的文件重新 命名为~filename。可以使用–suffix 选项来指定不同的备份文件前缀。 –backup-dir 将备份文件(如~filename)存放在在目录下。
    -suffix=SUFFIX 定义备份文件前缀
    -u, –update 仅仅进行更新,也就是跳过所有已经存在于 DST,并且文件时间晚于要备 份的文件。(不覆盖更新的文件)
    -l, –links 保留软链结
    -L, –copy-links 想对待常规文件一样处理软链结 –copy-unsafe-links 仅仅拷贝指向 SRC 路径目录树以外的链结 –safe-links 忽略指向 SRC 路径目录树以外的链结
    -H, –hard-links 保留硬链结
    -p, –perms 保持文件权限
    -o, –owner 保持文件属主信息
    -g, –group 保持文件属组信息
    -D, –devices 保持设备文件信息
    -t, –times 保持文件时间信息
    -S, –sparse 对稀疏文件进行特殊处理以节省 DST 的空间
    -n, –dry-run 现实哪些文件将被传输
    -W, –whole-file 拷贝文件,不进行增量检测
    -x, –one-file-system 不要跨越文件系统边界
    -B, –block-size=SIZE 检验算法使用的块尺寸,默认是 700 字节
    -e, –rsh=COMMAND 指定使用 rsh、ssh 方式进行数据同步 –rsync-path=PATH 指定远程服务器上的 rsync 命令所在路径信息
    -C, –cvs-exclude 使用和 CVS 一样的方法自动忽略文件,用来排除那些不希望传输的文件 –existing 仅仅更新那些已经存在于 DST 的文件,而不备份那些新创建的文件 –delete 删除那些 DST 中 SRC 没有的文件
    –delete-excluded 同样删除接收端那些被该选项指定排除的文件 –delete-after 传输结束以后再删除
    –ignore-errors 及时出现 IO 错误也进行删除 –max-delete=NUM 最多删除 NUM 个文件 –partial
    保留那些因故没有完全传输的文件,以是加快随后的再次传输 –force 强制删除目录,即使不为空 –numeric-ids 不将数字的用户和组
    ID 匹配为用户名和组名 –timeout=TIME IP 超时时间,单位为秒
    -I, –ignore-times 不跳过那些有同样的时间和长度的文件 –size-only 当决定是否要备份文件时,仅仅察看文件大小而不考虑文件时间 –modify-window=NUM
    决定文件是否时间相同时使用的时间戳窗口,默认为 0
    -T –temp-dir=DIR 在 DIR 中创建临时文件 –compare-dest=DIR 同样比较 DIR 中的文件来决定是否需要备份
    -P 等同于 –partial –progress 显示备份过程
    -z, –compress 对备份的文件在传输时进行压缩处理 –exclude=PATTERN 指定排除不需要传输的文件模式 –include=PATTERN 指定不排除而需要传输的文件模式 –exclude-from=FILE 排除 FILE 中指定模式的文件
    –include-from=FILE 不排除 FILE 指定模式匹配的文件 –version 打印版本信息 –address
    绑定到特定的地址 –config=FILE 指定其他的配置文件,不使用默认的 rsyncd.conf 文件 –port=PORT 指定其他的
    rsync 服务端口 –blocking-io 对远程 shell 使用阻塞 IO
    -stats 给出某些文件的传输状态 –log-format=formAT 指定日志文件格式 –password-file=FILE 从 FILE 中得到密码 –bwlimit=KBPS 限制 I/O 带宽,KBytes per second
    -h, –help 显示帮助信息​

    参考
    https://yugasun.com/post/migrate-server-data-using-rsync.html
    https://www.jianshu.com/p/28ae43f500e4