rsync结合inotify同步海量文件的疑问


对于rsync的同步始终存在一个疑问,假如我的文件数即使在排除不监控和不同步目录的情况下依然有10万个文件,仅文件列表就达10M,那么岂不是每一次有文件产生或修改都会触发同步,很容易导致大部分情况下在传输文件列表和进行列表的比对,仅同步一个小文件而使用的网络带宽和CPU代价很高,特别是网络状况不佳时,上一次的列表还未传送完,又有新的文件产生触发发送文件列表。不知道rsync内部有没有这样的处理?

rsync inotify-tools

修女修女修女 10 years, 4 months ago

inotify+rsync 确实存在你描述的问题。修改任意文件都会触发rsync操作,可能存在上次还没rsync完,第二个rsync又来了。
rsync本身仅仅是关心同步文件,并不关心自己进程以外的事情。
建议试一试lrsync或lsyncd之类的工具,但是我没自己使用过。

十六夜朧月 answered 10 years, 4 months ago

Your Answer