linux使用rsync進行文件同步
> 使用rsync從服務器同步數據,這里只說如何單向同步
首先安裝rsync
# 服務器端配置
服務器使用 `xinetd` 來充當`rsync`的守護程序,沒有的話就安裝
> xinetd專門監聽某個設定的端口,然后fork出配置好的端口對應的服務程序,再繼續監聽
## 1. 配置rsync的xinetd配置文件:
# nano /etc/xinetd.d/rsync
service rsync
{
disable = no
flags = IPv4
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}
## 2.配置rsync自動啟動
# chkconfig rsync on
## 3.配置rsync
# nano /etc/rsyncd.conf
uid=root #運行RSYNC守護進程的用戶
gid=root #運行RSYNC守護進程的組
use chroot=no #不使用chroot
max connections=0 #最大連接數,0不限制
strict modes=yes #是否對密碼文件進行權限檢查,yes的話,其他用戶都不能訪問密碼文件
prot=873 #監聽端口
pid file=/var/run/rsyncd.pid
lock file=/var/run/rsync.lock
log file=/var/log/rsyncd.log
#備份模塊
[backup]
path=/opt/backup
comment=backup files
auth users=backupuser #允許訪問的用戶,必須是密碼文件中的
uid=root
gid=root
secrets file=/etc/rsyncd.secret # 密碼文件
read only=no
list=no
## 4.確認一下`/etc/services`中的rsync端口號是否和它配置文件中的一樣
# less /etc/services
...
rsync 873/tcp # rsync
rsync 873/udp # rsync
....
## 5.配置密碼文件
# nano /etc/rsyncd.secret
# 格式為用戶名:密碼
backupuser:passwd
改變密碼文件權限
# chmod 400 /etc/rsyncd.secret
## 6.啟用`xinetd`
# /etc/init.d/xinetd restart
然后檢查一下看是否正常啟動:
# lsof -i :873
COMMAND PID USER FD TYPE DEVICE SIZE NODE NAME
xinetd 4396 root 5u IPv4 633387 TCP *:rsync (LISTEN)
# 客戶端配置
客戶端只需要安裝有`rsync`即可
## 1.配置密碼文件
# nano /etc/rsyncd.secret
# 只需要密碼
passwd
設置好權限
# chmod 600 /etc/rsyncd.secret
## 2.從服務器同步
# rsync -avz --password-file=/etc/rsyncd.secret backupuser@192.168.1.2::backupuser /opt/backup/
# 小結
可以在客戶端把同步腳本放到corntab里來定時同步數據
## 常用的全局選項
**motd file**:設定歡迎消息
**pid file**:該選項告訴daemon把它的進程ID寫入指定文件。如果文件已經存在,daemon會中止運行,而不是覆蓋原文件。
**port**:設定daemon運行監聽的端口。如果daemon是由inetd運行,該選項將被忽略;如果命令行中已經指定--port,該選項將被取代。
**address**:設定rsync daemon運行時監聽的地址。同上,如果daemon由inetd運行或命令行中已經指定了--port,該選項將被忽略或取代。
## 模塊參數
**path**:設定該模塊的目錄位置
**use chroot**:指定是否使用chroot,值為yes或no,我推薦no
**max connections**:該參數設定了daemon允許每個client發起的最大連接數。超過最大連接數,client會收到警告信息,值為0表示不限制,值為負數表示禁用該模塊
**lock file**:該參數用來支持max connection,它指定一個文件來記錄client的請求,以確保client的請求不會突破最大連接數
**log file**:設定該模塊的log文件的位置,如果此參數未設定,或rsync daemon讀取指定文件失敗,rsync會使用syslog記錄日志;如果此參數只在每個模塊中設定,而未在全局中設定,則全局日志將只記錄授權失敗或配置文件錯誤的消息
**read only**:設定是否允許客戶端上傳文件,默認為yes,不允許上傳文件
**write only**:設定是否允許客戶端下載文件,默認為no,允許下載文件(有點拗口)
**list**:設定該模塊是否允許被列出,有點類似于samba的browseable,默認為yes,我們可以把它設定為no,來創建一個隱藏模塊
**uid**:當rsync daemon以root用戶運行時,此參數指定了,向該模塊傳輸文件,或從該模塊傳輸文件時的用戶身份(用戶名或用戶ID),默認為-2,即nobody用戶
**gid**:意義類似于uid,默認為-2,即nobody組
**incoming chmod**:這個參數允許你指定多個以逗號分隔的權限字符,這些權限會影響所有daemon收到的文件。這些權限會在其它所有權限之后生效,這意味著,如果客戶端沒有指定--perms,它們會覆蓋掉目標默認和(以及或)已經存在的權限。
**auth users**:這個參數指定了允許訪問該模塊的用戶列表,列表中的用戶名以逗號和空格分隔。指定用戶可以不必真實存在于本地系統,用戶名中也可以包含shell通配符。純文本的用戶名和密碼存儲在由”secrets file”參數指定的文件中。
**secrets file**:該參數指定一個密碼文件,用于該模塊的授權驗證。只有當指定了”auth users”參數時,這個文件才會被考慮。密碼可以包含任何字符,最好不要超過8個字符。該參數沒有默認值,你必須手動創建一個密碼文件,而且該文件不應該被其它用戶訪問。
**strict modes**:該參數決定了是否對密碼文件進行權限檢查。如果值為yes,除了運行rsync daemon的用戶外,其它用戶均不能訪問該文件。默認值為yes。
**fake super**:如果該模塊設置成fake super = yes,跟在命令行中指定了--fake-super效果一樣。它不需要daemon以root運行,就可以存儲文件的完整屬性。
**hosts allow**:簡單的說,該參數指定了允許訪問該模塊的客戶端名稱或IP。可以指定一個具體的IP,或配合掩碼指定一個IP段。當hosts allow和hosts deny同時指定的時候,先檢查hosts allow,匹配的客戶端將被允許訪問該模塊;然后檢查hosts deny,匹配的客戶端將被拒絕;既不匹配hosts allow又不匹配hosts deny的客戶端將被允許訪問。
**hosts deny**:該參數指定的客戶端均不允許訪問該模塊。
**ignore errors**:如果該參數被指定,在進行傳輸中的刪除操作時,rsync將忽略掉daemon的I/O錯誤。通常情況下,如果發生任何I/O錯誤,rsync將忽略掉--delete操作,以防止由于臨時資源短缺或其它I/O錯誤而導致的災難性(文件)丟失。
**timeout**:rsync的超時設置,防止客戶端的死連接,單位為秒。默認值為0,意味著沒有超時定義。
**dont compress**:此選項允許指定一些基于通配符模式的文件名,當從daemon拉文件時,這些文件將不會被壓縮。選項接受一個以空格分隔的,大小寫敏感的通配符模式列表。類似于命令行中的--skip-compress=LIST,并且會覆蓋命令中的參數。
**filter**:該參數接受一個由空格分開的daemon過濾規則列表,每個模塊只接受一個filter參數,所以要把所有規則寫入一個filter參數中。可以使用正常語法把一個或多個merge-file指定成一條規則。
**exclude**:該參數接收一個以空格分隔的daemon排除規則的列表,像客戶端的--exclude選項一樣,它使用”-“或”+”來指明排除或包含。一個模塊中只能有一個exclude參數。
**include**:該參數可以覆蓋掉exclude的效果。一個模塊中只能有一個include參數。
**exclude from**:該參數指定了一個daemon上的文件,用來包含daemon的排除規則,每行一條(規則)。每個模塊中只能有一個exclude from參數,如果有多個exclude-from文件,可以在filter參數中把它們看成成一個merge file。
**include from**:類似于exclude from。
## rsync 命令參數
**-v**, --verbose 詳細模式輸出
**-q**, --quiet 精簡輸出模式
**-c**, --checksum 打開校驗開關,強制對文件傳輸進行校驗
**-a**, --archive 歸檔模式,表示以遞歸方式傳輸文件,并保持所有文件屬性,等于-rlptgoD
**-r**, --recursive 對子目錄以遞歸模式處理
**-R**, --relative 使用相對路徑信息
**-b**, --backup 創建備份,也就是對于目的已經存在有同樣的文件名時,將老的文件重新命名為~filename。可以使用--suffix選項來指定不同的備份文件前綴。
**--backup-dir** 將備份文件(如~filename)存放在在目錄下。
**-suffix=SUFFIX** 定義備份文件前綴
**-u**, --update 僅僅進行更新,也就是跳過所有已經存在于DST,并且文件時間晚于要備份的文件。(不覆蓋更新的文件)
**-l**, --links 保留軟鏈結
**-L**, --copy-links 想對待常規文件一樣處理軟鏈結
**--copy-unsafe-links** 僅僅拷貝指向SRC路徑目錄樹以外的鏈結
**--safe-links** 忽略指向SRC路徑目錄樹以外的鏈結
**-H**, --hard-links 保留硬鏈結
**-p**, --perms 保持文件權限
**-o**, --owner 保持文件屬主信息
**-g**, --group 保持文件屬組信息
**-D**, --devices 保持設備文件信息
**-t**, --times 保持文件時間信息
**-S**, --sparse 對稀疏文件進行特殊處理以節省DST的空間
**-n**, --dry-run現實哪些文件將被傳輸
**-W**, --whole-file 拷貝文件,不進行增量檢測
**-x**, --one-file-system 不要跨越文件系統邊界
**-B**, --block-size=SIZE 檢驗算法使用的塊尺寸,默認是700字節
**-e**, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步
**--rsync-path=PATH** 指定遠程服務器上的rsync命令所在路徑信息
**-C**, --cvs-exclude 使用和CVS一樣的方法自動忽略文件,用來排除那些不希望傳輸的文件
**--existing** 僅僅更新那些已經存在于DST的文件,而不備份那些新創建的文件
**--delete** 刪除那些DST中SRC沒有的文件
**--delete-excluded** 同樣刪除接收端那些被該選項指定排除的文件
**--delete-after** 傳輸結束以后再刪除
**--ignore-errors** 及時出現IO錯誤也進行刪除
**--max-delete=NUM** 最多刪除NUM個文件
**--partial** 保留那些因故沒有完全傳輸的文件,以是加快隨后的再次傳輸
**--force** 強制刪除目錄,即使不為空
**--numeric-ids** 不將數字的用戶和組ID匹配為用戶名和組名
**--timeout=TIME** IP超時時間,單位為秒
**-I**, --ignore-times 不跳過那些有同樣的時間和長度的文件
**--size-only** 當決定是否要備份文件時,僅僅察看文件大小而不考慮文件時間
**--modify-window=NUM** 決定文件是否時間相同時使用的時間戳窗口,默認為0
**-T** --temp-dir=DIR 在DIR中創建臨時文件
**--compare-dest=DIR** 同樣比較DIR中的文件來決定是否需要備份
**-P** 等同于 --partial
**--progress** 顯示備份過程
**-z**, --compress 對備份的文件在傳輸時進行壓縮處理
**--exclude=PATTERN** 指定排除不需要傳輸的文件模式
**--include=PATTERN** 指定不排除而需要傳輸的文件模式
**--exclude-from=FILE** 排除FILE中指定模式的文件
**--include-from=FILE** 不排除FILE指定模式匹配的文件
**--version** 打印版本信息
**--address** 綁定到特定的地址
**--config=FILE** 指定其他的配置文件,不使用默認的rsyncd.conf文件
**--port=PORT** 指定其他的rsync服務端口
**--blocking-io** 對遠程shell使用阻塞IO
**-stats** 給出某些文件的傳輸狀態
**--progress** 在傳輸時現實傳輸過程
**--log-format=formAT** 指定日志文件格式
**--password-file=FILE** 從FILE中得到密碼
**--bwlimit=KBPS** 限制I/O帶寬,KBytes per second
**-h**, --help 顯示幫助信息
浙公網安備 33010602011771號