Linux Wget 命令詳解

2020-06-16 17:12:09

Wget

背景

Linux系統中的 wget 是一個下載檔案的工具，它用在命令列下。對於linux使用者是必不可少的工具，我們經常要下載一些軟體或從遠端伺服器恢復備份到本地伺服器。wget支援HTTP，HTTPS和FTP協定，可以使用HTTP代理。所謂的自動下載是指，wget可以在使用者退出系統的之後在後台執行。這意味這你可以登入系統，啟動一個wget下載任務，然後退出系統，wget將在後台執行直到任務完成，相對於其它大部分瀏覽器在下載大量資料時需要使用者一直的參與，這省去了極大的麻煩。

wget 可以跟蹤HTML頁面上的連結依次下載來建立遠端伺服器的本地版本，完全重建原始站點的目錄結構。這又常被稱作”遞回下載”。在遞回下載的時候，wget 遵循Robot Exclusion標準(/robots.txt). wget可以在下載的同時，將連結轉換成指向本地檔案，以方便離線瀏覽。

wget 非常穩定，它在頻寬很窄的情況下和不穩定網路中有很強的適應性.如果是由於網路的原因下載失敗，wget會不斷的嘗試，直到整個檔案下載完畢。如果是伺服器打斷下載過程，它會再次聯到伺服器上從停止的地方繼續下載。這對從那些限定了連結時間的伺服器上下載大檔案非常有用。

命令格式：

wget [引數] [URL地址]

命令功能：

用於從網路上下載資源，沒有指定目錄，下載資源回預設為當前目錄。wget雖然功能強大，但是使用起來還是比較簡單：

支援斷點下傳功能；這一點，也是網路螞蟻和FlashGet當年最大的賣點，現在，Wget也可以使用此功能，那些網路不是太好的使用者可以放心了；
同時支援FTP和HTTP下載方式；儘管現在大部分軟體可以使用HTTP方式下載，但是，有些時候，仍然需要使用FTP方式下載軟體；
支援代理伺服器；對安全強度很高的系統而言，一般不會將自己的系統直接暴露在網際網路上，所以，支援代理是下載軟體必須有的功能；
設定方便簡單；可能，習慣圖形介面的使用者已經不是太習慣命令列了，但是，命令列在設定上其實有更多的優點，最少，滑鼠可以少點很多次，也不要擔心是否錯點滑鼠；
程式小，完全免費；程式小可以考慮不計，因為現在的硬碟實在太大了；完全免費就不得不考慮了，即使網路上有很多所謂的免費軟體，但是，這些軟體的廣告卻不是我們喜歡的。

命令引數：

啟動引數：

引數	詳解
-V, –version	顯示wget的版本後退出
-h, –help	列印語法幫助
-b, –background	啟動後轉入後台執行
-e, –execute=COMMAND	執行`.wgetrc’格式的命令，wgetrc格式參見/etc/wgetrc或~/.wgetrc

記錄和輸入檔案引數：

引數	詳解
-o, –output-file=FILE	把記錄寫到FILE檔案中
-a, –append-output=FILE	把記錄追加到FILE檔案中
-d, –debug	列印偵錯輸出
-q, –quiet	安靜模式(沒有輸出)
-v, –verbose	冗長模式(這是預設設定)
-nv, –non-verbose	關掉冗長模式，但不是安靜模式
-i, –input-file=FILE	下載在FILE檔案中出現的URLs
-F, –force-html	把輸入檔案當作HTML格式檔案對待
-B, –base=URL	將URL作為在-F -i引數指定的檔案中出現的相對連結的字首
–sslcertfile=FILE	可選用戶端證書
–sslcertkey=KEYFILE	可選用戶端證書的KEYFILE
–egd-file=FILE	指定EGD socket的檔名

下載引數：

引數	詳解
–bind-address=ADDRESS	指定本地使用地址(主機名或IP，當本地有多個IP或名字時使用)
-t, –tries=NUMBER	設定最大嘗試連結次數(0 表示無限制).
-O –output-document=FILE	把文件寫到FILE檔案中
-nc, –no-clobber	不要覆蓋存在的檔案或使用.#字首
-c, –continue	接著下載沒下載完的檔案
–progress=TYPE	設定進程條標記
-N, –timestamping	不要重新下載檔案除非比本地檔案新
-S, –server-response	列印伺服器的回應
–spider	不下載任何東西
-T, –timeout=SECONDS	設定響應超時的秒數
-w, –wait=SECONDS	兩次嘗試之間間隔SECONDS秒
–waitretry=SECONDS	在重新連結之間等待1…SECONDS秒
–random-wait	在下載之間等待0…2*WAIT秒
-Y, –proxy=on/off	開啟或關閉代理
-Q, –quota=NUMBER	設定下載的容量限制
–limit-rate=RATE	限定下載輸率

目錄引數：

引數	詳解
-nd –no-directories	不建立目錄
-x, –force-directories	強制建立目錄
-nH, –no-host-directories	不建立主機目錄
-P, –directory-prefix=PREFIX	將檔案儲存到目錄 PREFIX/…
–cut-dirs=NUMBER	忽略 NUMBER層遠端目錄

HTTP 選項引數：

引數	詳解
–http-user=USER	設定HTTP使用者名稱為 USER.
–http-passwd=PASS	設定http密碼為 PASS
-C, –cache=on/off	允許/不允許伺服器端的資料快取 (一般情況下允許)
-E, –html-extension	將所有text/html文件以.html擴充套件名儲存
–ignore-length	忽略 `Content-Length’頭域
–header=STRING	在headers中插入字串 STRING
–proxy-user=USER	設定代理的使用者名稱為 USER
–proxy-passwd=PASS	設定代理的密碼為 PASS
–referer=URL	在HTTP請求中包含 `Referer: URL’頭
-s, –save-headers	儲存HTTP頭到檔案
-U, –user-agent=AGENT	設定代理的名稱為 AGENT而不是 Wget/VERSION
–no-http-keep-alive	關閉 HTTP活動連結 (永遠連結)
–cookies=off	不使用 cookies
–load-cookies=FILE	在開始對談前從檔案 FILE中載入cookie
–save-cookies=FILE	在對談結束後將 cookies儲存到 FILE檔案中

FTP 選項引數：

引數	詳解
-nr, –dont-remove-listing	不移走 `.listing’檔案
-g, –glob=on/off	開啟或關閉檔名的 globbing機制
–passive-ftp	使用被動傳輸模式 (預設值).
–active-ftp	使用主動傳輸模式
–retr-symlinks	在遞回的時候，將連結指向檔案(而不是目錄)

遞回下載引數：

引數	詳解
-r, –recursive	遞回下載－－慎用!
-l, –level=NUMBER	最大遞迴深度 (inf 或 0 代表無窮)
–delete-after	在現在完畢後區域性刪除檔案
-k, –convert-links	轉換非相對連結為相對連結
-K, –backup-converted	在轉換檔案X之前，將之備份為 X.orig
-m, –mirror	等價於 -r -N -l inf -nr
-p, –page-requisites	下載顯示HTML檔案的所有圖片

遞回下載中的包含和不包含(accept/reject)：

引數	詳解
-A, –accept=LIST	分號分隔的被接受擴充套件名的列表
-R, –reject=LIST	分號分隔的不被接受的擴充套件名的列表
-D, –domains=LIST	分號分隔的被接受域的列表
–exclude-domains=LIST	分號分隔的不被接受的域的列表
–follow-ftp	跟蹤HTML文件中的FTP連結
–follow-tags=LIST	分號分隔的被跟蹤的HTML標籤的列表
-G, –ignore-tags=LIST	分號分隔的被忽略的HTML標籤的列表
-H, –span-hosts	當遞回時轉到外部主機
-L, –relative	僅僅跟蹤相對連結
-I, –include-directories=LIST	允許目錄的列表
-X, –exclude-directories=LIST	不被包含目錄的列表
-np, –no-parent	不要追溯到父目錄
wget -S –spider url	不下載只顯示過程