Linux後台開發之IO緩衝區管理

Linux系統IO中write原型為  ssize_t write(int  filedes, const void * buff, size_t nbytes) ;

當呼叫write寫資料的時候，呼叫完成後write直接返回，但是磁碟是個慢速裝置，作業系統會將資料儲存在核心中的緩衝區中，並負責非同步地將資料寫至磁碟。當然如果此時系統宕機了則會丟失資料。write是系統呼叫，每次呼叫都會陷入核心，所以選取一個合適的塊長度buffsize，並盡量減少它的呼叫可以優化效率。在ANSI C的標準IO中我們呼叫printf/fprintf/fputs等會以流的方式進行處理，我們只需要寫入流中，而不用像write一樣選擇一個buffsize，因為標準IO庫幫我們處理了很多細節，例如緩衝區分配，以優化長度執行IO等。這樣的話就會減少wirte/read系統呼叫的數量，提高效率。但是與此同時會引入另外一個問題：資料拷貝，例如當使用函數fgets和fputs時，通常需要經過兩次緩衝區：一次是標準IO緩衝區，還有一次是呼叫read和write的核心緩衝區。但是總的來說使用標準IO相對於系統IO來說介面簡單，且效率相當。

標準IO提供了三種型別的緩衝區：全快取，行快取和不帶快取，全快取只有在緩衝區滿時才會主動flush，通常用在對一個磁碟檔案IO。行快取在緩衝區中遇到換行符就會flush，還有一種情況是需要從標準輸入輸出得到輸入資料時也會flush緩衝區，行快取一般用在互動的終端中。不帶快取則相當於直接 write系統呼叫輸出，標準出錯流stderr通常是不帶快取的，這就使得出錯資訊可以盡快顯示出來。除了預設的flush條件外，顯式呼叫fflush函數和程式正常終止時也會flush緩衝區。我們可以使用setbuf/setvbuf來更改預設的緩衝區長度，參見APUE 5.4節。

在使用標準IO的程式中，當我們將一個標準輸出重新定向到一個檔案時，會將行快取變為全快取，在某些情況下可能會導致一些非預期錯誤，比如呼叫printf(“*****n”)時，當以互動方式執行該程式時，會正常輸出。但是當將標準輸出重新定向到一個檔案時，緩衝區區變為全快取，printf就不會正常輸出，該行資料仍在緩衝區中。如果此時再fork一個子進程，資料空間被複製到子進程中時，該緩衝區資料也被複製到子進程中。接著在子進程中如果輸出則會重新整理之前在緩衝區的內容，產生一些非預期的輸出。

在網路程式設計中，應該直接使用系統IO，標準IO為提升效能而引入緩衝機制增加了網路應用程式的複雜性。並且，某種意義上說標準IO流是全雙工的，能同時執行輸入和輸出，然而對流的限制和對通訊端的限制，有時候會互相衝突。(參見CSAPP P611)

某些高階的網路庫中（比如說muduo庫）在使用系統IO的基礎上會建立自己的緩衝區，幫助使用者遮蔽系統IO的某些不便，例如呼叫write傳送大量資料的時候，傳送緩衝區滿時需要應用層等待，read接收資料的時候黏包和資料接受的緩慢。當增加應用層緩衝區後，由網路庫處理這些實現細節，簡化使用者操作。

Linux還提供了零拷貝技術來減少記憶體拷貝，進而提升效率，我們知道利用read/write從磁碟傳送資料到網絡卡會經過四次拷貝操作：當應用程式需要存取某塊資料的時候，作業系統核心會先檢查這塊資料是不是因為前一次對相同檔案的存取而已經被存放在作業系統核心地址空間的緩衝區內，如果在核心緩衝區中找不到這塊資料，Linux 作業系統核心會先將這塊資料從磁碟讀出來放到作業系統核心的緩衝區裡。如果這個資料讀取操作是由 DMA 完成的，那麼在 DMA 進行資料讀取的這一過程中，CPU 只需要進行緩衝區管理，以及建立和處理 DMA ，除此之外，CPU 不需要再做更多的事情，DMA 執行完資料讀取操作之後，會通知作業系統做進一步的處理。Linux 作業系統會根據 read系統呼叫指定的應用程式地址空間的地址，把這塊資料存放到請求這塊資料的應用程式的地址空間中去，待使用者對資料完成操作後，作業系統需要將資料再一次從使用者應用程式地址空間的緩衝區拷貝到與網路堆疊相關的核心緩衝區中去，這個過程也是需要佔用 CPU 的。資料拷貝操作結束以後，資料會被打包，然後傳送到網路介面卡上去。從上面的描述可以看出，在這種傳統的資料傳輸過程中，資料至少發生了四次拷貝操作，即便是使用了 DMA 來進行與硬體的通訊，CPU 仍然需要存取資料兩次。

(ps：記得之前看過一個面試題說是printf輸出過程經過幾次緩衝區，現在大家明白了吧！)

使用零拷貝技術可以避免資料在系統核心地址空間的緩衝區和使用者應用程式地址空間的緩衝區進行拷貝。有時候，應用程式在資料傳輸的過程中不需要對資料進行存取，傳輸的資料可以不用複製到使用者應用區，直接通過核心傳送到網絡卡就可以，這樣可以提高效能，而此時就需要零拷貝技術。linux下可以用mmap，sendfile，splice實現零拷貝。具體參見  Linux 中的零拷貝技術 http://www.linuxidc.com/Linux/2017-06/144655.htm 。

本文永久更新連結地址：http://www.linuxidc.com/Linux/2017-06/144654.htm