細分析du和df的統計結果為什麼不一樣

今天有個人問我du和df的統計結果為什麼會不同。給他解析了一番，後來想想還是寫篇文章從原理上來分析分析。

我們常常使用du和df來獲取目錄或檔案系統已佔用空間的情況。但它們的統計結果是不一致的，大多數時候，它們的結果相差不會很大，但有時候它們的統計結果會相差非常大。

例如：

##### df的統計結果
[root@linuxidc ~]# df -hT
Filesystem          Type  Size  Used Avail Use% Mounted on
/dev/sda2          ext4    18G  1.7G  15G  11% /
tmpfs              tmpfs  491M    0  491M  0% /dev/shm
/dev/sda1          ext4  239M  68M  159M  30% /boot
//192.168.0.124/win cifs  381G  243G  138G  64% /mnt

##### du對根目錄的統計結果
[root@linuxidc ~]# du -sh /  2>/dev/null
244G    /

df中"/"的使用空間是1.7G，但是du的結果卻是244G。這裡du的統計結果大於df。

再看看對/boot分割區的統計結果。

[root@linuxidc ~]# df -hT /boot;echo;du -sh /boot
Filesystem    Type  Size  Used Avail Use% Mounted on
/dev/sda1      ext4  239M  68M  159M  30% /boot

66M    /boot

du的結果是66M，df的結果是68M，相差不大，但df的結果大於du。

 

1.檔案儲存和刪除的底層過程

這裡簡單說明下檔案系統相關的底層機制。

首先說明下檔案是怎麼儲存到檔案系統中的。假如要儲存a.txt到/tmp目錄下。

當a.txt檔案要儲存到/tmp下時：

• (1).首先從inode table中找一個空閒的inode號分配給a.txt，例如2222。再將inode map(imap)中2222這個inode號標記為已使用。
• (2).在/tmp的data block中新增一條a.txt檔案的記錄。該記錄中包括一個指向inode號的指標，例如"0x2222"。
• (3).然後從block map(bmap)中找出空閒的data block，並開始將a.txt中的資料寫入到data block中。每寫一段空間(每次分配一段空間)就從bmap中找一次空閒的data block，直到存完所有資料。
• (4).設定inode table中關於2222這條記錄的data block指標，通過該指標可以找到a.txt使用了哪些data block。

當要刪除a.txt檔案時：

• (1).在inode table中刪除指向a.txt的data block指標。這裡只要一刪除，外界就找不到a.txt的資料了。但是這個檔案還存在，只是它是被"損壞"的檔案，因為沒有任何指標指向資料塊。
• (2).在imap中將2222的inode號標記為未使用。於是這個inode號就被釋放，可以被後續的檔案重用。
• (3).刪除父目錄/tmp的data block中關於a.txt的記錄。這裡只要一刪除，外界就看不到也找不到這個檔案了。
• (4).在bmap中將a.txt占用的block標記為未使用。這裡被標記為未使用後，這些data block就可以被後續檔案覆蓋重用。

考慮一種情況，當一個檔案被刪除時，但此時還有進程在使用這個檔案，這時是怎樣的情況呢？外界是看不到也找不到這個檔案的，所以刪除的過程已經進行到了第(3)步。但進程還在使用這個檔案的資料，也能找到這個檔案的資料，是因為進程在載入這個檔案的時候就已經獲取到了該檔案佔用哪些data block，雖然刪除了檔案，但bmap中這些data block還沒有標記為未使用。

2.du統計的原理

du是通過stat命令來統計每個檔案(包括子目錄)的空間佔用總和。因為會對每個涉及到的檔案使用stat命令，所以速度較慢。

1.如果統計目錄下掛載了其他檔案系統，那麼也會對這個檔案系統進行統計。

例如"du -sh /"的時候，會統計所有分割區的檔案，包括掛載上來的。正如本文開頭統計的"/"一樣，du的結果是244G，明顯比df統計的結果大，就是因為將某個分割區掛載到了/mnt目錄下。

##### df的統計結果
[root@linuxidc ~]# df -hT
Filesystem          Type  Size  Used Avail Use% Mounted on
/dev/sda2          ext4    18G  1.7G  15G  11% /
tmpfs              tmpfs  491M    0  491M  0% /dev/shm
/dev/sda1          ext4  239M  68M  159M  30% /boot
//192.168.0.124/win cifs  381G  243G  138G  64% /mnt

##### du對根目錄的統計結果
[root@linuxidc ~]# du -sh /  2>/dev/null
244G    /

2.如果檔案被刪除，即使被其他進程參照了，du命令也無法對其統計。因為stat命令找不到這個檔案。

3.可以跨分割區統計某些你想統計的檔案大小總和。因為它們都能被stat找到並統計。

例如：

統計Linux下所有img檔案的大小。

[root@linuxidc ~]# find / -type f -name "*.img" -print0 | xargs -0 du -csh
19M    /boot/initramfs-2.6.32-504.el6.x86_64.img
13M    /mnt/linux工具/cirros-0.3.4-x86_64-disk.img
31M    total

這裡統計的兩個img檔案就是在不同分割區內的。

 

3.df統計的原理

df是讀取每個分割區的superblock來獲取空閒資料塊、已使用資料塊，從而計算出空閒空間和已使用空間，因此df統計的速度極快(superblock才佔用1024位元組)。

1.當某個檔案系統下掛載了其他分割區，df不會把這個分割區也統計進去。

這很容易理解，因為df讀取的是各自分割區的superblock，即使分割區1掛載在分割區0的目錄下，df統計分割區0的時候，也只能讀取分割區0的superblock。

例如，下面的/mnt、/boot都沒有統計在"/"中。

[root@linuxidc ~]# df -hT
Filesystem          Type  Size  Used Avail Use% Mounted on
/dev/sda2          ext4    18G  1.7G  15G  11% /
tmpfs              tmpfs  491M    0  491M  0% /dev/shm
/dev/sda1          ext4  239M  68M  159M  30% /boot
//192.168.0.124/win cifs  381G  243G  138G  64% /mnt

2.由於df每次統計都是讀取superblock，所以df對檔案系統中的某個檔案進行統計時，會自動轉為統計這個檔案系統的資訊。

[root@linuxidc ~]# df -hT /etc/fstab
Filesystem    Type  Size  Used Avail Use% Mounted on
/dev/sda2      ext4  18G  1.7G  15G  11% /

3.df會統計已刪除但卻仍有進程參照的檔案。

正常情況下，刪除檔案會立刻釋放相關指標，並將imap和bmap中相關的點陣圖標記為未使用。bmap只要一改變，檔案系統立刻就能知道每個塊組中哪些資料塊是空閒的，哪些資料塊是被使用的，這些資訊都會更新到分割區的superblock中。於是df能立刻統計到實時的空間資訊。

但是當一個檔案被刪除時，如果還有進程在參照這個檔案，根據前文的分析，bmap中不會將這個檔案的data block標記為未使用，也就不會將資料塊的使用情況更新到superblock中。由於df是根據superblock中空閒和使用資料塊的數量來計算空閒空間和已使用空間的，所以df統計的時候會將這個已被"刪除"的檔案統計到已使用空間中。

例如，建立一個較大一點的檔案放在"/"目錄下，併du和df統計根目錄的已使用空間。

[root@linuxidc ~]# dd if=/dev/zero of=/my.iso bs=1M count=1000

[root@linuxidc ~]# df -hT /
Filesystem    Type  Size  Used Avail Use% Mounted on
/dev/sda2      ext4  18G  2.7G  14G  17% /

[root@linuxidc ~]# du -sh --exclude="/mnt" / 2>/dev/null
2.7G    /

它們在GB級的單位上是相等的。

現在使用一個進程來參照這個檔案，然後刪除這個檔案，再du和df統計。

[root@linuxidc ~]# tail -f /my.iso &

[root@linuxidc ~]# rm -rf /my.iso
[root@linuxidc ~]# ls /my.iso
ls: cannot access /my.iso: No such file or directory

[root@linuxidc ~]# du -sh --exclude="/mnt" / 2>/dev/null
1.8G    /

[root@linuxidc ~]# df -hT /
Filesystem    Type  Size  Used Avail Use% Mounted on
/dev/sda2      ext4  18G  2.7G  14G  17% /

可以發現，外界已經獲取不到my.iso檔案了，所以du無法統計這個檔案。而df卻將該檔案大小統計進去了，因為my.iso占用的data block還未被標記為未使用。

再關掉tail進程，然後df再統計空間，結果將和du一樣顯示為正常的大小。

[root@linuxidc ~]# jobs
[1]+  Running                tail -f /my.iso &
[root@linuxidc ~]# kill %1

[root@linuxidc ~]# df -hT /
Filesystem    Type  Size  Used Avail Use% Mounted on
/dev/sda2      ext4  18G  1.7G  15G  11% /

如果不知道檔案系統中哪些已被刪除，但卻還被進程參照的檔案，可以使用lsof來獲取。通過它還能獲取到檔案的大小，看看到底是哪個檔案在"占著茅坑以及占了多少茅坑"。

例如，關掉tail進程前，使用lsof檢視。可以看到tail進程佔用了/my.iso，且這個檔案的大小為1048576000位元組。

[root@linuxidc ~]# lsof | grep deleted 
php-fpm  12597      root  txt    REG  8,2    4058416  931143 /usr/sbin/php-fpm (deleted)
php-fpm  12657    nobody  txt    REG  8,2    4058416  931143 /usr/sbin/php-fpm (deleted)
php-fpm  12707    nobody  txt    REG  8,2    4058416  931143 /usr/sbin/php-fpm (deleted)
php-fpm  12708    nobody  txt    REG  8,2    4058416  931143 /usr/sbin/php-fpm (deleted)
tail      14437      root    3r    REG  8,2 1048576000    7171 /my.iso (deleted)

經過上面的分析，想必對du和df的結果不會再有任何疑惑了吧。

本文永久更新連結地址：https://www.linuxidc.com/Linux/2018-03/1516600.htm