Proxmox超融合叢集掛接nfs出錯刪除掛接點操作備忘

4節點proxmox生產環境，由於在做nfs共用時，為考慮仔細，存在多個pve（叢集和單機）備份時，相同虛擬機器ID同時備份到此nfs共用目錄的情況，為了區別，需要把共用點進行分離。

[root@localhost pve_dump]# more /etc/exports
/data/db_bk  172.16.98.0/24(rw,all_squash,anonuid=500,anongid=500)
/data/pve_dump  172.16.98.0/24(rw,all_squash,anonuid=500,anongid=500)

這是原nfs設定，優化以後，如下所示：

[root@localhost pve_dump]# more /etc/exports
/data/db_bk  172.16.98.0/24(rw,all_squash,anonuid=500,anongid=500)
/data/pve_dump/pve_cluster  172.16.98.0/24(rw,all_squash,anonuid=500,anongid=500)
/data/pve_dump/pve_150  172.16.98.0/24(rw,all_squash,anonuid=500,anongid=500)
/data/pve_dump/pve_151  172.16.98.0/24(rw,all_squash,anonuid=500,anongid=500)

不同的proxmox掛接不同的共用目錄，就不會引起混淆了。

不幸的是，掛接的時候，在proxmox web管理介面輸入了兩次同樣的掛接ID，導致掛接失敗。然後重新改一個名詞，掛接成功。但登入proxmox宿主系統debian9，檢視目錄/mnt/pve，發現有不正常的掛接目錄（沒掛上，但ls -al 顯示若干問號）。感覺不爽，企圖用rm刪除，無法執行，再用mv指令，還是不行。一氣之下，重新啟動了proxmox叢集的某個物理伺服器，起來後看看是否能刪除。

還好，系統起來後，那兩個曾經異常的目錄，用rm可以直接刪除了。

但我不能把proxmox叢集的伺服器全部重新啟動一遍，畢竟是生產環境。不過從上邊的操作可知，這種目錄是可以刪掉的。怎麼下手呢？根據刪除操作輸出的提示“cannot stat 'backup156': Stale file handle”。這個提示大概意思是，檔案控制代碼還處於開啟狀態。

root@pve10:~# ls -al /mnt/pve/
ls: cannot access '/mnt/pve/nfs156backup': Stale file handle
ls: cannot access '/mnt/pve/backup156': Stale file handle
total 16
drwxr-xr-x 6 root root 4096 Jan 12 23:26 .
drwxr-xr-x 3 root root 4096 Dec 19 22:45 ..
d????????? ? ?    ?      ?            ? backup156
drwxr-xr-x 6  500  500 4096 Jan  5 16:09 nfs155
drwxr-xr-x 4  500  500 4096 Jan 29  2015 nfs156
d????????? ? ?    ?      ?            ? nfs156backup

試試umount該目錄。

root@pve20:/mnt/pve# umount backup156
root@pve20:/mnt/pve# umount nfs156backup

執行成功，再看看屬性：

root@pve20:/mnt/pve# ls -al
total 24
drwxr-xr-x 6 root root 4096 Jan 12 23:26 .
drwxr-xr-x 3 root root 4096 Dec 19 22:45 ..
drwxr-xr-x 2 root root 4096 Dec 28 19:09 backup156
drwxr-xr-x 6  500  500 4096 Jan  5 16:09 nfs155
drwxr-xr-x 4  500  500 4096 Jan 29  2015 nfs156
drwxr-xr-x 2 root root 4096 Jan 12 23:16 nfs156backup

問號沒有了，執行刪除。

root@pve10:/mnt/pve# rm -rf backup156/  nfs156backup/
root@pve10:/mnt/pve# ls -al
total 20
drwxr-xr-x 5 root root 4096 Jan 12 23:42 .
drwxr-xr-x 3 root root 4096 Dec 19 22:45 ..
drwxr-xr-x 2 root root 4096 Jan 12 23:40 del
drwxr-xr-x 6  500  500 4096 Jan  5 16:09 nfs155
drwxr-xr-x 4  500  500 4096 Jan 29  2015 nfs156

問題解決！