記：十萬火急！線上服務突然不可用了，附解決過程

2021-05-16 09:30:01

今天來分享一波實戰，線上問題處理。話不多說，直接開幹。

下面是線上機器的cpu使用率，可以看到從4月8日開始，隨著時間cpu使用率在逐步增高，最終使用率達到100%導致線上服務不可用，後面重啟了機器後恢復。

1、排查思路

簡單分析下可能出問題的地方，分為5個方向：

系統本身程式碼問題內部下游系統的問題導致的雪崩效應上游系統呼叫量突增http請求第三方的問題機器本身的問題

2、開始排查

檢視日誌，沒有發現集中的錯誤日誌，初步排除程式碼邏輯處理錯誤。首先聯絡了內部下游系統觀察了他們的監控，發現一起正常。可以排除下游系統故障對我們的影響。檢視provider介面的呼叫量，對比7天沒有突增，排除業務方呼叫量的問題。檢視tcp監控，TCP狀態正常，可以排除是http請求第三方超時帶來的問題。檢視機器監控，6臺機器cpu都在上升，每個機器情況一樣。排除機器故障問題。即通過上述方法沒有直接定位到問題。

3、解決方案

1、重啟了6臺中問題比較嚴重的5臺機器，先恢復業務。保留一臺現場，用來分析問題。

2、檢視當前的tomcat執行緒pid。

3、檢視該pid下執行緒對應的系統佔用情況。top -Hp 384

4、發現pid 4430443144324433 執行緒分別佔用了約40%的cpu

5、將這幾個pid轉為16進位制，分別為114e114f11501151

6、下載當前的java執行緒棧 sudo -u tomcat jstack -l 384>/1.txt

7、查詢5中對應的執行緒情況，發現都是gc執行緒導致的

8、dump java堆資料

sudo -u tomcat jmap -dump:live,format=b,file=/dump201612271310.dat 384

9、使用MAT載入堆檔案，可以看到javax.crypto.JceSecurity物件佔用了95%的記憶體空間，初步定位到問題。

面試專欄：第1-20期文章彙總