使用OpenCV對運動員的姿勢進行檢測功能實現

2022-02-08 13:01:23

人體姿勢估計是計算機視覺領域的重要問題。它的演演算法有助於定位手腕，腳踝，膝蓋等部位。這樣做是為了使用深度學習和折積神經網路的概念提供個性化的運動訓練體驗。特別是對於體育活動而言，訓練質量在很大程度上取決於影象或視訊序列中人體姿勢的正確性。

從影象或視訊序列中檢測運動員的姿勢

資料集

正確選擇資料集以對結果產生適當影響也是非常必要的。在此姿勢檢測中，模型在兩個不同的資料集即COCO關鍵點資料集和MPII人類姿勢資料集上進行了預訓練。

1. COCO：COCO關鍵點資料集是一個多人2D姿勢估計資料集，其中包含從Flickr收集的影象。迄今為止，COCO是最大的2D姿勢估計資料集，並被視為測試2D姿勢估計演演算法的基準。COCO模型有18種分類。COCO輸出格式：鼻子— 0，脖子—1，右肩—2，右肘—3，右手腕—4，左肩—5，左手肘—6，左手腕—7，右臀部—8，右膝蓋—9，右腳踝—10，左臀部—11，左膝—12，左腳踝—13，右眼—14，左眼—15，右耳—16，左耳—17，背景—18

2. MPII：MPII人體姿勢資料集是一個多人2D姿勢估計資料集，包含從Youtube視訊中收集的近500種不同的人類活動。MPII是第一個包含各種姿勢範圍的資料集，也是第一個在2014年發起2D姿勢估計挑戰的資料集。MPII模型輸出15分。MPII輸出格式：頭—0，脖子—1，右肩—2，右肘—3，右腕—4，左肩—5，左肘—6，左腕—7，右臀部—8，右膝蓋—9，右腳踝—10，左臀部—11，左膝蓋—12，左腳踝—13，胸部—14，背景—15

這些點是在對資料集進行處理並通過折積神經網路（CNN）進行全面訓練時生成的。

具體步驟

步驟1：需求收集（模型權重）和負載網路

訓練有素的模型需要載入到OpenCV中。這些模型在Caffe深度學習框架上進行了訓練。Caffe模型包含兩個檔案，即.prototxt檔案和.caffemodel檔案。

.prototxt檔案指定了神經網路的體系結構。
.caffemodel檔案儲存訓練後的模型的權重。

然後我們將這兩個檔案載入到網路中。

# Specify the paths for the 2 files
protoFile = "pose/mpi/pose_deploy_linevec_faster_4_stages.prototxt"
weightsFile = "pose/mpi/pose_iter_160000.caffemodel"
# Read the network into Memory
net = cv2.dnn.readNetFromCaffe(protoFile, weightsFile)

步驟2：讀取影象並準備輸入網路

首先，我們需要使用blobFromImage函數將影象從OpenCV格式轉換為Caffe blob格式，以便可以將其作為輸入輸入到網路。這些引數將在blobFromImage函數中提供。由於OpenCV和Caffe都使用BGR格式，因此無需交換R和B通道。

# Read image
frame = cv2.imread("image.jpg")
# Specify the input image dimensions
inWidth = 368
inHeight = 368
# Prepare the frame to be fed to the network
inpBlob = cv2.dnn.blobFromImage(frame, 1.0 / 255, (inWidth, inHeight), (0, 0, 0), swapRB=False, crop=False)
# Set the prepared object as the input blob of the network
net.setInput(inpBlob)

步驟3：做出預測並解析關鍵點

一旦將影象傳遞到模型，就可以使用OpenCV中DNN類的正向方法進行預測，該方法通過網路進行正向傳遞，這只是說它正在進行預測的另一種方式。

output = net.forward()

輸出為4D矩陣：

第一個維度是圖片ID（如果您將多個圖片傳遞到網路）。
第二個維度指示關鍵點的索引。該模型會生成置信度圖（在影象上的概率分佈，表示每個畫素處關節位置的置信度）和所有已連線的零件親和度圖。對於COCO模型，它由57個部分組成-18個關鍵點置信度圖+ 1個背景+ 19 * 2個部分親和度圖。同樣，對於MPI，它會產生44點。我們將僅使用與關鍵點相對應的前幾個點。
第三維是輸出圖的高度。
第四個維度是輸出圖的寬度。

然後，我們檢查影象中是否存在每個關鍵點。我們通過找到關鍵點的置信度圖的最大值來獲得關鍵點的位置。我們還使用閾值來減少錯誤檢測。

置信度圖

一旦檢測到關鍵點，我們便將其繪製在影象上。

H = out.shape[2]
W = out.shape[3]
# Empty list to store the detected keypoints
points = []
for i in range(len()):
# confidence map of corresponding body's part.
    probMap = output[0, i, :, :]
# Find global maxima of the probMap.
    minVal, prob, minLoc, point = cv2.minMaxLoc(probMap)
# Scale the point to fit on the original image
x = (frameWidth * point[0]) / W
y = (frameHeight * point[1]) / H
if prob &amp;amp;gt; threshold :
        cv2.circle(frame, (int(x), int(y)), 15, (0, 255, 255), thickness=-1, lineType=cv.FILLED)
        cv2.putText(frame, "{}".format(i), (int(x), int(y)), cv2.FONT_HERSHEY_SIMPLEX, 1.4, (0, 0, 255), 3, lineType=cv2.LINE_AA)
# Add the point to the list if the probability is greater than the threshold
        points.append((int(x), int(y)))
else :
        points.append(None)
cv2.imshow("Output-Keypoints",frame)
cv2.waitKey(0)
cv2.destroyAllWindows()

步驟4：繪製骨架

由於我們已經繪製了關鍵點，因此我們現在只需將兩對連線即可繪製骨架。

for pair in POSE_PAIRS:
partA = pair[0]
partB = pair[1]
if points[partA] and points[partB]:
cv2.line(frameCopy, points[partA], points[partB], (0, 255, 0), 3)

結果

上面顯示的輸出向我們顯示了運動員在特定時刻的準確姿勢。下面是視訊的檢測結果。

專案原始碼：https://github.com/ManaliSeth/Athlete-Pose-Detection

到此這篇關於使用OpenCV對運動員的姿勢進行檢測的文章就介紹到這了,更多相關OpenCV運動員姿勢檢測內容請搜尋it145.com以前的文章或繼續瀏覽下面的相關文章希望大家以後多多支援it145.com！