看下巴識心情，這個AI項鍊掛胸前也能識別面部表情

興坤 發自 凹非寺量子位 報道 | 公眾號 QbitAI

瞄一瞄你的下巴，就知道你有沒有在難過。

這個溫馨的場景對應的不是窩在懷裡的小貓咪，而是……

Neck Face，一款用於監控情緒的智慧工具。

它被設計成項鍊及頸帶樣式，AI只需要看到使用者的下巴，就可以獲取面部表情資料。

這款裝置的面部識別原理，不僅打破了必須在正面放置攝像頭的侷限，而且還能做到在運動過程中持續捕捉表情資訊。

智慧項鍊Neck Face

項鍊式儀器包含一組Neck Face，由紅外攝像頭OV5647、近紅外LED和紅外帶通濾波器組成，佩戴時位於下巴正下方；頸帶式儀器包含兩組，佩戴時分別位於兩側鎖骨位置。

攝像頭位置這麼靠下，能看到我們的表情嗎？

如此低的機位，自然看不到完整的面部表情，只能獲得包含下巴部分下半張臉的輪廓影象。

AI通過對這部分影象的資訊提取，以演算法推測出完整面部表情。

當我們做面部表情時，面部肌肉會拉伸和收縮，推拉面板影響附近面部肌肉的張力，這種效果會導致臉頰輪廓發生變化。

Neck Face從頸部和下巴下方角度，用紅外相機記錄面部肌肉運動，以及所引起的面部輪廓變化。

獲得臉部輪廓紅外影象後，通過卷積神經網路幫助將二維影象輪廓重構為完整資訊，並利用計算機視覺和深度學習模型，找到頸部和下巴紅外影象與完整面部的聯絡。

結合ARKit，從深度相機中提取了52個混合形狀參數(blend-shape)，以及頭部偏轉角度資料，重構出完整的表情。

經過這樣的處理過程，能夠從下巴角度影象獲得完整面部表情。並且可以在佩戴過程中，連續記錄表情變化。

為驗證這款裝置監測結果準不準確，研究人員使用了蘋果手機深度相機作對比分析。

測試者被要求在靜坐和行走過程做出八種不同的表情，並且包含了上下左右四個方向轉動頭部的過程。

對比各種情況下手機和可穿戴儀器表情識別的差異，計算所得出的混合形狀參數（分值0-1000）平均絕對誤差。

通過對測試結果總結分析，可穿戴錶情監測儀器誤差在20-35之間。且可識別頭部轉動角度，角度誤差在2-4.5度。

△左側為手機攝像頭識別處理的結果，右側為NeckFace面部重建的結果。

兩種設計相比，頸帶式裝置效能優於項鍊式，原因可能在於兩側攝像頭能夠捕獲更多資訊。

應用優勢

現代人對自身健康越來越重視，不僅是身體機能的健康，心理健康也逐漸得到了更多關注。

以科學的方法對情緒進行監控，可以更好地掌握自身狀況，及時做出調整或治療，避免影響到身體機能。

記錄情緒及心理狀態建立起資料庫，還可以方便個體追蹤自身行為，有利於就醫等社會活動。

提到大資料，一定會有人擔心隱私洩漏的問題，由於Neck Face都是從頭部下方對面部表情進行檢測，而僅僅通過下半張臉無法識別到使用者全部面部資訊。

另外，Neck Face是紅外成像，對環境不作識別，可以很好地隱藏環境資訊。

對Neck Face的測試過程中也提到了，裝置可以在行走中保持工作，這就大大解放了遠端辦公或視訊會議時對使用者的侷限，可以更自由地參與線上討論。

研究團隊

本研究主要由北京大學學生陳拓潮，麥吉爾大學學生Yaxuan Li完成，參與單位還有康奈爾大學SciFi實驗室，康奈爾資訊科學學院研究人員等。

康奈爾大學計算機與資訊科學學院Cheng Zhang教授研發出可穿戴感測器C-Face。在此基礎上，陳拓潮等人做出改進，開發出這款更方便穿戴，效能更好的Neck Face。

△左側為使用者佩戴C-Face，右側為3D模型反饋的面部表情。

參考文獻https://dl.acm.org/doi/10.1145/3463511

參考連結https://news.cornell.edu/stories/2021/08/smart-necklace-could-track-your-detailed-facial-expressions?fbclid=IwAR1RXF6iBQ3SkQn3cJUjFkGYEJktitIeHnT2B6x1aT7nW4bfP3heUqMuOlo