OPPO在國際人工智慧會議CVPR 2021獲多項佳績

一年一度的全球計算機視覺頂級會議CVPR（Conference on Computer Vision and Pattern Recognition國際計算機視覺與模式識別會議）落下帷幕，OPPO在六大賽道共十二項賽項中取得一項第一，七項第二，四項第三的優異成績，僅次於百度等國內第一梯隊的參賽選手，再次展示了強勁的AI創新實力。

本次參加CVPR 2021競賽的團隊來自OPPO研究院智慧感知與互動研究部和OPPO美國研究所，先後在多目標行為分析、足球行為分析、長視訊理解、時空行為檢測、跨模態分析及人機互動識別六大賽道上取得優異的成績。他們通過對演算法的優化、訓練，不斷強化OPPO 的AI能力，讓AI更好地為人類服務。

由OPPO智慧感知首席科學家郭彥東與清華學者等共同發表的《View-Guided Point Cloud Completion》論文，被本次CVPR所收錄。該論文通過執行有效的跨模態和跨級別融合框架，為點雲補全任務提出了一套檢視引導的全新解決方案。

郭彥東表示：「非常高興OPPO研究院智慧感知與互動研究部繼CVPR 2020的首次亮相後，再度取得佳績。去年我們奪得第一名的‘極端超級解析度感知’技術，將模糊的照片‘算’得更清晰，‘手持裝置視覺定位’技術讓融合定位更精準。而此次獲獎的多目標行為分析、時空行為檢測、基於多張2D圖片的3D人臉重建等技術，涉及行為識別、時空動作定位、人臉識別等更復雜、前沿的領域，能夠在智慧製造、智慧美顏、智慧家居、智慧辦公、智慧健康、智慧出行等應用場景發揮重要作用。我們希望通過不斷的努力，讓AI能夠真正地為人所用，為我們帶來更智慧更便捷的生活。

值得一提的是，OPPO在多目標行為分析（Multi-Agent Behavior）賽道中收穫頗豐，其所應用的AI演算法能基於特徵點資訊準確判別、預測動物及人在複雜互動內容下的行為。OPPO憑藉著領先的AI演算法能力，從全球240多個頂尖參賽團隊中脫穎而出，獲得子賽項少樣本行為分類任務（Learning New Behavior）第一，及傳統分類（Classical Classification）與標註風格遷移任務（Annotation Style Transfer）賽項的第二與第三名。目前，這項技術正在OPPO智慧工廠發揮著保護作用，工人們在這套演算法的輔助下，可以避免關鍵生產環節的錯漏錯放，令自身和產線更安全。

秉持著「科技為人 以善天下」的企業使命，OPPO正在圍繞「以人為本」不斷構建自身AI能力。在基於多張2D圖片的3D人臉重建（3D Face Reconstruction From Multiple 2D Images）挑戰賽中，OPPO自研的AI演算法所還原的三維人臉模型與真實人臉誤差僅為1mm左右，在主要指標成績排名中取得第二名。該演算法克服了在實際生活中，特別是動態視訊拍攝時，因為動作導致的人臉五官點不明晰、表情誇張、甚至圖片資料失真等問題，

事實上，OPPO自研的人臉檢測演算法已能夠識別635個人臉特徵關鍵點，並實現30次/秒的高速運行。在不久前釋出的OPPO Reno6上，依託於該演算法架構的AI煥採美妝視訊技術為使用者輕鬆打造了動態的自然美妝效果。這項技術將推動人像視訊技術「升維」進化，以3D級的特徵點識別、令「上妝」效果更服帖；也將在社交平臺上製作出更豐富更貼合的AR特效，讓使用者在日常生活中享受到技術帶來的美好瞬間。

目前，OPPO的AI能力已發展到可以識別人在時空環境中的行為狀態。在足球行為分析（SoccerNet）賽道中，OPPO取得動作定位（Action Spotting）和回放定位（Replay Grounding）兩個賽項第二名，僅次於百度。這項挑戰需要在一段足球比賽視訊中辨別出十幾種關鍵動作，包括越位、紅牌這類基礎規則複雜，動作幅度小，人類都很難識別的行為。同時AI演算法還需要排除攝影機位不同等干擾因素，準確定位回放片段在原始比賽視訊中發生的時間點。不久的將來，這項技術將為體育愛好者們帶來福利，在比賽後AI可以實時整理精彩集錦。在該技術的幫助下，手機相簿也可以自動製作類似「精彩一週」的視訊集錦，讓使用者可以隨時回顧自己生活中的美好瞬間。

在跨模態行為分析（MMact）賽道上，OPPO分別在行為識別（Cross-Modal Action Recognition）與行為定位（Cross-Model Action Temporal Localization）兩個子賽項中取得第二名。OPPO強大的AI演算法僅通過視覺資訊便可準確識別一段視訊中人物在特定空間內發生的交談、屈膝、走動等十餘種動作。該技術未來有望廣泛應用在家居場景，為家中老人、小孩、寵物帶來更貼心的照料。即使父母不在身邊，AI也可以在寶寶下意識做出危險性動作的時候，及時提醒父母，避免寶寶受到傷害。

此外，OPPO還在時空行為定位（AVA-Kinetics）賽道獲得第三名。AVA資料集作為行業內第一個開闢時空行為檢測的資料集，使用該資料集的定位賽項歷來是人工智慧的熱門賽道之一，每年不乏國際頂尖科技公司與院校的知名團隊參與其中。時空行為定位演算法不僅可以準確識別視訊中人們的行為，還可以同步定位其所處的時間段和空間範圍。這也意味著，OPPO的AI技術不僅能理解你在做什麼，還可以在時空中「找到」你。

本次CVPR上，OPPO在學術界前沿領域長視訊理解（LOVEU, Long-form Video Understanding）挑戰中，獲得兩大賽項第三名。該賽道需要AI在預先沒有特定分類標準的情況下，自行理解視訊的意義並分割出其邊界的時間段落。因此，對演算法的泛化性提出了極大挑戰，AI需要像人一樣思考，理解視訊中人類動作、顏色、物品、乃至光源的變化，並對變化點進行判斷。未來，這項技術可以廣泛應用在視訊領域，作為AI處理視訊的基礎工序，為後續包括人臉識別、行為識別等AI任務的選擇和執行奠定基礎。

OPPO研究院美國研究所參與了稠密深度估計挑戰賽道，展示了能夠基於2D影象輸出稠密3D深度資訊的技術，獲得自監督學習賽項第二名的成績，並獲得「最佳創意獎」。該技術通過利用深度學習模型直接從普通影象輸出深度資訊，未來有可能替代ToF這樣的深度感測器，帶來體驗更好的室內外導航。