百度研究院RAL團隊登頂nuScenes三維目標檢測公開挑戰賽榜單

隨著自動駕駛技術在不同場景下的持續落地，目標檢測作為其中的一項核心模組，對檢測演算法的精度和穩定性要求越來越高。近日，在國際機器人技術與自動化會議（ICRA 2021）舉辦的第四屆nuScenes三維目標檢測挑戰賽中，來自百度研究院的機器人與自動駕駛實驗室(RAL)團隊在三維物體檢測任務的多項評價指標中榮獲第一，並將關鍵指標nuScenes Detection Score (NDS)從上一屆的71.4%提升至74.9%，重新整理了三維目標檢測比賽成績。

ICRA2021 nuScenes三維物體檢測挑戰賽官方排行榜

第四屆nuScenes目標檢測挑戰賽吸引了來自全球各地的多支參賽隊伍，不僅有百度、華為、滴滴等知名企業，還涵蓋了德克薩斯大學奧斯汀分校、上海交通大學、中國科技大學、哈爾濱工程大學等國內外重點高校。

本屆挑戰賽使用的nuScenes[1]資料集是自動駕駛目標檢測領域中最流行的公開資料集之一，集成了多種感測器（如相機，LiDAR, Radar等），提供了包含二維、三維物體標註、點雲分割、高精地圖等豐富的標註資訊。資料集整體共包含1000個場景、140萬幀影象、39萬幀鐳射雷達點雲資料、23個物體類別、140萬個三維標註框，資料規模和難度遠超之前的自動駕駛資料集KITTI。

百度研究院的機器人與自動駕駛實驗室(RAL)團隊在比賽中提出了一種多模態和多工的資訊融合框架FusionPainting[3] ,並且結合多模型融合等技術，推出了CenterPoint-Fusion的技術方案，將評價的關鍵指標NDS從上一屆冠軍的71.4%提升至74.9%，全類平均正確率（mean Average Precision)從上一屆冠軍的67.1%提升至72.4%。憑藉本次挑戰賽中多個評測指標第一的優異成績，百度在自動駕駛領域的技術實力再次彰顯。

CenterPoint-Fusion演算法優勢何在？

鐳射雷達（LiDAR）可以直接以三維點雲的形式提供周圍場景的深度資訊，因此廣泛的應用於自動駕駛的感知模組中。但是相比於影象資料，鐳射點雲具有密度稀疏，紋理資訊不豐富的缺點,因此在檢測任務中對於物體的類別分辨往往不準確。

利用相機和Lidar之間的標定參數，PointPainting[2]將影象的語義資訊附加到點雲上，再利用融合的點雲資訊進行物體檢測，能有效的提升檢測的精度。但是由於影象分割器的特徵圖尺寸大小的限制，分割結果在物體的邊界上有模糊效應，再反投影到3D點雲上時會造成物體邊界的點雲類別資訊不準確，從而影響最終檢測的效果。

基於多模態自適應融合的FusionPainting流程圖

相比於二維影象分割有物體邊界模糊的缺點，直接在三維點雲上進行分割卻能得到清晰的物體邊界。為了有效的解決這種邊界模糊的問題，百度提出了融合二維影象分割與三維點雲分割結果的FusionPainting框架[3]。對於每一個三維點，既通過二維影象分割獲得語義資訊，又通過三維點雲分割獲得語義資訊，最終通過一個自適應的注意力模組來對兩種資訊進行有效的融合。融合後的點雲可以作為任何三維物體檢測器的輸入，從而最終得到三維物體檢測結果。

在此框架的基礎上，百度進一步添加了多模型融合、半監督學習、測試階段資料增強等技術，充分發揮多模態和多模型的作用，進一步提升了目標檢測的效果。

nuScene資料集三維物體檢測檢測效果示例，其中不同的顏色代表不同類別的物體

本次在nuScenes三維目標檢測挑戰賽中奪冠的百度研究院機器人與自動駕駛實驗室，在自動駕駛感知和機器人領域有著豐富的技術積累和成果輸出，研究成果發表在CVPR、ICCV、ECCV、NeurIPS、AAAI、ICRA 與IROS等頂級國際學術會議和《Science Robotics》，《IEEE T-PAMI》、《IEEE T-IP》、《IEEE T-ITS》、《SAGE IJRR》等頂級期刊上。

百度佈局自動駕駛以來，不僅在自動駕駛技術和智慧駕駛領域市場佔據了先發優勢，並通過持續深耕，在技術創新和應用落地上也取得了令人矚目的成就。在自動駕駛這場改變人類軌跡的長跑中，百度還將繼續技術創新，做這條道路上堅定的領跑者。

參考文獻：

[1] Caesar, Holger and Bankiti, Varun and Lang, Alex H and Vora, Sourabh and Liong, Venice Erin and Xu, Qiang and Krishnan, Anush and Pan, Yu and Baldan, Giancarlo and Beijbom, Oscar. nuscenes: A multimodal dataset for autonomous driving. Proceedings of the IEEE/CVF conference on computer vision and pattern recognition. 2020: 11621-11631.

[2] Vora, Sourabh and Lang, Alex H and Helou, Bassam and Beijbom, Oscar. Pointpainting: Sequential fusion for 3d object detection. Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition. 2020: 4604-4612.

[3] Shaoqing Xu , Dingfu Zhou, Jin Fang, Junbo Yin, Bin Zhou and Liangjun Zhang. FusionPainting: Multimodal Fusion with Adaptive Attention for 3D Object Detection. Accepted by IEEE International Conference on Intelligent Transportation Systems (ITSC), 2021.