CVPR 2021 NAS 比賽完美落幕，線上研討會邀您參加

CVPR作為計算機視覺和模式識別領域的世界級學術頂會，不僅是業界展示領先科技成果的平臺，也是探索學術前沿的平臺。AutoDL作為近年來AI領域最熱門的方向之一，被認為是下一代人工智慧技術，在工業界和學術界都引起了廣泛關注，而神經網路結構搜尋技術（Neural Architecture Search，NAS）又是該領域最核心的方向。作為工業界在此領域的先行者，百度今年聯合悉尼科技大學和美國北卡羅來大學舉辦了CVPR 2021 NAS workshop，並在CVPR 2021舉辦了首屆NAS國際競賽，探討輕量化NAS的現狀和未來。

基於飛槳，百度將模型小型化和NAS等眾多創新功能整合在PaddleSlim這一開源模型壓縮工具庫中。PaddleSlim除了支援傳統的網路剪枝、參數量化和知識蒸餾等方法外，還可以通過NAS+蒸餾+量化一站式模型壓縮產出業界領先的小模型。這些創新方法囊括了很多百度自研的NAS演算法，如發表在CVPR2020的GP-NAS以及IJCV期刊上的SA-NAS。藉助這些方法，百度視覺團隊近兩年先後七次在CVPR與ECCV等國際比賽中奪得世界冠軍，並全線應用在各條業務上。

三賽道並行，探索NAS技術革新之道

在NAS技術發展上，早期的神經網路結構搜尋技術採用基於強化學習的方法，需要將每個子神經網路在訓練資料上訓練至收斂狀態，然後評估其效果。該方案效果雖超過人工設計的結果，但需要依賴大量的計算資源，很難普及應用。近年，新的趨勢通過基於可微分框架和超網路的輕量級搜尋大幅降低了對計算資源的依賴，同時也在在靈活性和搜尋效果上展現了較大的改善空間。基於這些判斷，從實際研究的關鍵問題出發，本次大賽設定了三個賽道：

l 賽道一：超網路一致性

由於演算法的高效性，OneshotNAS逐漸成為研究熱點。通過參數共享的方式，不再需要獨立訓練並評估每個子網路的效能，只需訓練一個大的超網路，然後通過繼承超網路參數的方式就可快速評估每個子網路的效能，從而高效地進行模型結構自動搜尋。然而，獨立訓練子網路的效能及效能排序與子網路繼承超網路參數的效能及效能排序之間仍有很大偏差，從而導致搜尋得到的結構效能差，本賽道旨在解決超網路一致性問題。

l 賽道二：模型效能預測

在不訓練的前提下，準確預測任意模型的結構效能非常重要，不僅有助於分析模型結構的效能優劣，而且能夠預測出滿足任意硬體延時約束的最優模型結構。本賽道提供了部分（小樣本）模型結構與模型精度之間對應關係的基準測試集，參賽選手既可以通過黑盒的方式直接訓練，也可以使用白盒的方式進行參數估計，最終使得預測泛化效能達到最優。

l 賽道三：未知資料

NAS可以在CIFAR-10和ImageNet等資料集上搜索到優秀的模型結構，然而很少有人關注其在「真實場景」中的應用情況。為考察NAS演算法在幾乎沒有時間進行超參調優情況下「開箱即用」的效果，本賽道旨在評估NAS演算法在未知任務和資料集上的效果。

雖然是第一屆NAS比賽，本次比賽因其前沿性和實用性吸引了全球59個國家和地區、超過600支隊伍在AI Studio上參賽。參賽隊伍包括了清華、北大、中科院、上海交大、華中科大、劍橋、牛津、加州大學伯克利分校等國內外知名高校，也包括了三星、快手和海康等知名企業。比賽徵集到眾多優質的NAS解決方案，其中賽道一冠軍方案是海康研究院提出的取樣增強和漸進式學習方案，賽道二的冠軍方案是由華中科大與上海交大聯合提出的基於半監督學習的模型精度預測器（SemiLGB）方案。值得一提的是清華大學基於飛槳的NAS技術方案已在AI Studio和GitHub平臺開源，詳見https://github.com/MetaLearners/CVPR2021-NAS-competition-Track-1-4th-solution，可以一睹為快。

本次研討會將於北京時間6月25日22點線上舉行。不僅有獲勝隊伍宣講技術方案，還有幸邀請到馬毅、紀榮嶸、黃高、徐暢、Alan Yullie和Sara Sabour等國內外著名學者進行演講，分享神經網路結構搜尋技術（NAS）領域的最新進展和未來動向，詳細日程和參與方式請訪問研討會官網：https://www.cvpr21-nas.com/。歡迎大家的持續關注。

— 完 —