無監督學習、多模態融合！騰訊聯合廈大發布2021十大人工智慧趨勢

機器之心釋出

機器之心編輯部

騰訊優圖實驗室聯合廈門大學人工智慧研究院釋出《2021 十大人工智慧趨勢》報告，對 3D 視覺技術、深度學習演算法、人工智慧核心晶片等眾多領域的發展趨勢進行了預測。

6 月 5 日，2021 全球人工智慧技術大會（GAITC 2021）在杭州舉辦，彙集人工智慧產學研各界領軍者，以國際化、前瞻化、產業化視角，解析並洞察了新一代人工智慧發展路徑。

在大會上，騰訊優圖實驗室聯合廈門大學人工智慧研究院正式釋出《2021 十大人工智慧趨勢》（以下簡稱「趨勢報告」），基於雙方長期對人工智慧尤其是計算機視覺的研究洞察，對 3D 視覺技術、數字內容產業、AI 深度學習演算法、人工智慧核心晶片等眾多領域的發展趨勢進行了預測。

趨勢報告指出，隨著深度學習在多個人工智慧的細分領域（如視覺，自然語言處理等）日趨成熟化和規模化，多模態融合成為真正實現通用人工智慧的必然選擇，人工智慧也將從感知智慧邁向認知智慧；同時，隨著演算法和硬體能力的不斷升級，3D 視覺智慧技術將推動商業發展和個人消費升級；深度學習邁向多模態融合，邊緣計算與人工智慧加速融合，AI 演算法的公平性研究將推動 AI 應用走向普惠。

以下為《2021 十大人工智慧趨勢》詳細內容：

1、自動機器學習的自動化程度與可解釋性得到進一步提升

自動機器學習（AutoML）目前已經在多個領域中初步實現對機器學習方法的自動化設計過程，但其仍然存在自動化程度不足，可解釋性不強的問題。如神經網路結構搜尋（NAS）在一些應用領域中取得了可以與人類機器學習專家可比較的水平，然而現有的 NAS 方法實際需要基於人工設計的神經網路基礎結構。此外，AutoML 的自動化過程往往被認為是一種 「黑箱」，缺乏可解釋性。今後自動化程度及可解釋性仍然是 AutoML 研究的熱點問題，通過提高 AutoML 中的超參數選擇，特徵表示與機器學習演算法的確定和神經網路結構搜尋的自動化程度及可解釋性，AutoML 將實現對機器學習涉及的每個環節的真正的自動化設計過程。AutoML 整個體系架構的日趨完善，將推動新一代普適性 AutoML 平臺的建設，並實現機器學習的大眾化。

2、無監督 / 弱監督學習逐漸成為企業降本增效新利器

在過去的幾年中，深度學習所取得的巨大成功離不開大規模標註的資料集。大規模標註的背後，是傳統的監督學習對於每一個訓練樣本完備標籤的要求。隨著業務規模的不斷擴大，越來越多的企業發現數據的標註開始成為擡高交付成本、制約效果提升的主要因素之一。在此背景下，無監督學習和弱監督學習通過不使用標籤或減少對標籤數量、質量的要求來迅速降低深度模型對於資料的標註需求，使得原本無法利用的資料如今都可以加入到模型的訓練中去，進而由量變引發質變。在 NLP 領域，基於 Transformer 的無監督訓練模型已持續霸榜各種 NLP 任務資料集；在 CV 領域，最新的 MPL 方法也通過額外的無標註資料集首次將 ImageNet 的 Top-1 分類準確率提升到了 90%+ 的水平。可以預見的是，將有越來越多的人工智慧企業會面臨從前期的迅速擴張到穩定期高效化運作的新階段，而在這個過程中，無監督 / 弱監督學習無疑將成為他們過渡到這個階段的重要手段之一。

3、3D 視覺技術助力產業消費升級，淡化虛實邊界

作為視覺 AI 領域多年熱點研究方向之一，3D 視覺技術的核心任務是對三維空間、物體及環境進行真實還原與重建。隨著相關演算法與硬體計算能力的不斷升級， 3D 視覺演算法效果得到大幅提升，三維幾何重建更加精細，表面紋理重建更加清晰，帶來更加逼真的視覺觀感。近年來，諸多 3D 視覺研究成果為低成本高質量的 3D 內容生成提供了良好技術支撐，基於 3D 虛擬形象的舞臺演出、直播帶貨、教育互動等應用層出不窮，成為 AI 內容產業全新發展方向。以此為基礎，結合 5G 時代流量頻寬的全面升級，帶有互動功能的 3D 虛擬現實、增強現實、混合現實的 3D 視覺應用將使用者體驗向真實與虛擬的完美融合進一步邁進。使用者會因為虛擬偶像生動自然的舞臺表演進行打賞，會由於虛擬主播 「賣力」 地帶貨促銷而下單購買，而線上平臺則依靠 3D 視覺技術大大降低內容製作和 IP 運營成本，最終帶來社會商業發展模式與個人消費習慣的顛覆與變革。展望未來，3D 視覺技術將持續在包括遊戲娛樂、影視製作、電商直播、醫療整形等眾多領域廣泛應用，虛擬與現實的邊界將不斷淡化。

4、多模態融合加速 AI 認知升維

深度學習在多個人工智慧的細分領域（如視覺，自然語言處理等）已日趨成熟化和規模化，然而要真正實現通用人工智慧，必然要將這些細分領域各自所針對的資訊模態整合利用，即多模態融合。多模態融合的目標是建立在影象、文字、語音等的多模態資訊識別的基礎上，實現不同模態資訊的統一表徵框架，從而起到 1+1>2 的作用。典型的場景之一是通過圖文語音聯合識別，實現對隱晦和暗示性，招嫖廣告，兒童不良表情包等圖文混合內容識別，支援稽核業務深度打擊不良內容。除了圖文融合等跨域模態融合，同域內的不同資訊維度同樣可以融合，如隨著深度生成技術的發展，當前的人臉識別除了傳統的 RGB 圖外，還需要融合深度圖、紅外圖等資訊來更好的防禦越來越多元化的人臉偽造攻擊，實現更強的人臉防禦。隨著人工智慧認知能力的提升，多模態融合也將會從圖文等實質性模態，逐漸拓展到如物理關係，邏輯推斷，因果分析等知識性模態，從感知智慧邁向認知智慧。

5、人工智慧推動數字內容生成向新正規化演進

隨著數字文化產業的蓬勃發展，尤其是二次元文化滲透出圈，數字內容產業面臨新一輪的需求升級，伴隨著 5G 商業化程序的不斷加深，多元化、精品化的優質數字內容將面臨更快的消費節奏，與此同時，供給側仍存在巨大的產能缺口，數字內容產業正處於勞動密集型向科技密集型的轉型階段。AI 與數字內容產業的深度耦合，將有希望為行業釋放更大的科技勢能，以 GPT-3、DALL-E 為代表的 AI 技術，已在文字、語音、影象、視訊等內容生成中取得了令人驚豔的結果，然而在精確性、泛化性、合理性方面仍然面臨挑戰，目前的前沿研究一方面探索從模型結構（自動化搜尋等），訓練形式（無監督對比學習等）等方面提升精度效果；另一方面引入知識圖譜領域知識，向機器介紹常識和其他特定領域的知識進而提升常識推理效果。伴隨著技術的持續升級演進，我們預見 AI 將逐步在數字內容生成領域釋放引擎級的影響力，在內容、平臺、技術多方合力引導下，構築數字內容生成新正規化。

6、邊緣計算與人工智慧加速融合

近年來，隨著深度學習演算法的迅猛發展，計算機視覺、自然語言處理、搜尋推薦廣告等各種領域的任務效能得到不斷重新整理。同時，隨著邊緣智慧裝置的廣泛普及和硬體改進，基於深度學習的人工智慧技術在邊緣端應用落地成為了可能。然而，在邊緣端上部署深度學習模型具有很大的難度。其主要挑戰表現在，邊緣端等智慧裝置在計算、儲存、功耗等方面有很大的限制。因此，邊緣端模型必須滿足低計算複雜度、小模型尺寸、低模型功耗等要求。未來將趨向硬體友好型的剪枝加速。根據邊緣硬體的 CPU 類型來設計特定的網路稀疏化模式，適配不同硬體的模型壓縮與優化加速技術是未來研究熱點趨勢。其次，基於自動化的 1-bit 量化方法有上百倍的理論效能提升，因此也是未來研究熱點趨勢。

7、人工智慧核心晶片向類腦神經計算方向演進

人工智慧核心晶片已經成為人工智慧時代的關鍵技術之一，在某些領域中的具體任務上人工智慧核心晶片能夠實現超越人腦的表現，但針對人工智慧核心晶片的研究依然落後於人工智慧的發展，人工智慧核心晶片無法同時滿足多種人工智慧演算法的加速要求，並且面對各種新型人工智慧技術不斷湧現的局面，人工智慧核心晶片與人腦相比其自我學習能力與可擴展性存在明顯不足。未來人工智慧核心晶片將在結構上更接近人腦的神經構造，獲得類神經計算的能力，通過不斷整合最新的人工智慧技術，定製型人工智慧核心晶片將逐漸演變為通用型人工智慧核心晶片，在提高自我學習能力的同時，實現對不同人工智慧技術在不同任務上的加速計算，從而推動人工智慧核心晶片實現真正的落地。

8、演算法公平性研究推動 AI 應用走向普惠無偏見

由於資料偏差、演算法本身缺陷、甚至是人為偏見的存在，現有 AI 演算法普遍存在對於某些特定人群效果不公平的 "歧視性現象"。隨著 AI 演算法在社會各行業的廣泛落地應用，作為輔助人們決策的重要工具，演算法的公平性問題正受到越來越多的關注。過去的幾年業界已在逐步探索一些針對性的解決方案，包括構建更公正的資料集、演算法訓練中引入公平性約束損失、提高機器學習演算法的可解釋性等。但就整體而言，當前公平性研究在精度和公平性的平衡、不同場景的泛化性有效性等問題上正處於方興未艾的階段。隨著歐盟釋出《人工智慧白皮書》、《人工智慧倫理: 問題和倡議》，中國發布《協同落實人工智慧治理原則的行動建議》，人工智慧的治理正成為一個愈加熱門的議題，而演算法的公平性正是人工智慧治理的關鍵問題。我們預見演算法公平性的研究將持續深化，在人臉識別等最廣泛的 AI 應用領域取得突破，為不同人群帶來更加普惠無偏見的效果。

9、隱私保護 AI 落地實用幫助演算法可持續進化

人工智慧和機器學習演算法的廣泛應用，在為人們提供便利的同時，也帶來了極大的隱私洩露風險。這種隱私洩露包括使用者資料在授權範圍以外被處理共享、機器學習演算法訓練後存在資料記憶等現象。AI 演算法開發中的資料隱私保護問題受到的關注以及監管日益增長，美國於 2020 年生效《加利福利亞消費者隱私法案》，中國於 2020 年公佈《個人資訊保護法(草案)》。針對機器學習中上述隱私保護問題，研究工作近年來逐步深入走向成熟，發展出了資料匿名化、聯邦學習、差分隱私等一系列方法。我們預見能夠保護使用者資料隱私的更加靈活高效的 AI 學習方法將在金融、醫療、社交等場景實用化落地，消減使用者的隱私擔憂，幫助 AI 演算法在場景中可持續地進化。

10、人工智慧技術向安全智慧方向邁進

隨著人工智慧技術在各行各業的廣泛應用，濫用或惡意破壞人工智慧系統將會給社會帶來巨大的負面影響。近年來演算法後門攻擊、對抗樣本攻擊、模型竊取攻擊等針對人工智慧演算法的攻擊技術持續發展，通過篡改構造特殊資料誘騙人工智慧應用產生不可信的錯誤結果，帶來了更大的演算法安全風險，因此保障人工智慧應用安全可靠的需求日漸迫切。未來人工智慧技術將向著安全智慧方向持續演化，一方面從演算法的可解釋性入手提升模型的魯棒性，另一方面化被動為主動，通過主動安全檢測機制對各類攻擊進行偵測與攔截，最終實現人工智慧可用性與可信性雙軌並重的現實需求，推動人工智慧技術在更廣泛領域的安全落地。

作為騰訊旗下頂級的人工智慧實驗室，騰訊優圖長期堅持基礎研究和產業落地兩條腿走路，擁有超過 1000 餘項 AI 相關國內外專利，300 餘篇論文被 CVPR、AAAI、ICCV 等國際頂會收錄。在產業落地方面，騰訊優圖通過騰訊雲持續輸出頂尖的視覺 AI 能力，目前已推出超過 30 個行業解決方案。