瞭解深度學習的缺點：揚長避短 瑜不掩瑕

作者：閆錦鋒

考慮到深度學習帶來的所有創新和突破，很多人自然認為它是一副靈丹妙藥。深度學習的廣泛應用將意味著我們不再需要開車，甚至可能意味著我們將治癒癌症。

這怎麼可能不領我們激動和樂觀呢？ 這很自然且合理的。 但需要注意的是，深度學習仍處於初期階段，實際上存在許多惱人的問題。 降低我們的期望值是個好主意。

2018年，加里·馬庫斯(Gary Marcus)寫了一篇題為《深度學習：批判性評估》(Deep Learning: a Critical Appraisal)的論文，在文中他明確提出了深度學習面臨的挑戰。 他在論文中指出：

在語音識別、影象識別和遊戲體驗等領域取得長足進展的背景下，以及大眾媒體對深度學習相當熱情的背景下，我提出了關於深度學習的十個應關注問題，並建議如果我們要實現人工通用智慧，深度學習必須有其他技術來補充。

馬庫斯顯然有著合適的身份來表達他的擔憂，因為他在人工智慧方面既有學術背景也有商業背景。在成為紐約大學心理學系教授之前，他把自己的初創公司幾何智慧(Geometric Intelligence)賣給了優步(Uber)。馬庫斯也是幾本暢銷書的作者，比如《人類思維的隨機構造》（The Haphazard Construction of the Human Mind）。

以下是他對深度學習的一些擔憂：

黑盒：一個深度學習模型可以很容易地擁有數百萬個參數，涉及許多隱藏層。 對此有一個清晰的認識真的超出了一個人的能力範圍。的確，在識別資料集中的貓時，這未必是一個問題。 但對於醫療診斷或確定石油鑽井平臺安全性的模型來說，這絕對是一個問題。在這種情況下，監管機構將希望對模型的透明度有一個良好的瞭解。正因為如此，研究人員正在試圖創建來確定「可解釋性」的系統，這可以提供對深度學習模型的理解。資料：人腦有其缺陷。 但是它對一些功能做得非常好，如通過抽象學習的能力。 例如，假設5歲的Jan和她的家人去一家餐館。她的媽媽指著盤子上的一個東西說這是一個「墨西哥玉米卷」。她不需要解釋或提供任何資訊。相反，Jan的大腦會立即處理這些資訊並理解整個模式。將來，當她看到另一個玉米餅時——即使它有不同，比如調料不同——她會知道它是什麼。在大多數情況下，這是直觀的。 但不幸的是，當涉及到深度學習時，沒有抽象學習的「玉米餅」! 系統必須處理大量的資訊來識別它。當然，這對大型IT公司來說都不是問題。 但許多公司的資料集要有限得多。結果是，深度學習可能不是一個好的選擇。層次結構：這種組織方式在深度學習中並不存在。 正因為如此，語言理解還有很長的路要走(特別是長時間的討論)。

開放式推理：馬庫斯指出，深度學習無法理解「約翰承諾過瑪麗要離開」和「約翰承諾過要離開瑪麗」之間的細微差別。 此外，深度學習還遠遠不能，例如，閱讀簡·奧斯丁的《傲慢與偏見》，並能夠預測伊麗莎白·班納特的性格動機。概念性思維：深度學習不能理解民主、正義、幸福等概念。 它也沒有想象力，思考新的想法或計劃。常識：這是深度學習做不好的事情。這意味著模型很容易被混淆。 例如，假設你問一個人工智慧系統，「有可能用海綿製造一臺電腦嗎？」 在很大程度上，它可能不知道這是一個荒謬的問題。因果關係：深度學習無法確定這一點。 關鍵在於找到相關性。先驗知識：CNNs在先驗資訊方面可以有一些幫助，但這很有限的。深度學習仍然是相當獨立的，因為它只能一次解決一個問題。它不能跨越多個域獲取資料並創建演算法。此外，模型不會對資料自適應。如果資料中有變化，那麼需要對新的模型培訓和測試。最後，深入學習並沒有常人本能知道的先驗知識——比如基本物理學、基礎數學。這些都需要通過明確的程式設計納入人工智慧系統。靜態：深度學習在相當簡單的環境中最有效。這就是為什麼人工智慧對棋盤遊戲如此有效的原因，它有清晰的規則和界限。但現實世界總是混亂和不可預測的。這意味著深度學習也在複雜的問題時是不足的，甚至在自動駕駛汽車時都會出錯，。算力資源：一個深度學習模型通常需要大量的CPU能力，有時還會有GPUs。這可能會代價高昂。不過，一個備選項是使用第三方雲服務。 這些缺陷可真不少。但這篇論文仍然遺漏了一些缺點。這裡有一些其他需要考慮的：

蝴蝶效應：由於資料、網路和連線的複雜性，微小的變化可以對深度學習模型的結果產生重大影響。這很容易導致錯誤或誤導性的結論。

過度擬合：我們早些時候的文章中解釋了這個概念。 至於馬可斯，他最大的擔心是「被困在局部最小值，從而過度地呆在知識空間的錯誤部分，過多地關注一種特定類別的可訪問。但一些有約束模型可以適用於唾手可得的結果，進而規避更危險的短途旅行，最終可能導致更安全的搜尋路徑。」 當然，他並不是一個悲觀主義者。他認為，研究人員需要超越深度學習，找到能解決棘手問題的新技術。

感謝您的閱讀，我每週都會發布幾次關於機器學習、人工智慧、程式設計和所有與電腦科學相關的內容。

往期內容：

神經網路大盤點：從遞迴神經網路、卷積神經網路到生成對抗網路

深度學習的當家花旦——人工神經網路

人工神經網路和反向傳播淺析：深度學習的起手式

什麼是深度學習？人類大腦和深度學習有何關係？