一個神經元頂5到8層神經網路，深度學習的計算複雜度被生物碾壓了

機器之心報道

編輯：杜偉、陳萍

看來人工智慧的發展還任重道遠。

來自耶路撒冷希伯來大學的研究者對單個神經元的計算複雜度進行了研究，他們通過訓練人工深度神經網路來模擬生物神經元的計算，得出深度神經網路需要 5 至 8 層互連神經元才能表徵（或達到）單個生物神經元的複雜度。

人類糊狀的大腦似乎與計算機處理器中的固態矽晶片相去甚遠，但科學家將二者進行比較已經有很多年的歷史。正如「人工智慧之父」阿蘭 · 圖靈在 1952 年所說，「我們對大腦具有冷粥粘稠度這一事實不感興趣。」換句話說，介質不重要，重要的是計算能力。

當前，最強大的 AI 系統採用機器學習的一個分支——深度學習，這些 AI 系統的演算法通過處理互連節點隱藏層的大量資料來學習，這被稱為深度神經網路。顧名思義，深度神經網路受到了人類大腦中真實神經網路的啟發，它們的節點模擬真實神經元。或者至少根據 1950 年代神經科學家對神經元的瞭解，當時一個被稱作「感知器」的有影響力的神經元模型已經誕生了。

自那時起，我們對單個神經元的計算複雜度的理解急劇增加，也清楚了生物神經元要比人工神經元更加複雜。但複雜多少呢？這個問題一直沒有明確的解答。

為了找出答案，耶路撒冷希伯來大學的計算神經科學博士生 David Beniaguev、神經科學教授 Idan Segev 和副教授 Michael London 訓練了一個人工深度神經網路來模擬生物神經元的計算。他們表示，一個深度神經網路需要 5 至 8 層互連神經元才能表徵（或達到）單個生物神經元的複雜度。

作者們也沒有預料到會呈現出這種複雜度。一作 Beniaguev 表示：「我原以為生物神經元會更簡單些，3 至 4 層人工神經元就足以捕獲細胞內執行的計算。」

從左至右依次為耶路撒冷希伯來大學博士生 David Beniaguev、神經科學教授 Idan Segev 和副教授 Michael London。

他們還發表了相關論文《Single Cortical Neurons as Deep Artificial Neural Networks》。

論文地址：https://www.sciencedirect.com/science/article/abs/pii/S0896627321005018

DeepMind 決策演算法設計師 Timothy Lillicrap 認為，新的研究結果表明有必要重新思考將大腦神經元與機器學習領域神經元進行鬆散比較的舊傳統了。

5 至 8 層人工神經元才能達到單個生物神經元的複雜度

人工神經元和生物神經元之間最基本的比較是它們如何處理傳入的資訊。這兩種神經元都接收傳入訊號，並根據輸入資訊決定是否將訊號傳送給其他神經元。雖然人工神經元依賴簡單的計算做出決定，但數十年的研究表明，生物神經元的這個過程要複雜得多。計算神經科學家使用輸入 - 輸出函數來模擬生物神經元樹突接收到的輸入與神經元發出訊號之間的關係。

研究者讓一個人工深度神經網路模仿輸入 - 輸出函數（生物神經元樹突接收到的輸入與神經元發出訊號之間的關係），以確定其複雜性。他們首先對一種神經元的輸入 - 輸出函數進行了大規模模擬，這種神經元的頂部和底部有不同的樹突分支，稱為錐體神經元，來自大鼠的皮層。然後，他們將模擬結果輸入到一個深度神經網路中，該神經網路每層最多有 256 個人工神經元。

接著，他們不斷的增加層數，直到在模擬神經元的輸入和輸出之間達到毫秒級別 99% 的準確率。深度神經網路成功地預測了神經元的輸入 - 輸出函數的行為，所使用的層數至少有 5 層，但不超過 8 層。在大多數網路中，這相當於 1000 個人工神經元對應一個生物神經元。

如下圖 2 所示，具有 7 個隱藏層、每層包含 128 個特徵圖的時間卷積網路（TCN）忠實地捕獲了一個 L5PC （layer 5 pyramidal neuron）模型。

在下圖 3 中，研究者展示了沒有 N - 甲基天冬氨酸（NMDA）突觸的 L5PC 神經元，它能夠被具有單個隱藏層（包含 128 個隱藏單元）的深度神經網路忠實地捕獲。其中 A 為 L5PC 模型示意圖、B 為類比的深度神經網路。

現在已經瞭解了單個神經元的計算複雜度，如下動圖所示，左邊的椎體神經元依賴樹突狀的分支，這些分支會受到訊號的影響。在神經元決定是否傳送 spike 訊號之前，訊號變化會導致局部電壓變化，表現為神經元顏色的變化（紅色表示高電壓，藍色表示低電壓）。這一 spike 出現了 3 次，如右側單個分支的軌跡所示，顏色代表樹突從頂部（紅色）到底部（藍色）的位置。

來自貝勒醫學院的計算神經科學家 Andreas Tolias 表示，這種結果建立了從生物神經元到人工神經元的橋樑。但研究者表示，這還不是一個直接的對應關係（生物神經元到人工神經元）。

Michael London 認為「神經網路中的層數與網路的複雜性之間的關係並不明顯，所以我們不能說網路層數從四層增加到五層複雜度會增加多少。我們也不能說需要 1,000 個人工神經元就意味著生物神經元的複雜度恰好是生物神經元的 1,000 倍。最終，即使在每一層中使用指數級的人工神經元，最終也有可能形成只有一層的深層神經網路——但這可能需要更多的資料和時間來讓演算法學習。」

研究者嘗試了很多架構，幾乎都失敗了。他們還公開了程式碼，以鼓勵其他研究人員找到更少層的解決方案。但是，找到一種能夠模仿神經元且準確率高達 99% 的深度神經網路是非常困難，研究者相信他們的結果為進一步的研究提供了有意義的比較。

Timothy Lillicrap 認為，這可能提供了一種新的方法，將影象分類網路（通常需要 50 層以上）與大腦聯絡起來。如果每個生物神經元都像一個五層人工神經網路，那麼一個 50 層的影象分類網路可能相當於一個生物網路中的 10 個真實神經元。

此外，該研究還希望他們的結果將改變 SOTA 人工智慧深度網路架構。「我們呼籲替換深度網路技術，使其工作方式更接近大腦，這一實現過程是將深度網路中的每個簡單單元替換為代表神經元單元，而這種神經元單元本身就是有深度的，」Segev 表示。在這種替代方案中，AI 研究人員和工程師可以插入一個五層深度網路作為「迷你網路」，用來取代每一個人工神經元。

各路專家學者如何看

但有些人懷疑這是否真的有利於 AI。「我認為這是一個懸而未決的問題，這種做法是否存在實際的計算優勢，」來自冷泉港實驗室的神經科學家 Anthony Zador 表示道。這項工作為測試奠定了基礎。

除了 AI 應用之外，該研究還加深了人們對樹突狀樹和單個神經元強大計算能力的共識。早在 2003 年，三名神經科學家展示了錐體神經元的樹突樹可以進行復雜的計算，通過將其建模為兩層人工神經網路。在這項新研究中，研究者探索了金字塔神經元的哪些特徵激發了 5 到 8 層深度神經網路的複雜性。他們得出結論，這來自樹突樹，樹突表面接收化學信使的特定受體——這一發現與先前研究者在該領域的研究一致。

而一些人認為，這一結果意味著神經科學家應該把單個神經元的研究放在更重要的位置。「這篇論文使得對樹突和單個神經元的思考比以前更加重要」，賓夕法尼亞大學計算神經科學家 Konrad Kording 說。另外還有一些人如 Lillicrap 和 Zador，它們認為關注迴路中的神經元對於瞭解大腦如何實際利用單個神經元的計算複雜性同樣重要。

無論如何，人工神經網路的語言可能為理解神經元和大腦的能力提供新的洞見。倫敦大學學院的計算神經科學家 Grace Lindsay 表示：「從層數、深度和寬度這幾方面思考讓我們對計算複雜度有了更直觀的認識，不過這項研究仍然只是模型與模型之間的比較。」

遺憾的是，目前神經科學家無法記錄真實神經元的完整輸入 - 輸出功能，因此生物神經元模型無法捕獲到的資訊可能更多。也就是說，真實神經元可能更加複雜。

Michael London 對此也表示：「我們並不確定 5 至 8 層是否就是最終數字。」

原文連結：

https://www.quantamagazine.org/how-computationally-complex-is-a-single-neuron-20210902/