CPU在深度學習中的價值潛力

本文翻譯轉載自《HPCWire》

原文：《The Role and Potential of CPUs in Deep Learning》

（全文共1476字，閱讀需要5分鐘）

作者/ Sparsh Mittal

Sparsh Mittal博士目前在印度IIT Roorkee擔任助理教授。他獲得了印度魯爾基理工學院的理學學士學位和美國愛荷華州立大學（ISU）的博士學位。他曾在美國橡樹嶺國家實驗室（ORNL）擔任博士後助理研究員，並在海得拉巴理工學院擔任助理教授。他是理工學士畢業時的佼佼者，他的BTech項目獲得了最佳項目獎。他獲得了ISU的獎學金和ORNL的表演獎。他在頂級場館發表了90多篇論文。他是愛思唯爾系統架構雜誌的副主編。他曾應邀在德國、紐約大學、密歇根大學和希林克斯（海得拉巴）舉行的ISC會議上發表演講。

深度學習(DL)中CPU的優勢

深度學習（DL）應用程式具有獨特的架構特徵和效率要求。因此，計算系統的選擇對使用者最終可以享受多大的DL餅圖有著深遠的影響。儘管加速器可以提供比通用計算系統（CPU）更高的吞吐量，但是在其他一些度量標準和使用方案中，CPU是首選還是更好的選擇。我與Poonam Rajput和Sreenivas Subramoney（《 A Survey of Deep Learning on CPUs: Opportunities and Co-optimizations》）合著的最新調查論文強調了DL中CPU的優勢，並確定了進一步優化的機會。

CPU有其長處，加速器不是萬能藥

稀疏DNN(深度神經網路)在大規模並行處理器上效率低下，因為它們對記憶體的訪問不規則，並且無法利用諸如快取切片和向量化之類的優化方法。此外，由於步驟之間的依賴性，RNN(迴圈神經網路）難以並行化。類似地，諸如InceptionNet變體之類的DNN的過濾器形狀為1×1、3×3、1×3、3×1等，這會導致不規則的記憶體訪問和跨層的可變數量的並行性。由於CPU具有先進的記憶體管理技術，因此它們更適合於並行性受限的此類應用。例如，萊斯大學的研究人員展示了對於基於稀疏資料集（例如Amazon-670K和Delicious-200K）的完全連線的網路，可以將DL訓練問題建模為搜尋問題。這允許用雜湊表代替矩陣乘法運算。與在GPU上基於TensorFlow的實現相比，他們在CPU上的技術提供了更高的效能。

具有批量大小的3D CNN(卷積神經網路)甚至2D CNN都需要大量的記憶體。由於雲和資料中心場景中由CPU管理的主機具有比加速器大得多的記憶體容量，因此在CPU上運行需要大量記憶體的操作不僅很有吸引力，而且經常勢在必行。加速器（例如TPU）可為大批量生產提供高吞吐量；但是，對於需要實時推理的應用程式，不建議使用大批量。在小批量時，CPU通常提供有競爭力的延遲。有許多技術可用於進一步調整CPU上的DL應用程式，例如，硬體感知的修剪，向量化，快取切片和近似計算。我們的調查報告總結了許多此類技術。

全面：從小型可穿戴裝置到大型資料中心

物聯網裝置和可穿戴裝置的電源和區域預算都很緊張，因此可以避免過度專業化。例如，智慧手錶晶片無法託管用於語音/音訊/影象/視訊處理的單獨加速器。在運行Android的智慧手機中，對移動GPU或DSP的程式設計支援尚未完全成熟。實際上，在典型的移動SoC上，移動CPU的理論峰值效能等於移動GPU的理論峰值效能。此外，支援Web服務（例如社交網路）的資料中心隨著時間的推移在計算需求方面出現了明顯的波動。由於CPU對DL和非DL任務的高可用性和高效率，因此它們可以滿足這種需求的變化。最後，在要求安全性認證的極端環境（例如國防和醫療）中，CPU有時是唯一的選擇平臺。

顯而易見：經濟和易用性

加速器需要較長的設計週期和大量的投資。將它們整合到現有的生態系統中需要很高的成本和工程工作。相比之下，CPU的硬體/軟體堆棧已經很好地建立和理解了。它們可以在廣泛的應用程式中提供合理的加速。大型公司擁有構建和維護其自定義加速器的資源，而CPU（或GPU）仍然是其他公司最可行的平臺。

未來前景：比您想象的要光明

展望未來，僅提高峰值效能是不夠的。為了增強廣泛的DL應用程式（例如強化學習和生成對抗網路）的效能，還需要進行更多革命性的改進。最近的CPU已經開始為低精度計算提供硬體支援。一旦記憶體計算成熟，大量的CPU快取將變成大量的計算單元。諸如RISC-V之類的開源ISA的開發將進一步打破加速器的可移植性和專有障礙。

度量標準眾多且各不相同，最新的DL模型也是如此。我們相信，未來將不再是「通用處理器與加速器」的辯論，而是將CPU加速器的異構計算方法集於一身。