AI時代的摩爾定律？黃氏定律預測AI效能將逐年翻倍

1965年，時任快捷半導體公司工程師，也是後來英特爾的創始人之一的戈登·摩爾（Gordon Moore）提出了摩爾定律（Moore's law），預測積體電路上可以容納的電晶體數目大約每經過24個月便會增加一倍。

後來廣為人知的每18個月晶片效能將提高一倍的說法是由英特爾CEO大衛·豪斯（David House）提出。過去的半個多世紀，半導體行業按照摩爾定律發展，並驅動了一系列的科技創新。

有意思的是，在摩爾定律放緩的當下，以全球另一大晶片公司英偉達（NVIDIA）創始黃仁勳（Jensen Huang）名字命名的定律“黃氏定律 (Huang’s Law)”對AI效能的提升作出預測，預測GPU將推動AI效能實現逐年翻倍。

英偉達GPU助推AI推理效能每年提升一倍以上

英特爾提出了摩爾定律，也是過去幾十年最成功的晶片公司之一。英偉達作為當下最炙手可熱的AI晶片公司之一，提出黃氏定律是否也意味著其將引領未來幾十年晶片行業的發展？

AI效能將逐年翻倍

受疫情影響，一年一度展示英偉達最新技術、產品和中國合作伙伴成果的GTC China改為線上舉行，黃仁勳缺席今年的主題演講，由英偉達首席科學家兼研究院副總裁Bill Dally進行分享。Bill Dally是全球著名的電腦科學家，擁有120多項專利，在2009年加入英偉達之前，曾任斯坦福大學電腦科學系主任。加入英偉達之後，Dally曾負責英偉達在AI、光線追蹤和高速互連領域的相關研究。

英偉達首席科學家兼研究院副總裁Bill Dally

雷鋒網訊息，在今天GTC China 2020演講中，Dally稱：“如果我們真想提高計算機效能，黃氏定律就是一項重要指標，且在可預見的未來都將一直適用。”

Dally用三個專案說明黃氏定律將如何得以實現。首先是為了實現超高能效加速器的MAGNet工具。英偉達稱，MAGNet生成的AI推理加速器在模擬測試中，能夠達到每瓦 100 tera ops 的推理能力，比目前的商用晶片高出一個數量級。

之所以能夠實現數量級的效能提升，主要是因為MAGNet採用了一系列新技術來協調並控制通過裝置的資訊流，最大限度地減少資料傳輸。資料搬運是AI晶片最耗能的環節已經是當今業界的共識，這一研究模型以模組化實現能夠實現靈活擴充套件。

Dally帶領的200人的研究團隊的另一個研究專案目標是以更快速的光鏈路取代現有系統內的電氣鏈路。Dally說：“我們可以將連線GPU的NVLink速度提高一倍，也許還會再翻番，但電訊號最終會消耗殆盡。”

這個專案是英偉達與哥倫比亞大學的研究團隊合作，探討如何利用電信供應商在其核心網路中所採用的技術，通過一條光纖來傳輸數十路訊號。據悉，這種名為“密集波長分波多工”的技術, 有望在僅一毫米大小的晶片上實現Tb/s級資料的傳輸，是如今互連密度的十倍以上。

搭載160多個GPU的NVIDIA DGX系統模型

Dally在演講中舉例展示了一個未來將搭載160多個GPU的NVIDIA DGX系統模型。這意味著，利用“密集波長分波多工”技術，不僅可以實現更大的吞吐量，光鏈路也有助於打造更為密集的系統。

想要發揮光鏈路的全部潛能，還需要相應的軟體，這也是Dally分享的第三個專案——全新程式設計系統原型Legate。Legate將一種新的程式設計速記融入了加速軟體庫和高階執行時環境Legion，藉助Legate，開發者可在任何規模的系統上執行鍼對單一GPU編寫的程式——甚至適用於諸如 Selene等搭載數千個GPU的巨型超級計算機。

Dally稱Legate正在美國國家實驗室接受測試。

MAGNet、以光鏈路取代現有系統內的電氣鏈路以及Legate是成功實現黃氏定律的關鍵，但GPU的成功才是基礎。因此，GPU當下的成功以及未來的演進都尤其重要。

GPU是黃氏定律的基礎

今年5月，英偉達釋出了面積高達826平方毫米，整合了540億個電晶體的7nm全新安培（Ampere）架構GPU A100。相比Volta 架構的GPU能夠實現20倍的效能提升，並可以同時滿足AI訓練和推理的需求。

憑藉更高精度的第三代Tensor Core核心，A100 GPU AI效能相比上一代有明顯提升，雷鋒網(公眾號：雷鋒網)此前報道，在7月的第三個版本MLPerf Training v0.7基準測試（Benchmark）結果中，英偉達的DGX SuperPOD系統在效能上開創了八個全新里程碑，共打破16項紀錄。

另外，在10月出爐的MLPerf Inference v0.7結果中，A100 Tensor Core GPU在雲端推理的基準測試效能是最先進英特爾CPU的237倍。

更強大的A100 GPU迅速被多個大客戶採用，迄今為止，阿里雲、百度智慧雲、滴滴雲、騰訊雲等眾多中國雲服務提供商推出搭載了英偉達A100的多款雲服務及GPU範例，包括影象識別、語音識別，以及計算流體動力學、計算金融學、分子動力學等快速增長的高效能運算場景。

另外，新華三、浪潮、聯想、寧暢等系統製造商等也選擇了最新發布的A100 PCIe版本以及英偉達 A100 80GB GPU，為超巨量資料中心提供兼具超強效能與靈活的AI加速系統。

Dally在演講中提到：“經過幾代人的努力，NVIDIA的產品將通過基於物理渲染的路徑追蹤技術，實時生成令人驚豔的影象，並能夠藉助AI構建整個場景。”

與光鏈路取代現有系統內的電氣鏈路需要軟硬體的匹配一樣，英偉達GPU軟硬體的結合才能應對更多AI應用場景苛刻的挑戰。

Dally在此次的GTC China上首次公開展示了英偉達對話式AI框架Jarvis與GauGAN的組合。GauGAN利用生成式對抗網路，只需簡略構圖，就能建立美麗的風景圖。演示中，使用者可通過語音指令，即時生成像照片一樣栩栩如生的畫作。

GPU是黃氏定律的基礎，而能否實現並延續黃氏定律，僅靠少數的大公司顯然不夠，還需要眾多的合作伙伴激發對AI算力的需求和更多創新。

黃氏定律能帶來什麼？

英偉達已經在構建AI生態，並在GTC China上展示了英偉達初創加速計劃從100多家AI初創公司中脫穎而出的12家公司，這些公司涵蓋對談人工智慧、智慧醫療/零售、消費者網際網路/行業應用、深度學習應用/加速資料科學、自主機器/IOT/工業製造、自動駕駛汽車。

智慧語音正在改變我們的生活。對談人工智慧的深思維提供的是離線智慧語音解決方案，在佔有很少空間的前提下實現智慧互動，語音合成和語音識別保證毫秒級響應。深聲科技基於英偉達的產品研發高質量中英文語音合成、聲音客製化、聲音克隆等語音AI技術。

對於行業應用而言，星雲Clustar利用英偉達GPU和DGX工作站，能夠大幅提升模型預測精確度以及解決方案處理效能，讓傳統行業的AI升級成本更低、效率更高。

摩爾定律的成功帶來了新的時代，黃氏定律能否成功仍需時間給我們答案。但這一定律的提出對AI效能的提升給出了明確的預測，並且英偉達正在通過硬體、軟體的提升和創新，努力實現黃氏定律，同時借生態的打造想要更深遠的影響AI發展。

黃氏定律值得我們期待。