首頁 > 軟體

飛槳持續進化,推動AI進入工業大生產階段

2021-05-27 10:30:41

深度學習的歷史並不算長,卻呈現出了清晰的代際變遷。

在深度學習框架出現前,開發者需要進行很多繁重的工作,包括演算法、算力和資料,基本處於石器時代的階段;

深度學習框架在2012年萌芽後,陸續出現了 Caffe、Chainer 、Theano等框架,深度學習開始進入到青銅時代;

谷歌、百度、Facebook等網際網路巨頭進場後,憑藉強大的應用場景和底層能力,深度學習正式邁入了鐵器時代。

之後深度學習框架越來越多,訓練能力和可用性也越來越強,特別是TensorFlow、PyTorch、飛槳幾乎佔據深度學習框架95%以上市場份額的局面下,業界陸續出現了這樣一種聲音:人工智慧何時進入大規模產業化應用的工業大生產時代?

日前結束的Wave Summit 2021深度學習開發者峰會上,持續進化的飛槳已經給出了確切的答案。

01 逼近產業爆發的臨界點

百度的AI佈局始於2010年,但2016年是個特殊的時間節點,這一年百度正式開源了自家的深度學習框架飛槳,不僅填補了國內深度學習框架的市場空白,也為中國開源力量的崛起埋下了伏筆。

有別於一些學術性質的開源框架,飛槳身上有著典型的產業標籤,為了讓深度學習從一門技術走進千行萬業的產業世界,飛槳的每一次進化都在嘗試降低深度學習的開發門檻,讓技術可以順暢的轉化為社會生產力。而每年兩次的Wave Summit深度學習開發者峰會,可以說是洞察飛槳產業化程序的風向標。

2019年冬天,飛槳一口氣帶來了21項全新發布和重要升級,其中端到端開發套件成為開發者們討論的核心焦點。涵蓋語義理解、目標檢測、影象分割和點選率預估的四大端到端開發套件,旨在通過模組化的設計和端到端的體驗,滿足企業低成本開發和快速整合需求,進一步推動深度學習的產業落地。

2021年的Wave Summit 深度學習開發者峰會期間,飛槳在穩定性、相容性和成熟度的基礎上,再次為產業智慧化開足馬力,不斷逼近AI在產業深處爆發的臨界點:

全新發布飛槳開源框架V2.1,對自動混合精度、動態圖、高層API等進行了優化和增強。尤其是自定義運算元功能的全面升級,進一步降低了開發者自定義運算元的學習與開發成本,並大幅提升了開發的靈活性;

分散式訓練方面,釋出大規模圖檢索引擎,支援萬億邊的圖儲存和檢索,大規模圖模型訓練架構支援網易雲音樂等企業大規模應用落地。

模型套件方面,文心ERNIE全新開源釋出 4大預訓練模型,知識與深度學習相結合實現知識增強的語義理解,不僅僅能理解語言,還可以理解影象,實現統一的跨模態語義理解。

部署方面,飛槳提供全面的推理部署工具鏈,重磅釋出推理部署導航圖,其中已驗證300多條部署通路,助力開發者打通AI應用的「最後一公里」。

飛槳企業版在EasyDL、BML「兩翼」升級的同時,還開放了飛槳企業版的「核」——PaddleFlow,以雲原生、高效能、輕量易用的特色,專為AI平臺開發者提供核心能力並賦能更多細分場景和深度定製的AI平臺。

飛槳的進化歷程無疑印證了百度CTO王海峰對於人工智慧技術和產業發展的思考:一是融合創新,多技術融合創新、深度學習平臺與晶片軟硬一體優化、人工智慧技術與應用場景融合創新發展的趨勢愈加明顯;二是降低門檻,隨著人工智慧技術在各行業的滲透,面向不同應用場景,高效滿足不同的開發者需求,持續降低門檻非常關鍵。

門檻的大幅降低,加快了人工智慧應用的多樣化和規模化,也加快了產業智慧化程序。

02 抹平演算法和算力的鴻溝

對於深度學習框架的價值,百度CTO王海峰曾經有過一個恰當的比喻:「深度學習框架起到承上啟下的作用,下接晶片和大型計算機系統,上承各種業務模型與行業應用,是智慧時代的作業系統」。

單單隻有開源深度學習框架的進化,恐怕還不足以將百萬計的開發者們「擺渡」到工業大生產的彼岸。畢竟人工智慧的三要素包括演算法、算力和資料,僅僅是跨越演算法和算力之間的鴻溝,就足以將不少開發者拒之門外。

目前英偉達主導的GPU在神經網路訓練中有著舉足輕重的地位,可英偉達等硬體廠商並沒有能力對所有的框架進行適配,只能選擇TensorFlow、PyTorch和飛槳三個最成熟的框架進行優化。

結果就是,倘若深度學習框架不對晶片進行適配優化,再好的晶片也只是一堆廢鐵;假如晶片和深度學習框架間的橋樑不打通,「智慧時代作業系統」的實用價值無疑要大打折扣。

飛槳給出的答案是主動擔當起打造硬體生態的重任。

根據百度集團副總裁吳甜在Wave Summit 2021上披露的資料,飛槳已經和22家硬體廠商合作,完成和正在適配的晶片或IP達到31款,名單包括百度崑崙、英特爾、英偉達、華為、曙光、瑞芯微、安霸等等。

目前飛槳在硬體生態方面已經處於業界領先地位,不僅涵蓋了從訓練到部署、從通用型計算硬體到專用的AI加速硬體、從服務端到移動端的硬體適配和優化,還和一些企業達成了深度合作。比如飛槳通過和英特爾OneAPI的合作,為開發者提供了跨平臺整合的開發路徑;通過整合TensorRT的加速能力,協助英偉達在GPU領域實現了高效推理。

值得一提的是,身為深度學習國產之光的飛槳,和飛騰、海光、鯤鵬等國內晶片廠商進行了深入合作,僅在海光DCU上適配的模型就已經超過50個,中國自主可控的「作業系統+晶片」生態已逐步成型。

其實箇中原因並不難理解,人工智慧的大規模落地已經步入快車道,而飛槳恰恰是各行各業走向智慧化的重要驅動力。

躬身構建軟硬體生態,抹平演算法和算力之間的鴻溝,進一步打破深度學習的應用壁壘,既是百度作為人工智慧頭雁的應有之義,也是飛槳重塑生產力與生產關係的初心。

03 為產業智慧化全面護航

每一次工業革命都不是純粹的技術革命,正在進行的第四次工業革命自然也不例外,產業智慧化的過程中仍存在諸多隱形制約,諸如專業人才的匱乏、產業氛圍的缺失、市場鏈條的不完善等等。

百度儼然意識到了這些問題,WAVE SUMMIT 2021深度學習開發者峰會除了主論壇外,百度還設定了5個平行論壇,除了前面提到的飛槳框架的創新升級、智慧硬體生態,將不小的篇幅留給了開源項目分享、產業實踐案例和融合人才培養,正在從多個維度強化飛槳的合作生態。

首先是開源生態的建設。

繁榮的開源社群離不開優秀的開源項目,飛槳深諳其中的道理,不僅在平行論壇中邀請到知名開源項目的技術負責人各抒己見,還順勢推出了面向核心開發者的領航計劃,以PPDE、PPSIG特殊興趣小組、飛槳領航團等組織形式,進行開源社群和開源項目合作。

然後是產業氛圍的培養。

針對產業應用落地中遇到的種種挑戰,飛槳選擇和企業負責人、開發者一同探索產業智慧化的有效路徑,並在全新升級的《飛槳企業案例精選》中囊括了9大行業、34個企業智慧化案例的技術思路。同時飛槳還在3月份啟動技術夥伴計劃,基於百度已有的AI產業落地經驗深度賦能行業智慧化企業,實現行業AI技術方案的輸出、研討和共創,短短兩個月的時間裡就有130多家企業報名。

最後是產教融合的探索。

AI人才的不足已然成了社會的常態問題,在AICA首席架構師培養計劃,AI快車道,以賽促學等人才培養機制外,飛槳還將目光瞄向了產教融合。比如飛槳和清華大學、吉林大學、鄭州大學進行了創新創業實驗室的合作簽約,一同打造產業智慧化的預備軍;此外百度已經累計培訓570所高校的2000多名教師,其中226所高校已經基於飛槳開設學分課程,以實際行動點燃了中國AI人才培養的星星之火。

除此之外,飛槳還將陸續投入15億元資金和資源,全面開啟飛槳「大航海」計劃,涵蓋啟航、護航、領航三大生態航道。其中「大航海」護航計劃,將在未來三年投入10億元資金,支援10萬家企業智慧化升級,與產業界一起培育百萬AI人才。

做一個總結的話,飛槳已經在一定範圍內驗證了人工智慧的落地價值,下一階段的目標正是形成以社會化協作為特徵的AI大生產。所以飛槳並未固守深度學習框架的角色,而是在正確的方向上篤定與堅持,深入到產業的細枝末節,從多個維度為產業智慧化護航,為中國的新一輪工業革命護航。

04 寫在最後

百度集團副總裁吳甜在演講中講述了百度對於人工智慧進入工業大生產階段的路徑分析:

第一階段是企業中有少數先行人員嘗試引入AI進行原型驗證,稱之為AI先行者探路階段;當進行了驗證產生效益後,會從個人實踐轉變成建設團隊來學習和應用AI,稱之為AI工作坊應用階段;當企業進行大量的AI應用,幾百、幾千人一起工作,多人多工協同生產,就進入了AI工業大生產階段,更長期看,還會實現社會化協同大生產。

「AI先行者探路」階段,需要有適配場景的模型、調優工具以及部署支援,實現AI演算法的快速驗證落地,解決實際問題。飛槳提供了在工業場景中實踐打磨過的豐富模型庫,多端多平臺的推理部署工具鏈,全面靈活的硬體適配架構和生態基礎,保障AI先行者探路成功。

從個人實踐到帶領團隊的「AI工作坊應用」階段,面臨的是團隊裡專業AI研發人數少,不同專業背景的成員要一起快速學習AI模型研發的問題。飛槳豐富且多層次的產品結構,涵蓋視覺化介面、場景類套件、演算法類套件、模型庫、核心框架,非常適用於這個階段的團隊應用AI創新,同時這個過程中團隊成員也會持續成長,實現AI能力研發的進階。

到了「AI工業大生產」階段,多人多工協同生產,算力機器和開發人員的效能提升是關鍵。飛槳企業級AI開發平臺提供高效的算力管理與排程、全流程的整合開發環境,平臺化賦能AI大生產。再進一步發展,從企業內部的多人多工分工協同,還會走向全社會的AI大生產協同。

從飛槳平臺的資料可以看到,隨著人工智慧和產業的融合,飛槳已經聚集了320萬開發者,服務了12萬企業,創建了36萬模型,覆蓋到了工業、能源、金融、醫療、農業、城市管理、交通、資訊科技等各種各樣的行業和場景。而且,這組資料還在持續增長。相信未來繁榮的社會化AI大生產協同一定能實現。

這大抵就是飛槳持續進化的內部節奏,折射到整個產業層面上,飛槳正在攜手各行各業生態夥伴和開發者,促進產業鏈與創新鏈的深度融合,加速人工智慧進入到規模化應用的工業大生產時代。


IT145.com E-mail:sddin#qq.com