大格局！第四正規化要在一年內開源95%核心技術

機器之心原創

機器之心編輯部

最先落地 AutoML 的那家公司，現在喊出了開源。

自動機器學習 AutoML 技術，可以把特徵提取、模型選擇、參數調節等機器學習的複雜過程實現自動化。這種能夠大幅降低 AI 應用門檻的工具，是目前人工智慧業界炙手可熱的方向。

第四正規化成立之初就開始投入力量研究 AutoML 技術，現在又把自動化 AI 的能力拓展到 AI 應用的大多數環節。

在 6 月 23 日的年度釋出會上，第四正規化的 AI 作業系統 AIOS 升級到了 2.0 版。更引人關注的是，這家公司還計劃在一年內將 95% 核心技術開源出來。

「我們把最核心的資料和算力技術開源給技術社群，它們是開發者最需要的東西。」第四正規化聯合創始人、首席研究科學家陳雨強說道。

第四正規化技術副總裁鄭曌等人在釋出會上宣佈了 AIOS 核心技術的開源。

從零開始，構建 AI 資料引擎

首先是機器學習資料庫 OpenMLDB。在 AI 時代，機器學習模型不斷高頻次演進，這意味著資料供給的重要性不斷提升。但即使是在大型科技公司裡，我們仍然能看到 SQL 資料處理 10 小時，上線排查 6 個月這樣的情況。

「機器學習技術實現理性和瞬時高效的推理判斷，但不論事務型資料庫、分析型資料庫還是傳統數倉，在執行這類機器學習任務時都無法保障正確的資料供給」在釋出會當日的技術分論壇上，第四正規化資深架構師王太澤說道，「由於不是面向機器學習的設計，傳統的資料庫無法完全覆蓋從離線、線上到資料反饋的全流程，對於機器學習應用來說效率較低。」

第四正規化幫助超過 120 個場景完成了資料的開發和矯正，這讓他們的工程師總結出供給正確資料的解法。

與Hadoop、Oracle、MySQL 等目前流行的資料庫相比，第四正規化提出的OpenMLDB，定位是為AI 而生的機器學習資料庫，而這也是目前行業內的空白。

OpenMLDB 解決了 3 個機器學習的核心資料問題：

首先是離線線上不一致，OpenMLDB 通過統一的資料儲存引擎避免了跨資料庫的資訊交換。另一方面，通過統一的資料計算引擎，這套系統使離線和線上使用同一套計算邏輯，確保了總結規律和線索演算時思維方式的一致。

其次是時序正確性：在超過一半的場景中，由於傳統的資料庫系統無區別對待歷史經驗和未知資訊，資料科學家在資料開發過程中產生了時序洩露，在進行規律總結的時候使用到了不該使用、來自於未來的「穿越資料」。OpenMLDB 通過使用自動時序拼接語法和時序洩露檢測模組，避免了錯誤的資料使用。

最後是閉環完整性，機器學習需要將線索演算以及業務推理判斷正確與否的反饋沉澱成經驗和知識，這需要資料庫系統能夠具備 將線索推演，以及判斷的反饋，進行正確關聯的能力。OpenMLDB 通過對線索與反饋的自動拼接檢測與自動關聯，保障了唯一拼接標識，避免了資料拼接錯位的問題。

在從傳統資料庫系統切換到 OpenMLDB 後，開發過程的資料正確性得到了保障。除了效能上的優化外， OpenMLDB 在使用上也很方便，它支援標準 JDBC、Restfull 和 SQL 介面。

「MLDB 是我們的核心能力。在機器學習資料庫上，我們的技術是非常領先的，」陳雨強表示。在一些 AI 決策任務中，使用 OpenMLDB 的開發效率可以提升多達 8 倍，相比傳統資料庫進行線上實時特徵計算時，使用 OpenMLDB 能夠 3 到 10 倍的效能提升。

為 AI 而生的作業系統

在平臺側，第四正規化推出了為 AI 而生的的作業系統核心——OpenAIOS。

AI 的應用深入來看要經歷十幾個步驟，不同的技術元件支撐了不同的步驟，而每一個步驟對資源的需求又有著較大的不同。第四正規化將這些環節的能力面向計算、儲存、通訊三個方面進行了進一步的抽象和沉澱。

越來越多AI異構晶片的出現，加速了AI異構計算晶片對作業系統核心進行管理的細分需求，把計算負載從作業系統核心排程到叢集上不同機器的不同晶片上。除了AI異構晶片外，不同的異構儲存介質、異構通訊裝置都需要作業系統核心進行統一的管理。在異構裝置管理的基礎之上，保障任務的成功率與資源利用率，需要作業系統核心提供軟硬協同的整體排程策略。

為了實現有效的算力，第四正規化研究人員實現了異構 Kernel 深度優化、計算協同處理、資源排程等能力：

在算力方面，當資料量大到通用計算晶片無法處理時，OpenAIOS 的多級計算核心有針對性的設計硬體之間的協同處理策略，將計算任務進行工作量拆分，通過統一的智慧化排程，將拆分後的任務給到不同的專用計算晶片進行處理。在儲存方面，因為記憶體和視訊記憶體不夠導致的任務失敗是開發者最常遇到的難題。在不侵入現有應用和程式碼的情況下，OpenAIOS 在作業系統內部建立了一套面向記憶體和視訊記憶體的多級儲存核心，通過自動擴容策略和多級快取機制將儲存容量進行擴展，提高了任務的成功率。 在通訊速率方面，資料的交換效率是人們關注的重點，OpenAIOS 提供了多級通訊核心，在機器學習特有的梯度權重交換等環節，提供了低延遲、高吞吐的通訊框架， 以及面向異構加速器的專用通訊協議，減輕資料通訊上的壓力。

多裝置的情況下，OpenAIOS 可以高效率調動 GPU 算力，提升模型訓練時的速度。在 GPU 虛擬化的工作中，第四正規化系統率先實現了應用零改造的視訊記憶體擴容。

第四正規化技術副總裁鄭曌在釋出會上宣佈開源機器學習作業系統核心 OpenAIOS，以及面向實時智慧決策的分散式機器學習資料庫 OpenMLDB，面向開發者提供開箱即用的技術能力。

開源地址：

OpenMLDB Github:https://github.com/4paradigm/OpenMLDBOpenAIOS Github:https://github.com/4paradigm/openaios-platform基於OpenAIOS核心，『AIOS社群版』也已經正式上線，AIOS的核心技術都會以「社群版」的形式，免費向開源社群開放， AIOS 社群版擁有多元的開發體驗，支援 Visual Studio、VSCode、Jupyter Notebook 等桌面和遠端開發工具，內建核心應用和商店，同時支援第三方應用，又使用了原生的 Kubernetes 環境，擁抱所有云原生應用。

『AIOS社群版』：openaios.4paradigm.com

鄭曌還宣佈了 Knot「中國結」計劃：在未來一年之內，公司將實現 95% 以上的核心技術開源開放，併為各家企業共計培養超過一萬名 AI 應用開發工程師。

「我們相信 AI 決策是幫助企業轉型的新正規化，是能夠帶領企業走向質變的重要方法。第四正規化希望能夠幫助開發者做越來越多重要的工作」鄭曌說道。