非夕打造通用智慧機器人大腦，讓機器人不再「知易行

您的機器人管家已就位

想象下，在一個平凡的早晨，你從睡夢中醒來，走進餐廳，看到你的機器人管家正在為你準備早餐：它熟練地將吐司放進烤吐司機中，又擰開蓋子，倒好了一杯牛奶。用不了幾分鐘，一份營養的早餐就端到了你的餐桌前。

看上去是不是很酷，科技感十足。

然而，想要實現這樣美好平靜的早晨，機器人和人工智慧領域還有很長的路要走。

稍加解釋你就能明白為什麼——簡單的一次早餐準備，實際上卻包含著許多操作和判斷。

以烤吐司為例：需要先將烤吐司機的插頭插入電源——夾起吐司——將吐司置入機器的凹槽——按下按鈕——待訊號聲音響起時，將吐司夾出——放入盤中。

人在進行這一系列動作時，只需大腦發出指令，進行手眼配合就能輕而易舉的完成操作；但要換機器人來執行的話，想要驅動每個不同的動作，背後需要用各種不同演算法來實現指令。更麻煩的是，如果吐司的大小、薄厚改變了，或者更換了新型號的烤吐司機，就需要構建新的模型、做新的偵錯。

在現實的生產、生活中，就存在著大量非結構化的場景中本質相似但細節不同的任務，卻鮮有通用性的機器人和人工智慧技術能真正發揮作用並有效落地。

因此，Flexiv非夕科技的穹知NOEMA系統（以下簡稱「穹知」）應需而生。

Flexiv非夕科技是面向全球的通用智慧機器人公司，專注於研發、生產集工業級力控、計算機視覺和人工智慧技術於一體的自適應機器人產品，為不同行業的客戶提供基於非夕機器人系統的整體、創新性的解決方案和服務。

非夕核心創始團隊來自斯坦福大學機器人和人工智慧實驗室，在機器人和AI領域有深厚的學術積累和技術經驗，並於2020年年底完成超1億美金B輪融資，是全球通用智慧機器人領域單輪融資額最高的公司。

通用智慧機器人大腦——穹知NOEMA系統

△穹知NOEMA系統

所以，穹知NOEMA系統具體是怎麼一回事？

2020年，非夕科技首席AI科學家盧策吾教授和CEO王世全博士曾於中國工程院院刊Engineering聯合發表了評論文章《通用智慧本體》。其中，對於現階段人工智慧及智慧裝置應用中出現的「供需矛盾」進行了描述：已有的大部分智慧裝置通常只能通過設計相應演算法完成特定任務，例如洗碗機、掃地機器人、工業領域裡的自動化噴塗、焊接、組裝等，遠不能達到人們對智慧的期望和對任務自適應的需求。

因此，畢業於斯坦福大學頂尖科學實驗室的非夕科技聯合創始人們認為，行業內急需一個框架式的智慧系統，去指引人工智慧技術在機器人端的技術演進和應用發展。

本著推動科技更加「以人為本」的目標，非夕自主研發並推出了穹知NOEMA AI系統。該系統是是面向全行業的雲-邊-端協同一體的通用智慧機器人大腦，它能夠基於機器人的多資訊感知進行AI演算法研究和應用產品開發，進而指導機器人完成複雜任務。

△穹知NOEMA系統完整介紹

據非夕AI團隊介紹，穹知系統具備三點核心技術特徵：

1. 對視覺、力覺、聽覺、觸覺等訊號進行主動、被動的全感知能力。以烤吐司為例，穹知系統可以看到並明確凹槽的位置（視覺）、根據力覺反饋判斷是否完全將吐司置入（力覺）、聽見提示音作出反應（聽覺）等，同時它也可以主動感知周圍的物理環境資訊。

2. 可直接指導操作的知識引擎。正如人的大腦儲存著海量資訊一樣，穹知系統的知識引擎涵蓋了成千上萬條知識，能直接指導操作，比如「聽到提示音即意味著將吐司取出」；在生活情景中甚至可以包括更私人化的資訊，如「使用者的早餐偏好是吐司加雞蛋」。

3. 內建先進的程式設計框架和AI演算法，可以面向概念及元操作流，基於任務程式設計。也就是說，穹知系統內的演算法以基礎概念和最小動作基元為單位。例如在烤吐司的一系列動作中，可以分解出「抓取」、「插入」、「夾取」、「置入」、「按壓」等動作基元，由此訓練單個動作演算法並存儲，從而方便系統擴展和後續呼叫。

穹知系統如何工作？

穹知NOEMA系統複用了通用智慧本體的結構，由五大模組構成：任務編譯器、感知模組、知識引擎、執行模組、以及中央處理器。

△通用智慧本體架構

其中，任務編譯器是使用者向穹知系統佈置任務的統一介面，使用者在簡單易用的編譯器上可以使用統一的「語言」獲得元操作流的生成。

感知模組負責接受外界視覺、聽覺、力覺訊號，同時解析環境中的視覺、聽覺、力覺等語義。

在統一協議下，使用者可以對物體和物體操作進行知識編輯，從而對知識庫進行擴展，形成具有知識可遷移性的知識引擎。

執行模組由穹知系統所驅動的移動平臺和操作平臺組成，負責完成基本動作單元與操作，一般包括自適應機器人、末端工具、穹知邊緣計算裝置等。

中央處理器是整個系統中的中心計算模組，負責根據模組間關係和需求進行整體呼叫，包括但不限於支援任務編譯器解析任務、讀取感知模組訊號、呼叫知識引擎做出綜合決策、向執行模組發出指令等等。

正如前文所述，通用的插裝自動化需要精細的手眼配合能力來適應操作物件的不一致性和多樣性，克服來自環境的干擾和不確定。通過使用穹知NOEMA系統，AI開發者、機器人工程師可以自主訓練出一套通用性較強的插拔演算法，從而指引機器人終端的柔性操作。

以烤吐司所涉及到的一個核心動作基元——插拔（插電源插頭/將吐司放入凹槽）為例，可以更清楚地闡述穹知系統如何工作。

△NOEMA系統任務編譯器

首先，任務編譯器會以人機互動體驗友好的終端介面、或面向專業開發者的程式設計平臺的形式呈現，使用者可通過文字、語音等方式輸入任務，如「將插頭A在不被損壞的基礎上靈巧地插入插座B中」。編譯器接收任務後，隨即將複雜的任務解析為基礎的元操作，如：插頭/插入/插座，同時也一併解析出任務背後可能涉及的其他元操作，如：抓取/識別/探測/有無干擾等。

△環境/物件資訊識別

在解析出元操作流後，感知模組會搭配執行模組（深度相機/感測器等）對插頭的位姿及周圍場景資訊進行採集和解析，並匹配知識引擎對資訊進行識別和標註，如：（物體資訊）USB/矩形/長寬高；（環境資訊）平置/無晃動等。

與此同時，知識引擎根據任務解析器給出的元操作類型，自主搜尋並選取可能相關的知識素材，如可用演算法、相似任務的視覺識別模型和插拔模型、訓練推薦參數、預訓練模型參數及運算方案等，從而指引機器學習和持續迭代。

△穹知驅動的力覺插拔學習

隨後，穹知系統將根據感知模組所提供的物體及環境資訊，對從知識引擎中所選取的模型、參數等進行差異化配置，配置完成後在雲端進行模型訓練，並持續使用執行模組採集到的新資訊幫助訓練。訓練過程中，使用者可以在系統UI中實時看到視覺化的成果反饋，從而瞭解訓練效率、是否達到理想效果、出現的問題等。

訓練完成後，新的柔性插拔方案會自動優化，並通過雲端部署至執行模組。機器人工程師使用自適應機器人搭配演算法方案進行偵錯和現場部署，由此就能實現一個AI驅動的柔性智慧插裝自動化應用。

何為「通用智慧機器人「？

實際上，只是擁有了穹知這樣的「大腦」，還不算是一個完整的通用智慧機器人。

非夕專注研發及生產的仿人化通用智慧機器人，具有高精度、高響應的力控技術，全新的硬體框架，和建立在完整感知能力基礎上的「層級式智慧」——即機器人和人類一樣，同時有「大腦」和「小腦」，分別應對不同的任務。

△人類擦窗操作

人類在掌握和運用技能時，通常都需要大小腦的配合，比如擦窗戶時，我們會先識別窗戶的邊界，然後手拿溼布在玻璃上一邊來回移動，一邊往玻璃上施加一定的力以保證可以擦掉汙漬；同時要用眼睛確認哪裡已經擦過、哪裡還沒有擦到。在這個過程中，對玻璃和汙漬的識別是人類有意識的呼叫，而對手臂移動和施力的控制則更多是已經存在於「潛意識」中的能力，不需要大腦過度思考就可以下意識地實施。

△層級式智慧架構

通用智慧機器人的「仿人性」正是要做到如此：由「大腦」來識別、思考、判斷哪塊玻璃需要擦、怎麼擦，由「小腦」潛意識般地控制手臂進行基礎運動。也就是說，穹知NOEMA系統作為高層智慧負責認識、理解、規劃等複雜任務，其下的中層智慧負責編碼各種基礎運動的不同序列，而機器人的力控、抗干擾等效能作為底層智慧，幫助手臂自動解決誤差適應和調整等基礎任務。「大小腦」相互獨立，同時頂層的穹知系統對底層起到指導、調節的作用。

△穹知系統可以實現機器人能力的快速遷移

身為通用智慧機器人「大腦」，穹知系統本身也具有強大的遷移能力，在保證本身準確率、成功率和作業效率的同時，有較高的通用性；因此，它的綜合學習成本會隨著時間不斷下降。

舉例而言，通用工業插拔力反饋學習模型可用於多種類型的插頭，系統可以持續進行自我學習，直至適應新插頭的時間縮短，如由幾秒加速至幾毫秒；另一方面，通用視覺模型在相似應用下的訓練和優化也會不斷加快。因此，在穹知系統的幫助下，未來的機器人可以通插烤吐司機電源插頭的基礎上，很快自主學會插其他形狀的插頭、插硬碟、將USB插入電腦、將吐司放入凹槽等等操作，一個能為你完成許多不同事情的機器人管家也就指日可待了。

△穹知系統已經集成了許多領先演算法

目前，穹知系統已經集成了許多領先演算法，例如複雜姿態估算、點雲語義分割、單樣本學習、通用物體抓取、力感知融合、力覺反饋學習、人體分析等，為機器人在製造業、醫療、農業、服務業、家用等各個領域中發揮價值提供了更多可能性。

非夕科技表示，接下來將有序推進穹知系統的細化和迭代，並推進通用智慧機器人的研究社群生態的形成；未來會將部分開發平臺開源，以供AI開發者們使用，從而促進群體智慧的快速發展。穹知系統廣義上的目標使用者不侷限於AI演算法開發者和機器人工程師——正如網際網路圖片處理產品將「修圖」這一操作簡化到大眾都可以使用一樣，隨著AI技術的發展和工具的迭代，非夕科技希望未來的AI愛好者們稍加學習，也可以通過穹知系統進行簡易的人工智慧演算法開發和應用。