神經擬態視覺感測器來了！手機和車都能用，李開復雷軍紛紛投資

博雯 發自 凹非寺量子位 報道 | 公眾號 QbitAI

機器會怎樣來看世界？

通過幀。

傳統的影象感測器會通過每秒捕獲多張靜止影象來記錄場景運動。

如果將這一系列影象通過足夠快的速度連續展示，人類視覺就能產生「這是連續運動」的錯覺。

但對於計算機來說，無論是多快的速率，幀與幀之間總會丟失某些運動資訊。

那麼，有沒有辦法讓機器連續地「看」到運動場景或事件呢？

今天就來看看普諾飛思（Prophesee）公司給出的「神經擬態機器眼」。

來自人眼的啟發

要了解這個「機器眼」，首先得看看它模仿的源頭：

人眼。

我們是如何通過人眼來看世界的呢？

當眼睛中的視覺細胞感測到場景變化——即發生了某個事件時，它就會將相關資訊通過視神經傳到大腦皮層。

而收集到的資料也是持續的，是以事件為基礎的。

因此，普諾飛思的研究者們以人眼為啟發，提出了基於事件的視覺感知技術。

和傳統影象感測器不同，在基於這種技術的感測器中，每個畫素都是非同步且獨立的。

因此，影象資訊並不是逐幀傳送，而是通過連續的資訊流捕獲事件運動：

而如果從事件的角度來考慮，靜止和場景並不會帶來新的資訊。

因此，這種技術也就不關注完全靜止的場景：

只有場景中發生某個事件，產生了變化時，感測器才會產生輸出：

如果是以幀為單位來獲取這種影象資訊的變化，那得一張一張固定頻率傳送，然後一個畫素一個畫素的比較。

而現在，只關注動態變化，也就剔除了很多冗餘資訊，減少了處理資料量。

這不僅加快了處理速度，也意味著對算力要求的減弱，成本也就隨之降低。

普諾飛思的CEO兼創始人Luca Verre對此表示：

這是來自自然界的完美的解決方案。

現在，普諾飛思已將這種基於事件的視覺技術整合到已有系統中，加入神經擬態計算，做到了世界首個量產的基於事件的視覺感測器。

並且隨著更新換代，感測器的效能越來越好，尺寸也越來越小了。

更清晰的拍照，更準確的駕駛

更小，也就意味著離我們的日常生活更近。

比如手機拍攝。

如果在按下快門的幾毫秒內被拍物件恰好發生了移動，那麼影象的一個點就會變成一條線。

這也就是我們在拍攝很多動態物體時常常產生模糊的原因。

但現在用基於事件的視覺技術，就能夠在按快門的這段時間內一直觀測這一點的移動，知道它的移動軌跡，再將這條線恢復成點。

可以看到，採用基於事件的視覺技術的右圖明顯比左圖要清晰很多。

此外，這一技術也能提供更大的動態範圍，讓每一個畫素都能按照不同的曝光值來曝光。

這樣，即使在非常嚴苛的光線情景（如室內或夜景）下，拍攝影象也不會得到很大的損失。

然後就是提供更精準的座艙監控技術。

可以看到，這一監控能夠追蹤駕駛員的目光方向。

不僅如此，連眨眼速度也能監控，這可是傳統的監控解決方案做不到的。

這就是普諾飛思聯合Xperi開發的全球首個基於神經擬態視覺系統的駕駛員監控解決方案。

還有基於事件的高階駕駛輔助系統，增強了現有的雷達、鐳射雷達和攝像頭系統，能夠更快速、準確地理解周圍的環境。

通過細胞實時無菌檢測實現的下一代細胞療法，用於減少醫療製品的生產成本：

也有失明患者藉助將基因療法、光刺激醫療裝置、以及普諾飛思感測器結合起來的光遺傳療法恢復了部分視力。

除此之外，工業上也有這種感測器的應用：

比如對於一些不能直接接觸的大型機械（如高壓環境）可以做非接觸性的振動檢測。

在焊接上也可以做到引導和質檢。

這是怎樣的一個公司

普諾飛思（Prophesee）是一個7年前在巴黎創立的公司。

這家科技公司致力於神經擬態視覺系統的研發，其基於事件的視覺感測器已應用在攝影、自動駕駛、工業自動化、醫療等多個領域。

公司CEO兼聯合創始人Luca Verre擁有米蘭理工大學和巴黎中央理工學院的物理學、電子和工業工程雙碩士學位。

還曾任豐田汽車公司和Altis半導體公司的工程師。

在7月6日這場釋出會上，普諾飛思宣佈C輪融資，由創新工場領投、小米及上海韋豪創芯跟投，數家老股東加碼。

這也是今年繼DeepMind之後，又一家能走進中國視野的歐洲AI創業公司。

創新工場董事長兼CEO李開復博士表示：

普諾飛思在神經擬態視覺領域的先進技術，將為AI和機器視覺技術的發展開創更多的可能性與機會，幫助更多行業實現自動化、安全以及效率方面的提升。

普諾飛思官網：https://www.prophesee.ai/