用手機實時給影象直線描邊，速度不亞於目標檢測，線上Demo可玩

2021-06-08 09:59:26

蕭簫發自凹非寺量子位報道 | 公眾號 QbitAI

沒想到，現在手機上就能做實時線段檢測了。

速度絲毫不比目標檢測慢，而且檢測效果還非常不錯：

線段是計算機建立視覺認知的基礎元素，利用LSD可以快速檢測影象中的直線段，從而根據影象的幾何特徵設計演算法，快速確定目標區域。

△幾種不同的線段檢測模型效果

雖然之前的線段檢測模型也能做到實時性，但往往只有在計算效能不錯的GPU上才能實現。

隨著機器人用途的多樣化，現在就連移動裝置（如手機）和嵌入式裝置（機器人）也希望能搭載線段檢測模型，為機器人視覺研究做準備。

為了滿足這些需求，一個名為M-LSD的移動裝置實時線段檢測模型出現了。

據作者表示，這是首個能在移動裝置上運行的線段檢測模型，目前已開源。

採用單個模組，手機實時預測線段

此前，線段檢測之所以複雜，是因為它需要用到很多模組來預測圖片中的線段。

如下圖，藍色部分是之前的主流線段檢測模型，這些模型的計算量和類型太大，結構還都基於大型模型構造，如基於ResNet50構建的FPN網路、殘差U-Net……

這些模型，往往需要對影象進行多個模組的變換，最終才生成線段預測的結果。

然而M-LSD決定只用一個模組，直接生成center/displacement map，從而一步到位預測影象中的線段，極大地降低模型大小。

事實上，這個模型也確實非常小：1~11層基於MobileNet改編，12~16層則是一個自頂向下結構。

沒錯，一共也才16層結構，只相當於大型線段檢測模型體積的2.5%。

據論文介紹，相比於其他大型模型（圓圈大小表示模型大小），M-LSD能線上段檢測精度幾乎保持不變的情況下，將模型運行速度提升至原來的2.3倍+。

從圖中可見，作者們推出了M-LSD和M-LSD-tiny兩個模型，都可以在安卓和蘋果機上實時運行。

其中，M-LSD-tiny最快能以56.8FPS和48.6FPS的速度在手機上實時運行。

沒錯，現在AI在手機上給傢俱直線描邊的速度，可能比你還快。

而且只要是直線物體，它都能快速地將輪廓提取出來，就像是我們快速勾勒草圖一樣。

現在你也可以用手機試一試（項目地址見文末）。

還有網頁版線上demo

為了方便效果展示，作者們還推出了一個網頁版demo，基於Python的flask框架開發。

開啟這個線上demo（傳送門見文末）後，就可以在線上傳你想要檢測線段的圖片了。

由於是在網頁上運行的，而且生成模型用的是M-LSD，因此檢測速度無法達到手機上的實時檢測效果（手機版M-LSD檢測速度在12.7~26FPS左右）。

不過，網頁版M-LSD生成一張線段檢測圖片，也只需要2.5秒左右。

我們先上傳一張室內設計的圖片試試。

效果確實不錯，直線結構的部分都被勾勒了出來。

不過，線段檢測的效果也會出現一些小bug。

例如在圖中直線不夠明確的時候，容易出現某些線段「漂移」的情況。

團隊介紹

這項研究來自有「韓國版百度」之稱的韓國最大網際網路服務公司NAVER，主職搜尋引擎業務。

一作Geonmo Gu，本科畢業於延世大學的電氣與電子工程學院，碩士畢業於KAIST，研究方向是計算機視覺。

共同一作ByungSoo Ko，本科畢業於韓國忠南大學、加拿大紐芬蘭紀念大學，碩士畢業於KAIST，目前在NAVER就職技術研究工程師。