別看樂高模板了！利用計算機視覺技術，這個軟體幾秒就識別滿地積木，還能激發靈感

2021-07-23 03:03:51

大資料文摘出品

作者：Caleb

說到樂高，那可是大人小孩沒人不愛的玩具了。

每次看到一大堆的樂高積木，把它們挨個拼成模板圖那樣的時候，成就感簡直爆表了。

完成之後還要把作品端正地擺放在書桌前，好好端詳一番。

但是，不知道有沒有人想過，其實這些積木不止有一種拼法。

按照模板，你可以把這些積木拼成火車，當然，也有人選擇不走尋常路，非要拼個飛機場出來。

或者，更「奇葩」一點的東西？

比如，你就可以把這個企鵝模型改裝成一個企鵝機器人，別說還真有內味兒：

又或者，你可以把一個普通的小狗模型改得更有味道一些：

是不是已經躍躍欲試，準備馬上對家裡的樂高「下手」了？別急，還有更多創意，且聽文摘菌細細道來。

幾秒就能識別一地積木，樂高粉絲「殺瘋了」！

這種時候，肯定也有人像文摘菌一樣，手腳不靈活就算了，腦子也空空蕩蕩的，看到這一地的樂高積木，愣是什麼靈感都出不來。

別急，救星來了。

先看看這個東西到底怎麼個玩法。首先，它會識別滿地的樂高積木：

然後，會提供一些能利用這些積木、但是又和常規模板完全不一樣的創意造型：

怎麼樣，是不是頓時感覺自己還能再搶救一下？

根據TechCrunch報道，其實，樂高一直和蘋果保持著密切合作，嘗試使用一些未釋出的iOS技術，在WWDC上演示，比如對增強現實ARKit平臺進行的修復，使之能夠為實體玩具也新增一絲數字體驗。

當然，這也包括了這個叫做Brickit的軟體，據瞭解，該軟體由一個粉絲團隊建立的，主要通過使用計算機視覺技術，來快速識別堆積如山的積木，同時給出一些別具一格的創意提醒。

整個過程中，你只需要把你的積木倒在地板上，然後就讓Brickit進行快速識別歸類與分析。最讓開發者自豪的，當然要屬Brickit的速度了，從上圖中也可以看到，Brickit只需短短几秒就能完成識別與分析。

根據部分使用者反饋，使用效果與上述步驟類似，只是在識別和進行下一步操作之間增加了一些載入時間。在瀏覽說明時，使用者也可能會被指向積木堆中某一特定所需作品所在的區域。

目前，Brickit在第一方訪問方面還有很多事情可以做，主要是在訪問與樂高現有指令庫的整合方面。2019年，樂高收購BrickLink，足以看出樂高一直旨在抓住更多圍繞售後創作的社群粉絲。

如果能夠允許建立一個使用者所擁有的實際積木的資料庫，從而獲得一些關於他們所擁有的套裝的見解，這對樂高來說，無疑也是有價值的資料。

試想，當受到Brickit的啟發，靈感擋不住要溢位來了，這個時候你需要快速找到需要的樂高積木，但是看到滿地的積木瞬間喪了氣。

別急，這個時候你只需要另一個樂高神器，困難就能迎刃而解。

噹噹噹當，樂高通用分揀機閃亮登場。

根據分揀機的製作者Daniel West介紹，這臺機器結合了CNN和3D識別，可以說是世界上第一臺「樂高通用分揀機」，同時，這個分揀機還是由AI驅動，能夠識別出任何已生產的樂高零件，並將它們歸類。

讓我們來仔細看看這個機器到底有什麼花樣。

如下圖，這就是分揀機的核心部分「Capture Unit」，一個擁有傳送帶、照相機和照明燈的小空間。看起來好像沒什麼大不了，實際上要想讓它順利完成工作，有很多需要注意的事情。

相機會拍攝沿著傳送帶輸送的樂高零件，然後將照片上傳到運行著AI演算法的伺服器，從數千個可能的樂高元素中識別零件。

核心問題是需要將傳送帶的實時視訊流，轉換成神經網路可以識別的各個部分的獨立影象。

最終目標：從原始視訊（左）到大小均勻的影象（右），然後傳送到神經網路。（動圖的速度比實時視訊慢了50%左右）

這裡用到了目標檢測，即檢測目標的存在、位置和大小，以便零件在每一幀都能生成邊界框。表面上看起來很簡單，實際上卻困難重重。

要想順利實現零件的識別與分揀，還有許多需要注意的地方，比如相機的位置和角度；光源要保證充足；另外零件還不能與傳送帶的顏色一樣，否則無法扣除背景。

在訓練神經網路上也需要耗費大量時間和精力，什麼是神經網路呢？可以把它看作一個虛擬的大腦，它可以通過接受輸入並轉換成相應的輸出來完成特定任務。

一般來說，輸入給神經網路的資料越多，它完成任務的能力就越強。樂高分揀機的神經網路是通過輸入樂高零件的影象，輸出相應零件的編號。

由於樂高的零部件有成千上百種類型，顏色多樣，並且從不同角度看形狀也不一樣。因此，收集正確的訓練資料集是整個工作中最難的一部分。West在分揀機運行幾天後捕獲了30萬張影象，這是其中的一部分。

怎麼樣，現在可別再完成一個樂高模型就把它束之高閣了，這些小玩意兒還有很多好玩的地方等待你去解鎖呢。

如果你遇到了什麼新鮮事兒，或者有什麼靈感要分享，快來告訴文摘菌這個手殘吧~

相關報道：

https://twitter.com/AlexanderNL/status/1410253599502962692

https://techcrunch.com/2021/06/30/lego-should-snap-up-this-rapid-fire-brick-finding-ios-app/