神經網路版的GTA5火了，網友：好像AI的夢境

豐色 發自 凹非寺量子位 報道 | 公眾號 QbitAI

你見過這樣的GTA5嗎？

看著是不是非常糊。

但如果我告訴你這裡面每一個畫素都是用GAN生成的呢！

當然，車的控制是由強化學習完成。

沒有預寫規則，也沒有GTA5引擎。

神經網路負責處理畫面中的一切資訊，包括遠處的風景，你每按下一次鍵控制車左轉或右轉、車撞到邊欄等操作。

再仔細看一眼：

車有影子，

車窗上有陽光反射，

當然了，車輛互動也是有的！

這個GAN版GTA5來自一位民間高手，訓練用的GPU還是從英偉達借來的！

只需GPU加速，無論什麼作業系統的機器，都可以正常跑起這個Python程式。

而它還衝上了GitHub熱榜：

它又是如何實現的？

從英偉達借來一臺DGX A100

民間高手就是油管上一位百萬博主，他此前是一位賽車手，現在是程式設計師，同時在油管上教機器學習的程式設計。

該模型基於英偉達的GameGAN，此前有人用這個框架做出過吃豆人的遊戲。

但開發GTA5可比吃豆人複雜多了，光是做開放環境這一項就讓難度直接跨上好幾個等級。

既沒有相關模型也沒有訓練資料，作者開始自己摸索。

首先從能控制汽車保持平衡開始，作者借用OpenAI Gym工具包的CartPole環境，用NEAT演算法來完成對它的訓練，然後收集資料。

NEAT，遺傳拓撲神經網路，有人用它訓練了個超級馬里奧。

接著，他利用朋友正在開發的一個叫做Vroom的遊戲。

該遊戲基於OpenAI Gym工具包的Car Race環境，但是完全基於他們自己特殊的目的和需求進行了重寫。

下面是使用英偉達Quadro RTX 8000訓練幾次後的效果：

畫面有一些顆粒感，但是可以做到按鍵控制汽車方向（小輪子都在快速轉動），還可以掉頭、偏離路線再轉回正軌。

做到這兒，作者就已經按耐不住喜悅之情了：「我們可是在神經網路生成的環境裡開汽車誒，道路通往哪裡、轉向後的所有畫素圖都是它決定的啊！」

他將這個初始成果上傳到Twitter之後，英偉達表示：可以試試他們的DGX station！

於是作者借來了一臺含有兩個64核EYPC CPU+八塊A100 GPU、約合140萬人民幣的DGX A100伺服器。

激動的心，顫抖的手，接下來該如何做出對得起這個機器的成果呢？

給Grand Theft Auto建模！

作者還給即將要建的模型取了個名字：GAN Theft Auto。

下面就是儘快收集遊戲資料了，畢竟機器只是借的。

而手動玩GTA來收集太慢了（需要花費數月）, 他最終選擇用12個AI來打這個遊戲。

這12個AI在同一個遊戲例項中「開車兜風」，並且都在同一段道路。不過每一個畫面只記錄一輛車的資料罷了。原始畫面如下圖：

各車輛接受來自Python指令碼的轉向、速度控制等命令。

指令碼會分析當前位置和最近的道路節點，使駕駛路徑儘量不同，這也是為了儘可能地覆蓋所有可能的動作和汽車位置。

有了這些資料環境的幫助，就可以開始在GameGAN的基礎上訓練了。

ps.不瞭解GameGAN結構的停一下：

GameGAN由3大部分組成：記憶模組、動力引擎和渲染引擎。

動態引擎負責瞭解在遊戲環境中哪些行為是「不允許的」（比如吃豆人無法穿牆而過），並負責對行為結果的反應方式進行建模。

記憶體模組負責場景的長期一致性，讓模擬場景不會隨時間而變化，它會記住生成的場景並在需要的時候適當檢索。當玩家回到之前經過的地方時，畫面就能保持一致。

渲染引擎負責渲染模擬影象，它可以學習解碼影象中的靜態和動態分量。

作者訓練出的第一個模型（6個epoch後）效果非常畫素化，也沒有邊界障礙，不過可以非常流利地控制車轉向。

接著加入其他車輛和邊界障礙，訓練出第二個模型，它看起來仍然有些畫素化，但還是清晰多了，而這次訓練加入了超級取樣（讓畫面更清晰生動）。

這就是我們在文章開頭看到的初始版本了。

整個過程前前後後一共花了大約2個月，結果雖然遠比不上使用傳統遊戲引擎、3D建模出來的效果，但作者自己都在視訊裡連呼好幾個cool：這可只是用神經網路就模仿出來的。

這完全就是真的GTA5遊戲。

接下來，作者打算增加它的漫遊範圍，再加一些更有趣的東西，不過要抓緊時間了。

「看起來像是AI的夢境」

不知道你看到這個效果是何種感受，網友們可是炸了，一個個難掩自己的喜愛之情，有人都開始期待無限賽道的馬里奧卡丁車了！

不少人覺得英偉達就該讓作者留著那臺「死貴」的DGX A100。

不過，很多人都覺得目前的畫面很像是AI做的一個迷迷糊糊的夢：一個有點混亂但也可以辨認的世界。

這麼驚喜的作品要說誰不喜歡，那就只有遊戲引擎開發者了。

不知道未來會不會真的使用AI來開發出高質量的遊戲呢～