超能課堂(277)：NVIDIA DLSS的進化之路

話說最近這陣子NVIDIA的DLSS應該可以說是無人不知的了。前不久來自Rockstar的神作《荒野大鏢客：救贖2》以及Bethesda的《毀滅戰士：永恆》都宣佈將會加入對光追以及DLSS的支援，一下子就為光追以及DLSS增添了兩款大作，讓支援這兩項技術的遊戲增至超過55款。而在接下來的時間，還會有更多遊戲加入對DLSS的支援，甚至連Linux的玩家都可以很快享受到DLSS所帶來的流暢遊戲體驗。那麼這個DLSS到底是什麼東西呢？為什麼遊戲加入了DLSS之後，幀數可以得以提升呢？

DLSS是什麼？

DLSS的全稱是Deep Learning Super Sampling，翻譯成中文就是深度學習超級取樣，它的作用是通過降低遊戲內的渲染解析度，同時以拉伸來提高顯示解析度，例如1080P的渲染解析度以及4K（2160P）的顯示解析度，來達成提升幀數的目的。

顧名思義，DLSS是由兩部分組成的，分別是深度學習，以及超級取樣。深度學習這部分其實很好理解，就是讓DLSS背後的AI，以機器學習的方式，從海量由超級電腦運行不同遊戲得出來的16K超高解析度影象參考標準（Ground Truth）中學習，讓AI可以更加準確地根據有限的畫面資料來合成出一幀符合目標顯示解析度的畫面。

至於超級取樣，指的則是以多個維度取樣幀畫面資料，從而增加AI可以作為參考依據的資料量。這裡是包括了4個方式的取樣：一是大家都知道的遊戲低渲染解析度下的幀畫面；二是同一幀畫面的動態向量資料（Motion Vectors），這些資料可以讓AI「知道」這幀畫面中的物件是在往哪個方向運動當中；三是前一幀被DLSS合成增強過的畫面；最後是上面提到的海量16K解析度影象參考標準。

說到這裡，那可能會有朋友說：「那DLSS不就是普通的取樣基礎上加上AI拉伸而已嘛。」其實並不然，因為如果只是一般的取樣方式，那麼DLSS後面的兩字母也不可能被稱為超級取樣了。我們以NVIDIA自家的Image Sharpening為例，它就是一個利用一般取樣方式以及拉伸的例子。在RTX以及GTX 16系的顯示卡上，Image Sharpening的取樣是是通過利用5點縮放器（5 Tap Scaler）均衡相鄰的畫素點而達成。

這樣的取樣方式確實可以給出不錯的拉伸效果，但由於純粹只是以遊戲渲染的低解析度影像，在幀畫面合成方面的參考資料不多，最終生成的畫面肯定是不如DLSS的。而DLSS由於有動態向量資料，可以更加準確地追蹤畫面上每個物件的運動軌跡，生成更加穩定的動態影象，以及最大程度地減少畫面閃爍或者其他的奇怪現象。

DLSS 的進化之路

DLSS 1.0

首先來說說DLSS 1.0，它是隨著RTX 20系顯示介面卡以及首批實時光線追蹤遊戲同時推出的版本。這個版本的DLSS在幀數方面確實是取得了非常不錯的成績，可以讓玩家首次在實時光線追蹤下以4K解析度及60幀來打暢玩遊戲。

不過由於是DLSS的初代版本，因此1.0時DLSS的AI仍然不夠成熟。一款遊戲如果想要加入DLSS 1.0的話，AI首先需要針對不同的遊戲進行獨立訓練，之後才可以加入到遊戲內。這也是為什麼DLSS推出初期只有少數幾款遊戲可以支援。

另外，DLSS 1.0雖然在幀數方面表現不錯，但是在畫面質量方面就是一個截然不同的故事了。同樣是由於當時DLSS的AI訓練得還沒足夠完善，因此實際遊戲中的畫面會經常出現高糊或者一些奇怪的BUG，例如《控制》裡的女主，開了DLSS之後轉動視角的話，她頭上垂下來的頭髮絲是會消失或者模糊掉的。

DLSS 2.0

從這個版本開始，DLSS可以說是開始被大眾玩家接受了。DLSS 2.0與1.0相比，在各方面都有不同的提升，可以說是得到了質的飛躍。

首先DLSS 2.0在效率和處理速度上有很大的提升，NVIDIA宣稱其速度可以達到原版的兩倍，換到實際遊戲中就是同樣的設定下可以提高更多的幀數。

接著是更好的影象超級取樣質量，DLSS 2.0擴展了超級取樣的倍數，可以支援4x的解析度拉伸，也就是說在1080p的渲染解析度下通過DLSS 2.0即可拉伸到4K解析度，大大節約了GPU資源，可以提供更高的幀數。

更加重要的一點是，DLSS 2.0不再需要針對單個遊戲進行模型學習推理，從現在開始所有遊戲都會使用一個模型，這大大降低了遊戲開發商使用DLSS技術的門檻。這也為後面虛幻以及Unity引擎加入原生DLSS支援打下了基礎，也讓更多遊戲可以享受到DLSS的加成。

DLSS 2.1

DLSS 2.1是隨著RTX 30系顯示卡釋出同時推出的新版本。與2.0相比，DLSS 2.1在幀數方面並沒有多少提升，卻是在原有的質量、平衡及效能模式中引入了一個超級效能模式。這個超級效能模式其實可以說是RTX 3090掛鉤的，因為NVIDIA正是憑著RTX 3090，首次提出了8K GAMING的概念。而超級效能模式，正正是為了讓玩家可以在8K解析度下游戲而設的。

在超級效能模式下，遊戲渲染解析度為1440P，DLSS 2.1負責把最終的顯示解析度拉伸至8K（4320P）。而從我們之前的評測來看，DLSS 2.1在8K下雖然畫面細節略微有損失，但並不明顯，幀數也從卡成PPT直接變成60幀流暢可玩。

DLSS 2.2

DLSS 2.2就是今天解禁的最新版本了。與之前的版本相比，DLSS 2.2並沒有那麼多驚天動地的升級，更多是集中在改善一般畫面以及幀率以及修復不同的BUG上。

最近《彩虹六號：圍攻》中加入的DLSS其實就是2.2版本。國外有的網友把這款遊戲的nvngx_dlss.dll檔案拿了出來放到其他已經支援DLSS的遊戲中，發現幀數與2.1/2.0的相若，不過看起來確實是修復了一些畫面上的BUG，畫面質量也有提升。

這其實也說明了，在DLSS背後的AI持續不斷的訓練升級以及自我完善之下，DLSS的未來依然擁有不錯的潛力。

AMD FidelityFX Super Resolution

相信有不少DIY玩家都應該知道，NVIDIA的對家AMD最近也準備要推出一項以拉伸來提升幀數的技術FidelityFX Super Resolution（簡稱FSR）。雖然暫時不清楚這個技術到底是怎樣實現的，但是就ADM在COMPUTEX上的PPT來看，幀數提升幅度是相當大的。當然，這麼巨大的幀數提升到底對於遊戲畫質會有什麼影響呢？我們也是拭目以待。

遊戲支援

DLSS除了本身的成長空間有不少潛力之外，在遊戲支援方面也同樣有著巨大的潛力。截止目前為止，已經有超過55款遊戲加入了對DLSS的支援，其中不乏《賽博朋克2077》、《使命召喚：冷戰》、《看門狗：軍團》、《地鐵：離去》、《控制》等的3A大作，還有《我的世界》、《機甲戰士5：僱傭兵》、《飛去月球》等的遊戲。

而得益於DLSS 2.0之後不用針對每款遊戲單獨訓練的設計，現在遊戲引擎要加入對原生DLSS的支援也是非常容易了。早在今年2月時，DLSS就率先以插件形式加入到虛幻引擎當中；而在4月中游戲引擎Unity也宣佈會從2021.2版之後開始原生支援NVIDIA DLSS。有了這兩大遊戲引擎的帶領，未來將會有更加多遊戲支援原生DLSS。

最近加入DLSS的遊戲

《彩虹六號：圍攻》

而在最近，又有一大批遊戲宣佈已經/在不久的將來會加入DLSS。大家聽到最多的，應該是上面提到過的《彩虹六號：圍攻》，這款遊戲在不久前才加入了NVIDIA Reflex功能，現在是更進一步，把DLSS 2.2率先加入到遊戲當中。在開啟了DLSS之後，玩家可以在Vulkan版本的《彩虹六號：圍攻》中，在4分解析度之下以最高畫質超過100幀的遊戲體驗。

《涅克羅蒙達：賞金獵人》

這款在剛剛在6月份推出的遊戲在推出首日就已經有原生的DLSS支援。作為《戰錘40K》宇宙的一部分，玩家在這款遊戲內會扮演一名身處Hive City（超巨型人類聚居地）底層的傭兵。遊戲的玩法是有點類似《毀滅戰士》的那種暢快到處飛跳無腦突突突，因此擁有高幀數就非常適合這個快節奏的遊戲，而DLSS正好就可以給到玩家們所需要的高解析度下高幀率遊戲體驗。

《無人深空》

這款經歷了工作室被洪水淹沒然而浴火重生並且大獲好評的遊戲在6月初也加入了對DLSS的支援。不過相對於一般遊戲，《無人深空》加入DLSS支援可以說是有另外一層意義，那就是DLSS終於來到了VR遊戲上面。雖然說《無人深空》並不是專門為VR開發的遊戲，但是它可以在VR之下游玩。而DLSS的加入，可以說是解決了長久以來阻礙VR發展的因素之一：低幀率。

即將加入DLSS的遊戲

而在接下來這段時間，還會陸續有遊戲加入對DLSS的支援，包括幾款在全球範圍內都很受歡迎的3A大作。

《樂高建造者之旅》

這款原本是在移動平臺上的益智解謎遊戲，將會在明天，也就是6月22日推出PC增強版。PC版的《樂高建造者之旅》將會加入實時光線追蹤以及DLSS，光追的效果將會包括光線追蹤環境光遮蔽、全局光照、反射和陰影。在這堆光追效果的加持下，DLSS可以說是一個很有必要的功能了。

為Linux帶去DLSS：Proton

同樣從明天6月22日起，Linux玩家將可以透過《Proton》現遊玩Vulkan版《毀滅戰士：永恆》、《無人深空》以及《德軍總部：新血脈》等遊戲。而在今年稍後時間，DLSS還將會透過Proton加入DirectX遊戲中，這無疑將會使DLSS的玩家受眾再擴大一圈。

《荒野大鏢客：救贖2》

關於這款3A大作無需過多的介紹，大家都知道它是神作。作為《荒野大鏢客：救贖》的前傳，《荒野大鏢客：救贖2》將會在不久的將來加入實時光線追蹤以及DLSS。這遊戲原本的光柵化已經做得相當出色，在光追的加持下只會更上一層樓。既然加入了光追，那麼DLSS當然也是少不了的。在光追以及DLSS雙重加持之下，相信遊戲可以以更好的光照以及更加的幀率為玩家帶來更加真實的美國19世紀西部體驗。

DLSS，未來生態會更完善

DLSS作為一項由AI推動的技術，未來的成長空間是巨大的。一方面遊戲的畫質會隨著AI的愈加完善而愈來愈接近甚至反超原生解析度，二來遊戲幀數也會隨之而更加優化。最重要的是,未來DLSS在達成這些成就的時候，相信還會對Tensor Core的利用保持在相對合理的水平，可以說是有點「戰未來」的味道。未來愈來愈多的遊戲加入對DLSS支援，也意味著DLSS以及光追的生態將會愈加完善。