Metaverse 降臨，如何打造《頭號玩家》？實時音訊不可或缺

「進語音，開麥！」相信很多遊戲玩家都對這句話深有感觸。不管是打PC電競《堡壘之夜》、《守望先鋒》、《DOTA2》、《英雄聯盟》，還是用手機玩《王者榮耀》、《和平精英》甚至狼人殺，「遊戲麥」都是雙手被佔用的玩家之間主要的溝通方式。以音訊為基礎向外延伸出巨大的音視訊社交娛樂需求，在這種溝通方式的背後，是以實時音視訊互動為基礎的新一代網際網路虛擬社交。

堡壘之夜遊戲介面

圖源：3DM

在網際網路誕生之前，人們的娛樂、社交都是在真實世界中完成的。網際網路誕生後直至今日，人們的生活轉變為半真實半虛擬——一部分生活、工作、娛樂在現實中實現，另一部分則在網路上完成。同時，網路正在逐步覆蓋更多的真實生活方式，可以預見，下一代網際網路模式將把人類生活拆分成一個真實、一個虛擬的兩個平行空間，也就是所謂的Metaverse。

Metaverse是Meta+Verse的組合，也就是「元宇宙」，它被定義為「未來網際網路形態」，筆者認為未來VR/AR將是Metaverse的承載終端。經過Roblox上市估值暴漲、巨頭紛紛入局後，Metaverse概念逐漸為人所知。

以當代人的世界觀解釋Metaverse，更貼切一點的說法就是類似電影《頭號玩家》中「綠洲」遊戲一樣，在未來的網際網路世界中，人們會擁有虛擬形象，能夠在虛擬世界中擁有和現實世界一樣的「人生」，一樣生活、社交、工作、娛樂。

構建理想中的Metaverse，重點是如何打造一個與現實生活平行的、體驗幾乎無差異的虛擬世界，這其中涉及建模、定位技術、手勢識別、腦機介面等各類VR/AR底層技術，除此之外極其核心的還包括溝通方式，也就是高質量、低延時的實時音視訊互動技術。由於Metaverse將創造的是一個虛擬的平行世界，未來的人們將會花更多的時間在Metaverse上，這就像現在的我們已經離不開手機了一樣。在這一前提下，VR產業的發展也就變成了不可阻擋的趨勢。

實時音視訊技術將是構建Metaverse的關鍵技術之一

牢牢把握美國下一代網際網路使用者的Roblox近期引爆了Metaverse概念，騰訊、Facebook也不甘落後，而巨頭對Metaverse的關注都共同指向一個終極——社交。但無論是手勢識別還是腦機介面，對人類來說都無法真正替代面對面的交流。可以說，Metaverse最重要的就是與現實世界無差別的互動體驗，而實時音視訊技術可以提升使用者在虛擬世界中的沉浸感。

VR/AR行業一直強調的「沉浸感」是一種微妙的個人感受，它實際上是使用者的眼、耳、口、身多重感官的綜合體驗，使用者在用眼睛、手腳感受逼真、炫酷的虛擬世界的同時，還能通過低延時、流暢的實時音視訊與虛擬世界中的其他真人玩家或者虛擬NPC實時溝通，實現彼此處於同一空間進行面對面交流的體驗。藉助實時音視訊技術，未來你或許可以像《頭號玩家》裡的沃茲一樣，與來自全世界的成千上萬的VR玩家在同一個具備強社交性、高度沉浸感、實時互動的Metaverse虛擬世界中開啟歡暢聊天、組隊冒險之旅。

圖源：網路

正如前文所說，一些大廠已經開始重視實時音視訊互動技術並積極佈局Metaverse領域，同樣的，VR/AR廠商也逐漸開始重視實時音視訊互動技術在VR/AR領域的應用。日前，HTC VIVE虛擬生態大會上，HTC 釋出的ISV合作伙伴計劃中就有全球實時互動雲開創者和引領者——聲網Agora的身影。那麼，聲網Agora有何技術優勢，聯手HTC又會為VR/AR技術的發展帶來什麼變化呢？

落地10餘行業100多種場景月均用量超400億分鐘聲網Agora 有何優勢

簡單來說，HTC VIVE ISV開發者計劃就是搭建一個開發商到企業之間的橋樑，一方面，為企業客戶拓展更多端到端的解決方案組合，另一方面為獨立開發者創建了平臺，提供更多資源和結構化支援，幫助ISV加快VR解決方案的產出，並贏得更多商業機會。

圖源：網路

作為首批參與ISV計劃的企業，聲網Agora成立於2014年4月，在實時互動音視訊領域深耕多年。開發者只需簡單呼叫API，30分鐘即可在應用內構建多種實時音視訊互動場景。聲網Agora API 已經賦能社交直播、線上教育、遊戲電競、IoT、AR/VR、金融保險、醫療、企業協作等10餘行業，共計100多種場景。

隨著VR/AR技術從理論走向落地應用，聲網Agora也逐漸意識到實時音視訊技術對該領域的重要性。聲網Agora對於VR/AR場景的定製化解決方案不僅保持著其實時音視訊技術一貫的高質量、低延時、弱網對抗、高安全性等優異特性，同時還支援跨網跨端互動，實現全終端互聯互通。

在VR/AR中，如果要讓使用者相信，這是一個真實的空間並沉浸其中、不出戲，那麼對音訊「空間感」的要求很高。值得一提的是，聲網的音訊編解碼專利技術，能夠支援全方位多聲道的立體聲——這也是VR/AR實現「沉浸感」的關鍵一環。

要實現完全沉浸，就要模擬人的五官感受，即視覺、聽覺、嗅覺、味覺、觸覺。受限於技術發展，目前仍只能實現部分沉浸，即視覺和聽覺模擬。視覺部分通過解析度提升來達到更清晰的效果，而聽覺模擬則需要藉助環繞立體聲，也就是我們通常所說的全景聲。

而聲網Agora的360°環繞立體聲功能，擁有真實的方位感、距離感，讓使用者在虛擬世界實現「聽聲辨位」、「聽聲識距」，這一技術的應用，也會從實時音訊互動的角度，進一步提升VR/AR內容帶給使用者的沉浸體驗。

加速佈局聲網Agora實時音視訊技術於VR/AR領域落地

在沉澱技術的同時，聲網Agora也同步在探索VR/AR領域的落地場景，並積累了諸多應用實踐。

據瞭解，AR產品和服務提供商亮風臺旗下HiLeia通訊平臺、AR+AI企業級服務商亮亮視野釋出的AR眼鏡與人機協作平臺AR眼鏡GLXSS ME（Multi-Edition）均採用了聲網提供的實時音視訊解決方案。

圖源：亮風臺

想要實現身臨其境的體驗，讓使用者流暢地在自己的AR眼鏡中完成語音、視訊溝通，如遠端專家與一線工人之間的協作，技術人員和維修人員的協作等等，意味著對實時通訊中的音視訊高清晰度、實時性以及穩定可靠程度有著更高的要求。

聲網Agora的實時音視訊技術擁有專門針對弱網環境的演算法和擁塞控制演算法，保證在80%丟包下音訊通話流暢，70%丟包下視訊通話流暢，為使用者帶來更高效的遠端協作體驗。

此外，SD-RTN是聲網專為實時互動而創建的軟體定義實時網，覆蓋了200+國家與地區，擁有超低延時、抗弱網、高併發、高可用等特性，全球端到端網路優質傳輸率超過99%，延時中位數76ms，能夠有效保障AR智慧裝置中的視訊通話超低延時體驗。

在5G+AR加速落地的風口下，聲網Agora的實時音視訊服務，作為5G應用的重要組成部分，助力亮風臺的AR行業解決方案，在智慧製造、遠端醫療等應用場景中更好的實現商業落地。

針對AR智慧硬體電池、CPU受限的問題，聲網Agora也在多方面進行了優化，包括編碼演算法、降噪演算法、幀率和解析度的優化演算法，推出了專為智慧裝置定製的IoT SDK，可以真正做到低功耗、佔用空間小，介面豐富，滿足個性化適配的需求。

此外，聲網還在去年推出全球首個可以跑在RTOS上的RTC SDK，也是業界最小的full-featured RTC實現，包體積300K以下，記憶體佔用2MB，CPU佔用30MIPS，適合超低功耗、快速啟動、成本敏感的IoT場景。

Metaverse 仍在技術積累期聲網Agora入局將夯實VR/AR底層技術「地基」

當下，雖然全球科技、網際網路企業陸續加入到炙手可熱的Metaverse戰局中來，但距離真正的Metaverse實現仍有一段距離，目前依舊處於技術積累期，而VR/AR也將是腦機實現之前承載Metaverse的主要終端。從PC時代到移動時代，再到被稱為「下一代計算平臺」的VR/AR時代，人類社交的核心訴求並沒有發生變化，只是在每一代終端變革中，人與人之間的距離不斷拉近，虛擬世界中的溝通、互動方式越來越趨向真實。

聲網Agora 的合作客戶之一（圖源：聲網Agora）

實時音視訊技術作為構建Metaverse的底層核心技術之一，VR陀螺在與諸多VR/AR內容開發者的交流中發現，在音視訊互動技術方面，目前大家使用的基本都是開源SDK，雖然使用門檻低，但很難保證使用過程中的穩定性。

且此前VR/AR產業對於該技術缺乏關注，導致能夠提供專業解決方案的企業只是鳳毛麟角。此次聲網Agora聯手HTC佈局VR/AR應用，於聲網Agora自身來看是挖掘全新領域、擴大落地場景的機遇，而對於VR/AR產業來說，則是為底層技術夯實了「地基」。

2021年，VR/AR行業看到了不少新技術的發展，包括定位技術、手勢識別等，甚至腦機介面也已進入普通使用者視野、開始探討商業落地可能性的階段。在Metaverse大放異彩、VR/AR技術重獲關注、行業加速奔跑的今天，聲網Agora和其強大的實時音視訊技術的加入，也將有效推動未來虛實融合世界的加速到來。