探祕HDR：西瓜、抖音是如何做到讓視訊的畫質堪比影院大片的？

僅根據下面的兩幅畫面，你能辨別出，哪個是短視訊，哪個是電影畫面嗎？

首先認識一下HDR

視訊畫質繞不開5個元素：解析度、位深、幀率、色域和亮度。其中，解析度影響影象細節的精細程度（即清晰度），位深影響色彩漸變的精細程度，幀率體現視訊動作的流暢度，色域顯示視訊能表達的顏色範圍，亮度表示人類眼睛所能感知的最暗和最亮物體之間的差異範圍。總的來說，這5個方面的技術參數越高，視覺上的表現力越好。

當前，解析度、位深、色域和幀率方面的技術已經相對成熟，亮度成為決定視訊表現力的關鍵因素。

這並不難理解，視覺影像本就是光與影的藝術。我們過去常常覺得視訊和圖片不如現實中的風景生動，主要原因就是技術無法逼真還原自然界的真實光影。

現在，行業普遍通過高動態範圍成像（High Dynamic Range Imaging，簡稱HDRI或HDR）技術解決這一難題。

在計算機圖形學與電影攝影術中，HDR是用來實現比普通數點陣圖像技術更大的曝光動態範圍（即更大的明暗差別）的一組技術。高動態範圍成像的目的就是要正確地表示真實世界中從太陽光直射到最暗的陰影這樣大的範圍亮度。

相比於此前業內通用的SDR（Standard Dynamic Range，標準動態範圍影象），HDR影象能夠呈現的明暗細節更多，色彩更豐富，能夠最大程度地還原真實場景。

從iPhone12開始，HDR拍攝正逐漸成為趨勢，目前已經有越來越多裝置(iOS、Android、專業相機)開始支援HDR的拍攝。

在播放上，HDR視訊已經廣泛普及。不論是國外的 YouTube 和 Netflix，還是國內的西瓜視訊、抖音等平臺，都已經支援 HDR 視訊播放。

但在創作層面，HDR視訊的編輯、合成依然面臨著不小的技術挑戰。

位元組跳動智慧創作團隊如何實現全鏈路支援HDR

HDR標準存在多種協議，再加上多種色域的影響，在混合多種不同格式視訊的場景，如果處理不慎，就會出現生成視訊顏色和亮度跳變不和諧的情況。此外，在不支援HDR顯示的硬體，如果也籠統的採用HDR的處理方式，會出現過曝的現象。即使同樣是HDR的視訊，也會因為技術差異，顯示的畫質效果差異巨大，譬如由於位深不足，可能會導致某些場景下出現明顯的顏色漸變分層的現象。在短視訊從編輯、釋出到消費的全鏈路處理過程中，要如何因應硬體和視訊條件，還原出原生HDR視訊程度的顏色和亮度，是目前HDR視訊處理的難點所在。下面我們就著這幾個難點問題，分別講一下位元組跳動智慧創作團隊是如何解決的。

視訊編輯環節：

相容主要的HDR標準

HDR有很多標準，也有很多擴展標準，分別適用於不同的應用場景，比較常見的主要包括：

HLG：HLG的全稱是Hybrid Log Gamma，是由英國BBC和日本NHK電視臺聯合開發的高動態範圍HDR標準。HLG不需要元資料，能後向相容SDR，相比HDR10，即使在現有的SDR顯示裝置上，HLG畫面也能呈現得豔麗動人。

HDR10：HDR10的全稱是HDR10媒體檔案，由美國消費電子協會在2016年公佈。該標準建議使用2020色彩空間，感性量化(Perceptual Quantizer:PQ)和10位的位深度，本文中用PQ來表示。

Dolby Vision：Dolby Vision的中文名是杜比視界，是美國杜比實驗室推出的影像畫質技術，通過提升亮度、擴展動態範圍來提升影像效果。它可以提升視訊訊號保真度，從而讓影象看起來非常逼真，但主要應用於影院場景。

這裡介紹日常更容易接觸到的HDR標準——HLG和PQ。

HLG和PQ的線性光曲線：

HLG視訊一般亮度峰值在1000nits，而PQ的亮度峰值可達10000nits。對視訊創作平臺來說，只有相容以上HDR標準的演算法，才能夠真正實現支援HDR視訊創作。

上面介紹了主流的HDR標準，要進行高質量的HDR視訊編輯還必須解決如下問題：

支援10bit位深的視訊解碼和渲染

HDR視訊並不一定必須是10bit位深，但是10bit位深能讓視訊呈現出更好的色彩漸變精細度，尤其是在純色的背景下更為明顯。這需要將傳統的8bit位深鏈路改造成10bit位深，打通全鏈路的10bit HDR，令HDR視訊在全鏈路編輯中沒有精度的損失，保持最佳效果。

位元組跳動智慧創作團隊通過改造渲染鏈路，支援10bit位深的渲染，在視訊處理的整個鏈路中，減少精度的丟失，最大程度還原真實的原視訊效果。

左圖為10bit位深，右圖為8bit位深

支援色域

除了位深，為了相容多種色域視訊的混剪，位元組跳動智慧創作團隊支援了更多的色域轉換，如常見的BT709、Display P3、BT2020等。

支援Tone Mapping的轉換

Tone Mapping的轉換是HDR支援的關鍵點。顯示HDR視訊的主要流程如下：

由於HDR在亮度顯示上是有要求的，而目前主流顯示器大部分都無法達到顯示HDR亮度的標準，需要通過Tone Mapping演算法，將超出的部分Mapping到對應顯示器的範圍，而不是直接丟棄。

Tone Mapping演算法對畫面最終呈現的效果起到關鍵作用，如果演算法相容性差，就會產生色彩偏差、細節丟失等問題。位元組跳動智慧創作團隊通過對各種場景的反覆比對、調整，優化了Tone Mapping的演算法，實現不管是SDR轉換成HDR還是HDR多種格式互轉，最終都能呈現最接近原生相機的HDR效果。

由於平臺上的視訊源有多種類型（如傳統的SDR、HLG、PQ等），在做不同色域的視訊混合編輯時，如果不去相容不同的色域，就會出現如下情況：

左為原視訊，中為未做相容的混剪視訊，右為相容後視訊

支援特效素材HDR

傳統的素材基本上都是基於sRGB的色域設計的，在HDR視訊場景，直接應用到BT2020的色域上，必然存在顏色不匹配的問題。

目前抖音、西瓜線上素材的種類非常繁多，但光采用上述的Tone Mapping將SDR素材實時轉換成HDR素材，也是沒法完全解決所有素材的效果問題，甚至還會出現轉換後效果不如之前。所以我們還採用了素材重新設計的方式，將Tone Mapping效果不好的素材重新設計。位元組跳動智慧創作團隊也是行業內第一家支援特效素材展示HDR效果。經過這些措施，大家就能在抖音、西瓜上新增特效的時候，看到最真實的HDR效果。

目前，西瓜視訊、抖音和剪映已經較好地解決了上述HDR視訊編輯的難題。以抖音為例，抖音的視訊編輯能力無論是在多種不同色域視訊混排、還是單一HDR視訊顯示效果、以及ToneMapping演算法的調優方面，均達到行業領先水平：

左為經抖音編輯後的HDR效果，右為傳統SDR

視訊消費環節：

由於HDR視訊的播放對螢幕所能支援的亮度有要求，在消費環節，最大的技術調整是相容性。位元組跳動智慧創作團隊通過ToneMapping的方式，可以讓不支援HDR視訊亮度的螢幕也能展示出較好的色彩。

左為HDR效果，右為不支援HDR的手機播放HDR

值得一提的是，目前，位元組跳動已經行業首家實現同一套解決方案/程式碼在多個平臺（Windows、MacOS、iOS、Android），西瓜、剪映、抖音（開放測試中）多個業務中同時全鏈路支援HDR視訊。上述能力已免費面向使用者開放。

Mac

Windows

伴隨HDR視訊序幕的拉開，相信在不遠的將來，HDR直播也會實現普及。創作者可以用更接近真實的效果來展示自己的作品，為視訊使用者帶來一個色彩斑斕的新世界。

位元組跳動智慧創作團隊

智慧創作團隊是位元組跳動音視訊創新技術和業務中臺，覆蓋了計算機視覺、圖形學、語音、拍攝編輯、特效、客戶端、服務端工程等技術領域，在部門內部實現了前沿演算法-工程系統-產品全鏈路的閉環，旨在以多種形式向公司內部各業務線以及外部合作客戶提供業界最前沿的內容理解、內容創作、互動體驗與消費的能力和行業解決方案。

目前，智慧創作團隊已通過位元組跳動旗下的火山引擎向企業開放技術能力和服務。