基於深度學習的RGBD深度圖補全演算法文章鑑賞

「來源: ｜GiantPandaCV ID：BBuf233」

【GiantPandaCV導語】本文針對3維視覺中的深度圖補全問題，介紹了一下近年基於深度學習的RGB-D深度圖補全演算法進展。深度圖的質量對3維視覺至關重要，深度圖的優劣極大地影響了後續的3d識別等工作，但目前較多研究聚焦於自動駕駛領域的Lidar深度圖的補全，而對RGB-D相機涉獵較少，故本文介紹幾篇基於consumer RGB-D cameras深度圖補全的深度學習方法，以此來看看近期該領域的發展現狀。

0x0. 前言

consumer RGB-D cameras主要是指價格相對低廉的主動式3D相機，如3D結構光相機和TOF相機。通常用於人臉重建，室內場景重建等。深度圖記錄了場景的幾何資訊，它表示場景中物體離相機光心的距離。影象畫素座標可以通過深度圖和相機參數轉換為世界座標系下的三維座標(例如:點雲資料)。一般3D結構光相機的有效距離是0.3-4m，在這個範圍之外的物體就會表現為無資料的空洞，即深度值為0。空洞由無效點組成，其成因是多方面的，包括場景中額外光源的干擾、場景中物體表面特性和遮擋，超出量程等等。這些空洞會導致深度影象上有一些盲區，從而嚴重影響深度影象質量。因此深度圖補全空洞的工作就至關重要了。

0x1. CVPR2018：Deep Depth Completion of a Single RGB-D Image

演算法可以直接通過輸入RGB圖及相對應的深度圖，直接補全任意形式深度圖的缺失。這算是第一篇基於深度學習的RGB-D深度圖補全的文章。

1. 總體介紹：

受制於物理硬體的限制，目前深度相機輸出的深度圖還有很多問題，比如對於光滑物體表面反射、半透明物體、深色物體、超出量程等都會造成深度圖缺失，而且很多深度相機是大片的深度值缺失。深度圖補全一直是一個非常有用的研究方向，之前的文獻大都只能補全比較小範圍的深度缺失，對於較大深度值缺失的情況無能無力，而本文只需要輸入一張彩色圖和一張深度圖，就可以補全任意範圍的深度缺失。注意該工作與深度估計不同，很多深度估計方法只能重現consumer RGB-D獲得的原始深度，本文關注的深度補全是對深度感測器沒有返回值的畫素點進行全新的深度預測。由於這些畫素在原始深度中缺失，因此只在原始深度上訓練的方法不能很好的預測缺失的深度資訊。

2. 挑戰與解決方案：

用深度學習做深度資訊修補過程的挑戰：

①Training data。針對很難獲得大規模的成對的原始深度圖和乾淨gt深度圖訓練集，很多原始深度圖不完整，有缺失的現象，作者引入了一個新的資料集，其中包含105432個RGB-D影象。

②Depth representation。照理說是使用新資料集作為監督以訓練FCN直接從RGB-D深度圖迴歸出深度值，但是哪怕是人類也難以估計絕對深度，尤其是缺失大片區域情況下。因而作者訓練網路只預測深度的局部微分性質（如表面法線和邊界），然後用原始深度圖作為正則化，求解一個全局線性優化問題，最終得到補全的深度圖。

③Deep network design。以前沒有人去訓練一個端對端網路去從RGB-D影象補全深度，沒有前輩經驗是個困難。很難訓練網路從輸入深度圖來填補空洞——網路通常只學會複製和插入輸入的深度。

解決方案：只向網路提供彩色圖片作為輸入，訓練網路在監督下預測局部表面法線。然後將這些預測與全局優化中的輸入深度圖結合起來，以解決返回到深度修補的問題。（網路通過顏色預測局部特徵，這是網路所擅長的部分。法線只代表表面的方向，這是相對容易預測的。邊界為深度不連續提供資訊，有助於保持邊界銳度，所以也有用。）

網路的總體結構：其輸入是RGB-D相機拍攝的一張RGB影象和對應的深度圖，然後根據分別訓練好的兩個網路（一個是針對RGB圖表面法線的深度學習網路，一個是針對物體邊緣遮擋的深度學習網路），預測該彩色影象中所有平面的表面法線和物體邊緣遮擋。最後用深度圖作為正則化，求解一個全局線性優化問題，最終得到補全的深度圖。

該演算法的網路結構3.Method:

（1）Dataset

如何創建RGB-D影象與完整深度影象相匹配的資料集？

①使用低成本的RGB-D攝像機捕捉影象，並將它們與高成本深度感測器同時捕獲的影象對齊。這種方法既昂貴又耗時，這種類型的最大公共資料集涵蓋了少量的室內場景。

②此論文所使用的方法，利用從大環境的多檢視RGB-D掃描重建的現有表面網格，此論文使用的是Matterport3D，先進行稠密的三維重建，然後再進行優化和渲染。雖然單一視角的深度圖可能會有因為不同原因引起的缺失，但是經過多個不同視角的重建和優化，這些缺失的地方都被填補了。然後將其深度結果反投影回到輸入深度圖。最後得到的深度圖就是gt.

（2）Depth Representation

為什麼幾何表示法最適合深度補全？方法一，直接，設計一個基於原始深度和顏色直接回歸出完整深度圖的網路，但非常困難。方法二，間接表示，本文關注預測表面法線和邊界。由於法線是不同的表面性質，它們只依賴於畫素的局部領域。在利用彩色影象求出了表面法線和邊界後，可以結合原始深度圖，重新計算所有深度，然後得到補全後的深度影象,這種訓練彩色圖法不受被測物體和環境的限制,並且網路獨立於輸入的觀測深度。

（3）Network Architecture and Training

訓練深層網路來預測表面法線和邊界以達到補全深度資訊的最佳方法是什麼？

選擇了zhang et.al中提出的深度網路架構，[論文：Physically-based rendering for indoor scene understanding using convolutional neural networks.CVPR2017]。因為在正態估計和邊緣檢測方面都顯示出了競爭效能。該演算法基於VGG16，有對稱的編碼器和解碼器用從重建網格計算出的表面法線和輪廓邊界來訓練網路。用重建網格計算出的表面法線和輪廓邊界來訓練網路。

【如何進行深度訓練？】

訓練網路應該用什麼損失函數？

因為目標是補全缺失畫素，因此目標是訓練一個網路，僅對原始深度影象的空洞內的畫素進行法線預測。且這些畫素的顏色外觀特徵可能與其他畫素不同（發亮，遠離相機等），人們可能認為網路應該只對這些畫素用於網路監督且進行法線迴歸。但這些畫素是比較少的，所以本文對比了在所有畫素上進行訓練以及僅在空洞處進行訓練。結果顯示，所有畫素訓練的模型比僅使用觀察到的或僅使用未觀察到的畫素訓練的模型表現更好，且使用渲染圖法線訓練的模型比使用原始圖法線訓練的模型表現更好。

【網路應該輸入哪些影象通道？】

實驗表明如果用RGB-D四個channels作為輸入來預測三個顏色通道的法線，在空洞部分畫素的法線預測很差（儘管對於observed pixels work），這和大家自然的想法不一致，推測這種網路只是從RGB-D中的depth channel來預測normals了，所以對於空洞就不能work了，這樣給定了空洞對應的顏色圖也不能補全。實驗後發現僅僅使用彩色圖而不用深度圖作為輸入，預測法線竟然效果最好！因此可以訓練一個網路僅從顏色圖來預測表面法線，觀察到的深度僅作為從法線圖正則化求深度時使用。這種將無深度圖預測與有深度優化分離開來的策略很有吸引力，首先，預測網路不需要對不同深度感測器進行重新訓練**（因為僅依賴於顏色）**。其次，優化可以推廣到各種深度觀測作為正則化，包括稀疏深度樣本。

表面法線圖（4）Optimization

目標函數為：四項誤差平方的加權和。

目標函數ED:在畫素p處，預測深度D(p)與觀察到的原始深度D0(p)的距離

EN:預測深度與預測表面法線N(p)的一致性by 切線點乘法線

ES: 促使相鄰畫素有相似的深度值

B ∈ [0, 1]根據一個畫素在邊界B(p)上的預測概率對正常項進行加權

4.實驗結果

搭建橋樑溝通了彩色圖和深度圖資訊 橋就是normals!

實驗環境：對於一幅320x256的RGB-D輸入圖來說，用NVIDIA TITAN X GPU預測表面法線和邊界遮擋需要0.3s。在Intel Xeon 2.4GHz CPU上求解線性方程需要1.5秒。顯而易見，這是一個犧牲時間換取影象質量的演算法！

實驗結果0x2. ECCV2018：Reconstruction-based Pairwise Depth Dataset for Depth Image Enhancement Using CNN

這篇文章主要增強由consumer RGB-D cameras（包括3D結構光相機和tof相機）捕獲的深度影象。包括去噪和填充空洞。

1.總體介紹：

來自手持消費RGB-d相機的深度影象的質量仍然是有限的，因為它們的重要設計目標是速度，而不是精確地獲取三維幾何。由於感測器的物理限制和低處理能力，捕獲的深度影象受到重噪聲和缺失值的影響。由於同時捕獲的RGB影象的質量相對優於深度影象，很多傳統深度圖增強演算法利用RGB圖與深度圖顏色和幾何資訊之間的相關性，即sensor fusion，主要採用基於局部濾波器的方法。然而，單個退化的深度影象只包含場景幾何的部分資訊，以往基於影象的方法在解決重噪聲和缺失值方面的能力有限。

儘管基於CNN的影象處理在彩色影象恢復方面取得了成功，但由於缺乏原始乾淨的成對gt資料集，類似的基於深度學習的深度圖增強方法到目前為止還沒有得到積極的研究。彩色影象復原可以由高清彩圖降質得到大量資料，因而對資料驅動的深度學習演算法非常有利，而深度影象採集上質量就很差，難以給深度學習提供資料。

與上一篇介紹的文章對比，CVPR2018那篇文章主要集中在估計未觀察到的大深度值，而不是從低質量的RGB-d影象中去除噪聲和填補空洞。此外，他們沒有解決由不準確的三維重建引起的原始輸入和渲染的深度影象之間可能的不匹配，這應該解決，以便有效地訓練深度影象處理網路。

2.貢獻：

①作者提出了一個大規模的原始帶噪和乾淨的成對深度影象資料集，可以用於深度影象增強的監督學習，乾淨深度圖是在RGB-d流上應用最先進的密集三維表面重建。

②提出了一種基於深度影象增強的具有多尺度跳過連線的深度拉普拉斯金字塔網路，以級聯的方式降低噪聲和空洞。

③網路訓練的損失函數使原始幾何結構在深度影象增強過程中得以保留，其特性有助於加速密集三維表面重建的收斂。

3.Method:

論文討論了consumer RGB-D cameras三個關鍵問題：depth noise（噪聲，法線可以視覺化看出）, depth hole（空洞）, and depth discontinuity（物體表面的深度不連續）。

①噪聲：原始深度影象通常包含強的非均勻噪聲模式。由於RGB-d相機通過分析投影模式（結構光相機）或測量發射光的傳播時間(TOF相機)來捕獲三維幾何，噪聲分佈受表面材料和距離攝像機的影響。因此，具有固定核大小的傳統影象濾波器，如雙邊濾波器，不足以處理各種噪聲。相反，作者使用一個深度CNN，它可以通過從給定的深度影象中提取多尺度特徵來自適應地處理噪聲。

②空洞：RGB-d相機的物理限制導致缺少深度值，稱為空洞。太閃亮或吸光的物件也會導致缺失深度值，預測缺失值需要了解輸入場景的局部和全局上下文。為了實現這種預測，我們的網路架構逐漸將深度影象從粗（輸入的1/4大小）提高到精細尺度來實現深度圖增強。

③物體表面的深度不連續：與邊緣周圍具有抗鋸齒光滑畫素的彩色影象不同，深度影象不應具有通過混合前景和背景深度獲得的抗鋸齒深度值。為了保持深度影象中的原始不連續性，提出了一種基於梯度的結構保持損失函數，它可以強烈地懲罰深度邊緣的平滑性。

4.資料集的生成：

用高精度鐳射掃描器捕捉場景可以為資料集產生乾淨的深度影象，但這種方法需要額外的硬體。如果通過繪製綜合建模的高質量三維場景來獲得乾淨的深度影象，但深度圖的降質過程不容易實現。因此，作者採用了稠密的三維重建技術去獲得乾淨的深度圖。在資料集生成過程中，作者通過測量結構相似性來檢查原始和乾淨深度影象對的質量，並過濾掉低質量對，以提高資料集的整體質量。（方法與剛介紹的CVPR2018的文章類似）

5.網路結構：LAPDEN

拉普拉斯金字塔深度增強網路Laplacian Pyramid Depth Enhancement Network（LAPDEN）

與直接提高給定輸入影象的空間解析度的超解析度不同，Lapden首先在最粗的尺度上預測乾淨的完整深度影象，其解析度為原始解析度的四分之一。然後，預測的四分之一大小的乾淨深度影象逐漸通過金字塔向上取樣，以預測一半大小和原始大小深度圖。此外，在下采樣過程中提取的特徵被傳遞到具有跳過連線的上取樣金字塔，以防止在上取樣過程中丟失輸入深度影象中的原始細節。對於影象金字塔的每個級別，一個長跳過連線直接將提取的特徵傳遞到網路的後面相應部分，以便能夠融合以不同尺度（紅色箭頭提取的特徵）。

LAPDEN網路結構結構細節：輸入深度圖經過7×7的卷積層對映為64通道的圖，然後輸入到帶有跨層連線的多層金字塔結構。在最粗的尺度上，使用影象重建層從提取的特徵中預測四分之一大小的剩餘深度影象，噪聲和空洞幾乎可以被移除。在此基礎上，對特徵進行了上取樣和進一步變換，以預測上層的細尺度子帶殘差。分別在金字塔的中和高層使用20和40個卷積層作為殘差塊。除了預測殘差層（即重建層）之外，每個卷積層都有一個-0.2斜率的rectified linear unit (LReLU)，所有卷積層都使用64 channels，其大小為3×3。下采樣和上取樣是由卷積層和轉置卷積層使用64 channels進行的，其大小為4×4。

結構的優點：首先，當在粗尺度上嘗試時，降噪和填充空洞變得更容易。下采樣輸入深度影象自然減少噪聲和空洞，CNN的感受野尺度變大，因而網路可以很容易地學會預測代表場景整體結構的乾淨完整的深度影象。第二，由於在粗尺度預測中估計了整體結構和光滑表面，更精細的尺度層只需要學習預測「銳化深度邊緣不連續性和精細細節的殘差」。

6. 損失函數：

總體損失函數被定義為資料損失Ld和結構保持損失Ls的組合：

總體損失函數多尺度資料損失：x表示輸入深度圖，y和n是x對應的乾淨深度圖(gt)及其法線圖，y是輸出深度圖。我們首先用y與y之間深度的L1距離和y與y之間的深度梯度L1距離來定義ld，就像通常基於cnn的迴歸一樣（對應公式前兩項）。此外，我們還使用了它們之間表面法線之間的L1距離（公式最後一項np和np代表法線）。表面法線方向對深度值的振盪噪聲高度敏感，因此與前兩種措施相比，最小化表面法線距離對於去除小深度噪聲是有效的。這個loss可以解決method提出的前兩個問題（噪聲和空洞）。總的來說，我們定義資料Ld如下：

LD損失結構保持損失：method第3點指出了深度影象沿前景和背景區域之間的邊緣具有明顯的不連續性和強烈的混疊。傳統的損失函數，如深度值的L2或L1，很難保持這種不連續性。作者提出了一種基於梯度的結構保持損失Ls，以保持原始幾何結構和深度影象的不連續性。在數學上，深度不連續在邊緣畫素處引入了強梯度大小。如果發生反混疊或混合，當陡峭的邊緣擴展到多個畫素時，邊緣周圍的最大梯度幅度變小。

Ls損失函數這裡Ωp代表5*5的視窗，Ls計算畫素p周圍的最大梯度幅度，並測量y和x的最大值之間的距離。因此，最小化Ls強制y和x具有相似的深度不連續結構。這裡可看出，Ls並沒像Ld那樣用y作監督，而是用輸入x作為監督資訊，是為了使得輸出深度圖保持給定輸入深度圖的原始結構。Ls能使預測的邊緣能夠從相鄰畫素中獲取結構資訊，即使輸入影象中的深度畫素在該位置丟失。

因此，通過訓練具有結構保持損失Ls和資料損失Ld的網路，有效地保留了輸入影象的原始深度不連續性，同時顯著減少了其噪聲和填補了缺失的深度值。

7. 實驗結果：

作者採用了三級訓練策略，先把深度圖降為四分之一尺度訓練，即只採用粗等級的監督。第二階段訓練同時採用二分之一和四分之一，第三階段採用全部的三個等級的監督。

實驗例子這個例子表明，深度噪聲和空洞是在最粗的尺度上細化的，細節和鋒利的邊緣是通過兩個更細的尺度恢復的。

對於本文的推理速度，作者並沒有提及，但作者描述本文的缺點是不能夠實時，後續將是研究的重點，實驗結果還是很好的。

實驗結果展示0x3. ECCV2018文章：DDRNet

Depth Map Denoising and Refinement for Consumer Depth Cameras Using Cascaded CNNs

這篇文章主要增強由consumer RGB-D cameras（包括3D結構光相機和tof相機）捕獲的深度影象。包括平滑去噪並補充細節。

1. 作者觀點：

平滑去噪：能減少感測器噪聲，但是高頻細節深度資訊被修改了，這樣的退化永遠無法在細化步驟（refinement）中恢復。因而傳統演算法已不足夠解決問題。

深度圖增強通常採用RGB圖來引導增強深度圖。

深度融合：多幀作為輸入，融合多幀資訊來提高深度圖質量。

深度細化方法（refinement）：主要是提取幾何細節。

2.總體結構

DDRNet是由Denoising net（有監督）和refinement net（無監督）組成，可同時在低頻和高頻上提高深度圖的質量。這篇文章主要是針對****Consumer Depth Cameras，同時適用於3d結構光相機和tof相機產生的深度圖。

總體結構3. 資料

如果噪聲特性因感測器而異，甚至噪聲源也是不可追蹤的，如何生成gt深度圖成為一個主要問題，獲取高質量的深度圖用於訓練挑戰巨大。Denoising net的訓練資料由Dref提供，Dref並非真正的gt，而是由dynamic fusion方法創造。非剛性的動態融合pipeline能重建高質量動態場景的幾何特性（這點與前兩篇文章類似）。據此，作者提出了一種人體資料集，填補了人體表面重建領域無資料集的空白。資料集包括人體的彩色圖，原始帶噪聲的深度圖，dynamic fusion方法造的高質量深度圖（作為gt）。訓練集共36840張，其中11540張來自3D結構光相機，25300張來自tof相機，驗證集共4010張。訓練集包含了不同光照下形態各異且不同衣著的人體。

4.Denoising net：

Denoising net分為三個部分，encoder，nonlinearity，decoder。encoder編碼特徵，nonlinearity增加非線性，decoder解碼出特徵，重建出高質量深度圖。這裡的一些跨層連線在對於Din中保留幾何細節很有用，殘差策略對提取乾淨影象很有用。這裡用轉置卷積（Deconv）代替插值上取樣是為了抑制棋盤偽影。通過融合，可以通過整合積分截斷符號遠距離函數(TSDF,truncated signed distant function )來降低單深度圖中存在的重噪聲。從這個角度來看，我們的Denoising net是學習一個深度融合的步驟，它能夠獲得比啟發式平滑更好的深度精度。

LrecL2和L1損失可能會產生模糊的結果，但它們準確地捕獲了低頻，這符合我們的目的。

然而，在只有深度重建約束的情況下，通過Denoising net後，small local patch中的高頻噪聲仍在，為此我們設計了一個法線項來進一步去除高頻噪聲，旨在約束去噪深度圖的法線方向與參考法線方向一致。Nref法線圖可以由作者提出的D2N層得到。

Ldot5.Refinement net

為了在去噪深度圖中新增高頻細節，我們採用了一個相對較小的基於超柱體系結構的全卷積網路。這裡Cin是單通道的灰度圖。

Refinement netRefinement net解決了反射率和幾何分離問題的挑戰，採用了更好的反射率估計方法，可進一步減輕反射率的影響。該網路不需要任何訓練資料，它是無監督的，依賴於預定義的生成過程，從而對訓練過程產生反向渲染損失。

我們首先將Ddn和Cin的光譜特徵結合起來，然後通過最大池化和卷積下采樣將這些特徵融合在空間域中，最後採用多尺度特徵圖融合。也就是通過提取彩色影象中的高頻特徵，並作為指導，通過圖中所示的網路結構從去噪表面凸顯出局部詳細幾何形狀。由於高頻細節主要是從小的local patches中推斷出來的，因此具有相對較小感受野的淺層網路足夠了。Refinement net 網路在一個向前傳遞的深度圖上生成高頻細節。

許多基於SFS的細化方法（refinement）表明，彩色影象可以用來估計入射光照，這是由影象的渲染過程參數化的。對於朗伯表面和低頻光照，我們可以將反射輻照度B表示為表面法線N、照明條件l和反照率R的函數如下：

B的求解基於該式子，設計了逐畫素的shading loss。它懲罰了渲染影象與相應灰度影象之間差值的灰度和梯度：

lsh其中Ndt是Ddt的法線圖，光係數l可以通過求解最小二乘問題來計算。

此外，為了約束refinement深度圖接近參考深度圖（gt），添加了一個保真度項：

lfid6.實驗結果

人體例子上面例子的Base+Ours refine指的是雙邊濾波去噪加上refinement net，可看出在廣泛的結構噪聲存在下，無法保持獨特的衣服結構，不必要的高頻噪聲會導致照度估計不準確。

在歐氏空間中計算了這兩個點雲之間的均方根誤差(Rmse)和平均絕對誤差(MAE)，還報告了法線的角度差，以及正常差小於3.0、5.0和10.0度的百分比。在測試時，我們的整個處理過程包括資料預處理和級聯CNN預測。預處理步驟包括：深度與顏色對齊、形態學變換和必要時的重取樣。前向推理需要10.8ms（256×256輸入）或20.4ms（640×480輸入）在泰坦X，182.56ms或265.8ms每幀在英特爾核心i7-6900k CPU。值得一提的是，如果不去噪CNN，我們的方法的一個變體，「雙邊濾波+refinementnet」達到640×480輸入時每幀9.6ms的速度。

可以說這是第一篇在重量級GPU裝置上達到實時的基於深度學習的深度圖增強演算法。

實驗結果0x4. 參考

https://blog.csdn.net/uniqueyyc/article/details/81834947歡迎關注GiantPandaCV, 在這裡你將看到獨家的深度學習分享，堅持原創，每天分享我們學習到的新鮮知識。( ω )

二維碼