SIGGRAPH2021 浙大博士研製可微分材質掃描器 採集流光溢彩效果

機器之心專欄

機器之心編輯部

來自浙江大學計算機輔助設計與圖形學國家重點實驗室和杭州相芯科技有限公司的聯合研究團隊提出了自由式材質掃描的可微分框架，並研製了材質外觀掃描器原型，實現了對非平面的複雜外觀的高精度採集建模，研究論文已被 ACM SIGGRAPH 2021 接收。

三維掃描器是一種通過結構光（structured lighting）來獲取物體表面精確幾何資訊的科學儀器，經過二十多年的發展，已經形成了相當成熟的商用市場。三維掃描器的代表性產品包括德國蔡司的 Comet、盧森堡 Artec3D 的 Spider 以及中國先臨的 EinScan。

圖 1：EinScan Pro 2X Plus 三維掃描器。

然而如何掃描真實物體的複雜材質外觀，在數字世界中高精度地還原出「流光溢彩」的視覺效果，一直是困擾學術界和工業界的難題。相關技術在文物數字化保護、電子商務商品展示、影視特效以及電子遊戲等領域有著廣闊的應用前景。

針對這一難題，浙江大學計算機輔助設計與圖形學國家重點實驗室和杭州相芯科技有限公司的聯合研究團隊提出了自由式材質掃描的可微分框架，並研製了材質外觀掃描器原型，實現了對非平面的複雜外觀的高精度採集建模，如圖 2 所示。

圖 2：可微分自由式材質採集過程（上）和高精度複雜材質掃描結果（下）。

該研究的論文《Free-form Scanning of Non-planar Appearance with Neural Trace Photography》已被計算機圖形學頂級國際會議 ACM SIGGRAPH 2021 接收。

已有工作

如圖 3 所示，現有材質採集的研究工作大致可以分為兩類。一類是專業級 Lightstage 系統，通過使用高達幾萬個獨立高亮 LED 光源，對物體的反射屬性在角度域上進行高效高精度測量。然而此類專業系統的造價昂貴、搭建耗時，且無法採集大小超過其容積的物體。另一類方法則使用輕量級裝置（比如手機攝像頭和閃光燈）。但由於閃光燈只是光照角度域中的一個點，其對應的物理取樣效率非常低，因此重建結果質量不盡如人意。

相比之下，可微分材質掃描器結合了已有兩大類工作的優點，它既是輕量級的手持式裝置，又能重建出高質量的材質結果。

圖 3：現有材質採集研究的代表工作。從左到右分別是 [Kang et al. 2019]，[Aittala et al. 2015] 以及 [Nam et al. 2018]。其中[Kang et al. 2019] 為該團隊在 2019 年發表於 ACM SIGGRAPH Asia 的早期工作。

自研材質掃描器

該研究研製的材質掃描器由一塊 LED 燈板、一個工業相機以及自研控制電路組成。相機能以 75fps 的速度拍攝 5 百萬畫素的圖片。燈板由 512 個高亮 RGB LED 構成。自研控制電路負責對每個 LED 進行獨立亮度控制，並在硬體層面對燈板照射和相機拍攝進行同步。採用燈板的原因是為了能在光照角度域上同時做多點取樣，和閃光燈等常用點光源相比，提高了物理取樣效率。

圖 4：自研材質掃描器（正面、背面與側面照片）。

研究思想

該研究的核心思想在於提出自由式材質掃描（free-form appearance scanning）問題的本質是非結構化幾何學習（geometry learning）。通過創新性地建立這兩個貌似相隔甚遠的問題之間的聯絡，研究人員引入非結構化幾何學習中的成熟工具來自動解決材質採集的難題。這是該論文最主要的技術貢獻。

具體來說，對於真實物體表面的每個點 p，每張採集到它的照片中的某個畫素記錄了點 p 在特定光照和觀察條件下的反射光能。如果我們把該畫素值和對應的光照以及觀察條件合成一個高維向量，那在整個採集過程中會得到很多這樣的向量，對應於不同的採集條件。所有這些高維向量的集合可以看作 p 的軌跡（trace），它是一個非結構化的高維點雲，完整地描述了對點 p 材質的測量情況。研究人員觀察到任何自由式材質掃描（無論已有工作還是當前研究）的本質，都是以 p 的軌跡為輸入，進行加工處理後，輸出 p 的材質屬性。這啟發了研究人員引入非結構化幾何學習工具（PointNet）來自動學習如何從軌跡（非結構化高維點雲）對映到對應的材質屬性。

研究人員提出了一種新的神經網路，能有效地聚合在自由式掃描中獲得的非規則測量資訊，還可以同時優化拍攝照片時使用的光照，最終得到高質量的材質重建結果。圖 5 展示了整個系統的處理流程，圖 6 可視化了所提出神經網路的結構。詳情請參見論文原文。

圖 5：整個採集系統的處理流程。

圖 6：所提出的神經網路結構。

結果展示

研究人員使用自研可微分材質掃描器採集並重建了多種日常物體的材質（包括任天堂 Switch 的酷霸王 amiibo 模型）。下圖是實拍照片和數字化重建結果的對比。讀者可以猜一猜哪一行是照片，哪一行是採集重建結果。

圖 7：實拍照片與採集重建結果的比較。

該研究生成的材質使用業界標準的 Disney 各向異性 GGX BRDF 模型參數來表示，可以由任何基於物理的渲染器（PBR）直接讀取並渲染出最終圖片。下圖展示了材質重建結果的分項參數 / 屬性。

圖 8：材質重建結果的分項屬性（包括漫反射率、高光反射率、粗糙度等）。

該研究的材質重建結果在視覺上能接近專業級 Lightstage 的高精度重建結果，如下圖所示。同時由於使用了輕量級裝置可以避免前文所述的專業裝置的種種不便之處。

圖 9：該研究結果（第一行）與專業級 Lightstage [Kang et al. 2019]重建結果（第二行）的對比。

而與 SOTA 手持材質掃描研究 [Nam etl al. 2018] 相比，該研究顯著提升了重建質量，例如正確地分解出了漫反射與高光反射分量，得到了與照片更相近的結果。這裡的一個關鍵因素是該研究在採集時使用了優化過的高密度光源，因此在物理取樣效率上顯著優於使用點光源的已有工作。

圖 10：該研究結果（中間三圖）和照片（最左圖）以及 SOTA 手持材質掃描工作 [Nam et al. 2018] 重建結果（最右圖）的對比。

研究人員希望該研究能夠拋磚引玉，啟發一系列有趣的未來研究方向，例如將該研究的成果應用到類似硬體配置的平板電腦上（如 iPad Pro，它擁有前置攝像頭以及可作為光源的可程式設計螢幕）；還可以研究如何結合幾何掃描器的原理，來研製可微分幾何與材質聯合採集裝置。

作者簡介

論文第一作者馬曉鶴，22 歲，浙江大學 CAD&CG 國家重點實驗室二年級博士研究生。研究方向是高精度材質採集與建模。

論文作者康凱彰，浙江大學 CAD&CG 國家重點實驗室三年級博士研究生，本科畢業於浙江大學竺可楨學院混合班，曾獲得陸增鏞 CAD&CG 高科技獎二等獎和 ACM Student Research Competition 本科組全球第二名。研究方向是材質採集、建模與繪製。

論文作者朱瑞昇，浙江大學 CAD&CG 國家重點實驗室二年級碩士研究生。研究方向是材質建模與高效繪製。

論文通訊作者吳鴻智，浙江大學電腦科學與技術學院副教授、博士生導師，國家優青基金獲得者。博士畢業於美國耶魯大學，師從 Julie Dorsey 和 Holly Rushmeier 教授。主要研究興趣為高密度採集裝備與可微分建模，研製了多套具有自主智慧財產權的高密度光源陣列採集裝備，發表了 ACM TOG 期刊論文 10 餘篇，合作出版了計算機圖形學譯著 2 部，主持了國家自然科學基金多個研究項目以及微軟亞洲研究院合作項目。擔任 Chinagraph 程式祕書長，中國影象圖形學會國際合作與交流工作委員會祕書長、智慧圖形專委會委員，以及 PG、EGSR、CAD/Graphics 等多個國際會議的程式委員會委員。

論文作者周昆，浙江大學電腦科學與技術學院教授、浙江大學 CAD&CG 國家重點實驗室主任，教育部長江學者、國家傑青基金獲得者，ACM Fellow、IEEE Fellow、相芯科技創始人。研究領域包括計算機圖形學、人機互動、虛擬現實和平行計算。現 / 曾擔任 Visual Informatics 創刊主編，ACM TOG、IEEE TVCG / CG&A、《中國科學》等編委。擔任中國圖象圖形學學會智慧圖形專委會主任、中國人工智慧學會智慧互動專委會副主任。曾獲得國家自然科學二等獎、中國青年科技獎、MIT TR35 Award、陳嘉庚青年科學獎。