一文看懂TOF感測器

2021-05-21 18:00:17

蘋果陸續釋出了新的iPad Pro、iPhone12 pro，搭載3D dToF技術（蘋果稱為LiDAR），在納秒的極短時間內測量室內或室外環境中從最遠五米處反射回來的光子。LiDAR與Pro級攝像頭、運動感測器和iPadOS內的架構協同合作，硬體、軟體與突破性創新技術的結合，為AR增強現實及更廣泛的領域開啟無盡可能。

iPad Pro採用索尼ToF sensor，畫素為0.03MP，畫素尺寸為10um。

蘋果新iPad Pro配備了大量增強現實類功能，真實感強烈：能即時完成放置虛擬物體，具有逼真的物體遮擋效果，可讓虛擬物體在現實場景結構中前後穿插。

動作捕捉和人物遮擋效果也經過優化，精準度更高。

新款iPad Pro還能實現身高測量、AR遊戲、AR裝修、豐富視訊動畫等。

媒體報道，今年新發布的iPhone 12 pro手機也採用3D TOF技術。相比此前安卓手機廠商採用的3D iToF技術，蘋果採用的3D dToF技術響應快、功耗低、功能完善。

此外，當前只有較少的應用app支援ToF技術，蘋果的採用有望加速ToF生態的建設，讓ToF的滲透率快速提升。

相機創新是消費者購買手機最大動力之一。

相機創新是消費者選購手機的主要考慮因素之一。根據中關村線上2019Q1釋出的報告，在處理器、相機、螢幕、遊戲體驗等諸多方面，相機功能是消費者最為關注和看重的，佔據29%的關注度，同比提升5%。大大高於第二名處理器的17%。各個手機廠商都極為重視相機的創新。

3D深度相機成為下一階段相機創新的重點方向之一。

從2000年夏普首次將相機和手機相結合以後，手機相機的創新一直以驚人的速度在前進，主要可分為以下4個階段：

相機和手機相結合，手機具備照相功能，此後相機模組尺寸不斷減小，畫素不斷提高；

前置攝像頭新增，畫素不斷提高，自拍功能不斷完善；

雙攝和三攝突破單相機瓶頸，夜視暗拍、大光圈、潛望式、超廣角功能不斷提升相機效能；

3D深度相機帶來立體視覺，增加了臉部解鎖、支付、測距等功能。蘋果在2017年開創了前置3D深度相機的先例，各大手機廠商不斷嘗試後置3D相機的應用，蘋果新款iPad Pro正加速後置3D相機的推進。

全球5G和AI商用時代已經開啟，3D深度相機作為AR的基礎，有望迎來快速滲透。

5G時代，寬頻增強和實時通訊等特點有助於AR/VR走向雲端，能降低裝置的要求，同時AI演算法和硬體的成熟，將會進一步助推內容的完善。

TOF能提供3D拍照、3D識別和3D建模等功能，是AR的基礎。

根據IDC報告，全球AR/VR支出規模在2019年達到168億美元，在2023年將達到1600億美元，AR/VR支出規模在2019到2023年間複合年增長率（CAGR）將達78%。

IDC還預測中國市場AR/VR支出規模增長更快，2023年，中國AR/VR市場支出規模將達到652.1億美元，較2019年的預測（65.3億美元）有顯著增長。2018-2023年CAGR將達到85%。ToF有望享受AR成長帶來的紅利。

根據Yole報告，2018年3D感測技術市場規模為37.43億美元，預測2023年為186.14億美元，CAGR為38%。

其中增長最快的屬於消費電子，主要歸功於幾大手機廠商的應用。消費電子領域，2018年市場規模為18.1億美元，預計2023年為137.7億美元，CAGR超過50%。

3D ToF技術優勢突出，後置前景廣闊

深度3D感測技術根據工作原理可以分為三種：RGB雙目、TOF和結構光。

RGB雙目技術演算法要求高，並容易受光線影響，在較暗或者高度曝光的情況下效果都非常差，因此很少被採用。目前應用比較多的是TOF和結構光。

TOF（time of flight）技術工作原理是通過泛光照明器（固態鐳射器或者LED）發射近紅外（~850nm或940nm）的脈衝波，脈衝波遇到物體以後反射回來，被感測器（sensor）收集到。

系統通過計算sensor上每個畫素脈衝波之間的頻率差或時間差，再通過演算法得到每個位置的精確3維深度。

結構光技術的基本原理是，通過近紅外鐳射器，將具有一定結構特徵的光線投射到被拍攝物體上，再由專門的紅外攝像頭進行採集。

這種具備一定結構的光線，會因被攝物體的不同深度區域，而採集不同的影象相位資訊，然後通過運算單元將這種結構的變化換算成深度資訊，以此來獲得三維結構。

簡單來說就是，通過光學手段獲取被拍攝物體的三維結構，再將獲取到的資訊進行更深入的應用。

TOF感測技術測距範圍可調節，具有更遠的探測能力。

TOF感測技術通過計算紅外光的飛行時間來計算物體的深度資訊，誤差主要來自裝置的系統誤差，誤差較為恆定。

而結構光的精度取決於反射光，在近距離誤差較小，但是隨著距離的增加，誤差呈現指數增加。

TOF測量距離可以調節，只要改變光學強度、光學視角、發射器脈衝頻率，適合遠距離體感識別，例如身體動作、手勢等，也適合導航、監控、移動機器人等應用場景，潛在應用場景廣闊。

TOF感測技術對演算法要求低、響應更快、支援更高幀率。

結構光因為需要對編碼的結構光進行解碼，所以複雜度要比直接測距的TOF高一些。

TOF不需要後續處理，因此可以避免延遲，同時對演算法要求更低。

另外，TOF方案可以達到非常高的幀率，支援上百fps。

結構光方案幀率會低一些，典型的是30fps。如：Melexis MLX75023的TOF感測器支援135fps。

汽車輔助駕駛要求快速響應、遠距離探測，3D TOF感測技術具備以上特點，因而也更適合汽車輔助駕駛，例如Melexis的MLX75027採用3D TOF技術對車內人員和物品進行監控，並具有手勢檢測功能。

TOF結構簡單、模組尺寸更小，材料成本更低。

在紅外發射端，TOF基本不需要使用光學稜鏡，而結構光需要形成特定的光學圖案，因此需要新增DOE（衍射光柵）和lens（光學稜鏡）。

因此TOF的模組尺寸更小，材料成本也更低。結構光的BOM成本大約20美元，而ToF約為15美元，中低端ToF甚至在10美元以下,ToF更具成本優勢。

2017年蘋果釋出的iPhone X採用結構光FaceID用於人臉識別，開啟了3D深度相機在手機的應用先例，在隨後的iPhone XS和iPhone 11系列手機中延續了這一設計，但是結構光技術佔用較大螢幕正面區域，且應用場景較少，該項技術一直未獲得其他廠商的採用。

新款iPad Pro的dToF發射的點光源密度遠低於iPhone前置的結構光，也說明了兩個技術的不同用途。

ToF技術更適用於遠距離識別場景，如：智慧手機後置攝像頭、VR/AR手勢互動、汽車電子ADAS、安防監控以及新零售等等領域。

未來隨著技術的進一步成熟、生態逐步完善，TOF產業有望進一步提升。

蘋果3D dToF加速ToF成熟

蘋果iPad Pro搭載3D dToF技術，相比其他廠商採用的3D iToF技術具有諸多優勢，有望加速ToF應用的成熟。

TOF技術根據發射光的調製形式，分為直接飛行時間測量（Direct-TOF，即dToF）和間接飛行時間測量(Indirect-TOF，即iToF)，直接飛行時間測量採用脈衝調製，而間接飛行時間測量採用連續波調製。dToF技術要求更高，測量精度更高。

dTOF需要採用高精密時鐘進行測量且需要產生短時間、高頻率、高強度的鐳射，對硬體的要求較高。

其優點也比較顯著，省電、成像速度高，由於發射端能量較高，所以一定程度上降低了背景光的干擾，探測更遠的距離。

當前，ST和AMS的1D ToF基本採用dToF技術，而安卓廠商的3D ToF全部採用iToF技術。

RealX Pro全球首款搭載ToF深度引擎的產品品

RealX Pro MR眼鏡，在輕量級混合現實眼鏡這類產品型態中，是全球第一款搭載ToF深度引擎的產品，能進行深度檢測並輸出點雲資料，支撐多元場景應用需求。

並且RealX Pro本身搭載神經網路處理器，在眼鏡端就可以完成繁重的運算，能降低對外接運算單元或手機的算力需求，除了能大幅減少接入手機時所產生的運算延遲外，也不需要接入高階手機才能運行順暢，能適配更多中階或不同品牌的手機。

此外，RealX Pro 透過SLAM+ToF+6DoF的整體結合，能給使用者提供絕佳的環境理解與操控能力，進而提升使用者體驗。

AR生態逐步完善，促進ToF共成長

AR是未來最重要的一大科技創新，全球科技巨頭都積极參與，包括蘋果、谷歌、微軟、華為、亞馬遜等。

早在2012年，谷歌就曾釋出拓展現實的Google Glass產品，微軟在2015年釋出了HoloLens全息頭盔，但是由於硬體技術不成熟和生態不完善，AR市場一直不溫不火。

科技巨頭深度佈局完善AR生態，有望開啟AR消費級市場。從蘋果的AR SDK（軟體開發工具包）ARKit到安卓的AR SDK ARCore，再到2019年華為推出的cyberverse數字平臺，這些平臺極大地降低了應用軟體的開發難度，推動AR生態發展，帶動應用場景的繁榮，從而開啟AR的消費級市場。

蘋果於2017年WWDC大會上首次釋出了基於iOS版本的ARKit。初代ARKit可實現穩定快速的運動定位、平面和邊界的估計、光照估計和尺度估計，並且支援各個開發平臺或引擎。

此後蘋果在每年的WWDC大會上更新ARKit版本。在2018年的ARKit 2版本中，增加了、環境紋理、影象跟蹤和物體檢測等功能，提升後的ARKit 2可對真實場景中的2D影象和3D物體進行跟蹤，渲染更逼真的增強現實場景。

2019年釋出的ARKit 3增加了對人物遮擋、動作捕捉、多面部追蹤、同時使用前後攝像頭等功能的支援。

3D視覺互動成為ARKit中重要的應用場景。在ARKit 2中，蘋果加入了對真實場景中的3D物體進行跟蹤，在最新的ARKit 3中，更是加入了實時捕捉人的動作、人物遮擋、多元化AR互動等功能。

TOF相機作為最優的3D互動輸入端，能大幅提升AR體驗感。3D輸入能提供3維資訊，減少AR的演算法難度以及計算量，能顯著提升AR體驗的精準度和流暢度，另外功耗也會大大降低。

具備TOF相機的iPad pro能提供更真實、流暢的AR遊戲體驗，甚至可以利用AR玩逼真的線上遊戲。

具備TOF相機的iPad pro也能提供學習和工作上的便利，例如進行3D掃描和建模，可以讓使用者更直觀的學習模型，配合其他軟體，甚至可以做修改裝飾等。

為了促進Android AR生態的發展，谷歌在2017年推出了第一款AR SDK：ARCore。

ARCore不需要額外的硬體支援，在現有的Android系統上就能實現AR功能；谷歌在2018年2月釋出了ARCore 1.0版本，使用運動跟蹤、環境理解和光照估測三個主要技術來實現AR功能。

僅在3個月後谷歌就釋出了ARCore 1.2，增加了Sceneform、Augmented Images和Cloud Anchors三大功能，並對某些iOS裝置提供有限支援。

谷歌在2019年2月也更新了ARCore版本至ARCore 1.7，引入了Augmented Faces（臉部增強）API，併發布了用於基本原理學習的ARCore Elements應用程式。

3D應用場景成為新ARCore中重要的應用場景之一。ARCore 1.2中Augmented Images部分功能的實現就需要利用以3D方式對它們進行跟蹤和移動。

在ARCore 1.7版本中3D應用場景更加豐富，此次更新加入了自拍AR濾鏡和動畫API：Augmented Faces，以及優化的應用UX。Augmented Faces支援前置鏡頭，它可生成一種高質量的3D人臉網格，支援468點追蹤，開發者可以在網格上加入有趣的特效，如動畫面具、眼鏡、虛擬帽子，它還支援面板潤色。開發者只需要操控網格上的座標和特定區域的錨狀點，就可以加入特效。