這是我們飛行時(shí)間 (ToF) 系列的第一篇文章，將概述連續(xù)波 (CW) CMOS ToF 相機(jī)系統(tǒng)技術(shù)及其相對(duì)于機(jī)器視覺應(yīng)用的傳統(tǒng) 3D 成像解決方案的優(yōu)勢(shì)。后續(xù)文章將深入探討本文介紹的一些系統(tǒng)級(jí)組件，包括照明子系統(tǒng)、光學(xué)器件、電源管理和深度處理。

介紹

現(xiàn)在，許多機(jī)器視覺應(yīng)用都需要高分辨率 3D 深度圖像來替代或增強(qiáng)標(biāo)準(zhǔn) 2D 成像。這些解決方案依靠 3D 攝像頭提供可靠的深度信息來保證安全，尤其是當(dāng)機(jī)器在靠近人類的地方操作時(shí)。攝像頭還需要在具有挑戰(zhàn)性的環(huán)境中工作時(shí)提供可靠的深度信息，例如在具有高反射表面的大空間中以及在存在其他移動(dòng)物體的情況下。

迄今為止，許多產(chǎn)品都使用低分辨率測(cè)距儀類型的解決方案來提供深度信息以增強(qiáng) 2D 成像。但是，這種方法有很多局限性。對(duì)于受益于更高分辨率 3D 深度信息的應(yīng)用，CW CMOS ToF 相機(jī)提供了市場(chǎng)上性能最高的解決方案。表 1 更詳細(xì)地描述了高分辨率 CW ToF 傳感器技術(shù)實(shí)現(xiàn)的一些系統(tǒng)功能。這些系統(tǒng)功能還可以轉(zhuǎn)化為消費(fèi)者用例，例如視頻散景、面部身份驗(yàn)證和測(cè)量應(yīng)用，以及汽車用例，例如駕駛員警覺性監(jiān)控和自動(dòng)車內(nèi)配置。

表 1. 連續(xù)波飛行時(shí)間系統(tǒng)特性

深度相機(jī)是一種每個(gè)像素輸出相機(jī)與場(chǎng)景之間距離的相機(jī)。測(cè)量深度的一種技術(shù)是計(jì)算光從相機(jī)上的光源傳播到反射表面再返回相機(jī)所需的時(shí)間。此傳播時(shí)間通常稱為飛行時(shí)間 (ToF)。

ToF 相機(jī)由多個(gè)元素組成，包括：

· 光源(例如垂直腔面發(fā)射激光器 (VCSEL) 或邊發(fā)射激光二極管)發(fā)射近紅外光。最常用的波長(zhǎng)是 850 nm 和 940 nm。光源通常是漫射源(泛光照明)，發(fā)射具有一定發(fā)散度(又稱照明場(chǎng)或 FOI)的光束來照亮相機(jī)前方的場(chǎng)景。

· 調(diào)節(jié)光源發(fā)射光強(qiáng)度的激光驅(qū)動(dòng)器。

· 具有像素陣列的傳感器，可收集來自場(chǎng)景的返回光并輸出每個(gè)像素的值。

· 將返回光聚焦到傳感器陣列上的透鏡。

· 與鏡頭位于同一位置的帶通濾波器可濾除光源波長(zhǎng)周圍窄帶寬之外的光。

· 一種處理算法，將傳感器輸出的原始幀轉(zhuǎn)換為深度圖像或點(diǎn)云。

可以使用多種方法來調(diào)制 ToF 相機(jī)中的光線。一種簡(jiǎn)單的方法是使用連續(xù)波調(diào)制，例如占空比為 50% 的方波調(diào)制。實(shí)際上，激光波形很少是完美的方波，可能更接近正弦波。對(duì)于給定的光功率，方波激光波形可產(chǎn)生更好的信噪比，但由于存在高頻諧波，也會(huì)引入深度非線性誤差。

CW ToF相機(jī)是一種使用連續(xù)波光(Continuous Wave)的時(shí)間飛行(Time of Flight)相機(jī)，它通過測(cè)量發(fā)射信號(hào)和返回信號(hào)之間的時(shí)間差來估算深度。這個(gè)時(shí)間差是通過計(jì)算發(fā)射信號(hào)和返回信號(hào)的基頻之間的相位偏移來實(shí)現(xiàn)的。

首先，我們知道相位偏移?和時(shí)間差t_d之間的關(guān)系是：

? = 2πf × t_d

其中，f是信號(hào)的頻率。

接下來，我們要用這個(gè)相位偏移來估算深度。因?yàn)楣庠诳諝庵械乃俣仁莄，所以光在t_d時(shí)間內(nèi)走過的距離是c × t_d。但是，這個(gè)距離是從相機(jī)到物體再返回相機(jī)的總距離，所以實(shí)際的深度d應(yīng)該是這個(gè)距離的一半：

d = (c × t_d) / 2

現(xiàn)在，我們用相位偏移?來表示t_d：

t_d = ? / (2πf)

將這個(gè)表達(dá)式代入深度的公式中，我們得到：

d = (c × ?) / (4πf)

所以，根據(jù)相位偏移?和光速c，我們可以估算出深度d。這個(gè)公式告訴我們，只要知道信號(hào)的頻率f和測(cè)量到的相位偏移?，就可以計(jì)算出物體的深度。

傳感器中的時(shí)鐘生成電路控制互補(bǔ)像素時(shí)鐘，這些時(shí)鐘分別控制兩個(gè)電荷存儲(chǔ)元件(Tap A 和 Tap B)中光電荷的積累，以及激光驅(qū)動(dòng)器的激光調(diào)制信號(hào)?？梢韵鄬?duì)于像素時(shí)鐘的相位測(cè)量返回調(diào)制光的相位。像素中 Tap A 和 Tap B 之間的差分電荷與返回調(diào)制光的強(qiáng)度以及返回調(diào)制光相對(duì)于像素時(shí)鐘的相位成正比。

使用同相檢測(cè)原理，對(duì)像素時(shí)鐘和激光調(diào)制信號(hào)之間的多個(gè)相對(duì)相位進(jìn)行測(cè)量。這些測(cè)量結(jié)果結(jié)合起來，確定返回的調(diào)制光信號(hào)中基波的相位。知道這個(gè)相位就可以計(jì)算出光從光源傳播到被觀察的物體再返回傳感器像素所需的時(shí)間。

高調(diào)制頻率的優(yōu)勢(shì)

實(shí)際上，光子散粒噪聲、讀出電路噪聲和多徑干擾等非理想因素可能會(huì)導(dǎo)致相位測(cè)量出現(xiàn)誤差。較高的調(diào)制頻率可以降低這些誤差對(duì)深度估計(jì)的影響。

這個(gè)簡(jiǎn)單的公式很大程度上解釋了為什么調(diào)制頻率高的ToF相機(jī)比調(diào)制頻率低的ToF相機(jī)具有更低的深度噪聲和更小的深度誤差。

使用高調(diào)制頻率的一個(gè)缺點(diǎn)是相位回繞速度更快，這意味著可以準(zhǔn)確測(cè)量的范圍更短。解決此限制的常用方法是使用以不同速率回繞的多個(gè)調(diào)制頻率。最低調(diào)制頻率提供無(wú)模糊性的大范圍，但深度誤差較大(噪聲、多徑干擾等)，而較高的調(diào)制頻率則串聯(lián)使用以減少深度誤差。顯示了具有三種不同調(diào)制頻率的此方案的示例。最終深度估計(jì)是通過對(duì)不同調(diào)制頻率的未回繞相位估計(jì)進(jìn)行加權(quán)來計(jì)算的，其中較高的調(diào)制頻率被分配更高的權(quán)重。

如果每個(gè)頻率的權(quán)重都經(jīng)過了最佳選擇，深度噪聲將與系統(tǒng)中所選調(diào)制頻率的均方根 (rms) 成反比。對(duì)于恒定的深度噪聲預(yù)算，增加調(diào)制頻率可以減少積分時(shí)間或照明功率。

對(duì)性能至關(guān)重要的其他系統(tǒng)方面

開發(fā)高性能 ToF 相機(jī)時(shí)需要考慮許多系統(tǒng)特性，本文將簡(jiǎn)要介紹其中一些。

圖像傳感器

圖像傳感器是 ToF 相機(jī)的關(guān)鍵組件。當(dāng)系統(tǒng)的平均調(diào)制頻率增加時(shí)，大多數(shù)深度估計(jì)非理想性(例如偏差、深度噪聲和多路徑偽影)的影響都會(huì)降低。因此，傳感器在高調(diào)制頻率(數(shù)百 MHz)下具有高解調(diào)對(duì)比度(在 Tap A 和 Tap B 之間分離光電子的能力)非常重要。傳感器還需要在近紅外波長(zhǎng)(例如 850 nm 和 940 nm)中具有高量子效率 (QE)，以便在像素中產(chǎn)生光電子所需的光功率更少。最后，低讀出噪聲有助于檢測(cè)低返回信號(hào)(遠(yuǎn)或低反射率物體)，從而有助于相機(jī)的動(dòng)態(tài)范圍。

照明

激光驅(qū)動(dòng)器以高調(diào)制頻率調(diào)制光源(例如 VCSEL)。為了在給定光功率下最大化像素處的有用信號(hào)量，光波形需要具有快速的上升和下降時(shí)間以及清晰的邊緣。照明子系統(tǒng)中的激光器、激光驅(qū)動(dòng)器和 PCB 布局的組合對(duì)于實(shí)現(xiàn)這一點(diǎn)都至關(guān)重要。還需要進(jìn)行一些特性分析，以找到最佳光功率和占空比設(shè)置，從而最大化調(diào)制波形傅里葉變換中基波的幅度。最后，還需要以安全的方式傳輸光功率，并在激光驅(qū)動(dòng)器和系統(tǒng)級(jí)內(nèi)置一些安全機(jī)制，以確保始終遵守 1 類人眼安全限值。

光學(xué)

光學(xué)元件在 ToF 相機(jī)中起著關(guān)鍵作用。ToF 相機(jī)具有某些獨(dú)特的特性，這些特性推動(dòng)了特殊的光學(xué)要求。首先，光源的照明場(chǎng)應(yīng)與鏡頭的視場(chǎng)相匹配，以實(shí)現(xiàn)最佳效率。鏡頭本身應(yīng)具有高光圈(低 f/#)，以提高光收集效率，這一點(diǎn)也很重要。大光圈可能會(huì)導(dǎo)致暈影、淺景深和鏡頭設(shè)計(jì)復(fù)雜性等其他權(quán)衡。低主光線角鏡頭設(shè)計(jì)還可以幫助降低帶通濾波器帶寬，從而改善環(huán)境光抑制，從而提高戶外性能。光學(xué)子系統(tǒng)還應(yīng)針對(duì)所需的工作波長(zhǎng)進(jìn)行優(yōu)化(例如，抗反射涂層、帶通濾波器設(shè)計(jì)、鏡頭設(shè)計(jì))以最大程度地提高吞吐效率并最大程度地減少雜散光。還有許多機(jī)械要求，以確保光學(xué)對(duì)準(zhǔn)在最終應(yīng)用所需的公差范圍內(nèi)。

能源管理

在高性能 3D ToF 相機(jī)模塊設(shè)計(jì)中，電源管理也至關(guān)重要。激光調(diào)制和像素調(diào)制會(huì)產(chǎn)生短時(shí)間的高峰值電流，這對(duì)電源管理解決方案造成了一些限制。傳感器集成電路 (IC) 級(jí)別的一些功能可以幫助降低成像器的峰值功耗。還可以在系統(tǒng)級(jí)別應(yīng)用電源管理技術(shù)，以幫助減輕對(duì)電源(例如電池或 USB)的要求。ToF 成像器的主模擬電源通常需要具有良好瞬態(tài)響應(yīng)和低噪聲的穩(wěn)壓器。

深度處理算法

最后，系統(tǒng)級(jí)設(shè)計(jì)的另一個(gè)重要部分是深度處理算法。 ToF 圖像傳感器輸出原始像素?cái)?shù)據(jù)，需要從中提取相位信息。此操作需要不同的步驟，包括噪聲過濾和相位展開。相位展開塊的輸出是光從激光器到場(chǎng)景再回到像素所經(jīng)過的距離的測(cè)量值，通常稱為范圍或徑向距離。

徑向距離通常轉(zhuǎn)換為點(diǎn)云信息，該信息通過其真實(shí)世界坐標(biāo)(X，Y，Z)表示特定像素的信息。通常，最終應(yīng)用程序僅使用 Z 圖像圖(深度圖)而不是完整點(diǎn)云。將徑向距離轉(zhuǎn)換為點(diǎn)云需要了解鏡頭內(nèi)在參數(shù)和失真參數(shù)。這些參數(shù)是在相機(jī)模塊的幾何校準(zhǔn)期間估算的。深度處理算法還可以輸出其他信息，例如主動(dòng)亮度圖像(返回激光信號(hào)的幅度)、被動(dòng) 2D IR 圖像和置信度，這些信息都可以用于最終應(yīng)用程序。深度處理可以在相機(jī)模塊本身上完成，也可以在系統(tǒng)中其他地方的主處理器中完成。

表 2 概述了本文中介紹的不同系統(tǒng)級(jí)組件。未來文章將更詳細(xì)地介紹這些主題。

表 2. 3D 飛行時(shí)間相機(jī)的系統(tǒng)級(jí)組件

結(jié)論

連續(xù)波飛行時(shí)間相機(jī)是一種功能強(qiáng)大的解決方案，可為需要高質(zhì)量 3D 信息的應(yīng)用提供高深度精度。要確保實(shí)現(xiàn)最佳性能水平，需要考慮許多因素。調(diào)制頻率、解調(diào)對(duì)比度、量子效率和讀出噪聲等因素決定了圖像傳感器級(jí)別的性能。其他因素是系統(tǒng)級(jí)考慮因素，其中包括照明子系統(tǒng)、光學(xué)設(shè)計(jì)、電源管理和深度處理算法。所有這些系統(tǒng)級(jí)組件對(duì)于實(shí)現(xiàn)最高精度 3D ToF 相機(jī)系統(tǒng)都至關(guān)重要。這些系統(tǒng)級(jí)主題將在后續(xù)文章中更詳細(xì)地介紹。