1. 引言
早在幾十年前就有了3D圖像技術(shù)的概念，但國產(chǎn)產(chǎn)品商業(yè)化是在2000年後，許多大型電影制片廠公布使用最新的高清攝像機(jī)獲得3D結(jié)果。此後，不僅僅在消費市場，在工業(yè)機(jī)器視覺領(lǐng)域，3d圖像技術(shù)從速度，誤差精準(zhǔn)度以及辨別率上獲得了飛躍性的發(fā)展。
隨著工業(yè)4.0的崛起，傳統(tǒng)2D技術(shù)在誤差精準(zhǔn)度和距離測量方面非常受限，特別是在複雜物體識別和尺寸測量以及互動應(yīng)用例如人機(jī)互動，3D視覺的需求越來越多。
在工廠自動化土地，3D視覺能夠提高機(jī)器人/機(jī)器系統(tǒng)的自主性和有效性。 實際上，3D視覺關(guān)于更高精度的質(zhì)量檢查，逆向工程或2D視覺受限的物體尺寸檢測是必不可少的。 另外，使用視覺系統(tǒng)引導(dǎo)的機(jī)器人技術(shù)正在增長，需要3D視覺更好的遠(yuǎn)程指導(dǎo)，障礙物識別和準(zhǔn)確移動。
廣告
3D視覺還保護(hù)工廠里的工人在麋集的人機(jī)交互系統(tǒng)中免受阻礙并解決危險情況， 還可通過監(jiān)控系統(tǒng)進(jìn)行計數(shù)并識別自然人和機(jī)器人。
3D視覺通過各方面浸透妨礙著社會，并為最后用戶提供更安全，更高性能和更有效的援助系統(tǒng)。 例如，3D視覺應(yīng)用于先進(jìn)的汽車自動輔助駕駛系統(tǒng)，自主車輛，協(xié)作機(jī)器人...
本文旨在探討3D成像技術(shù)，以及工業(yè)3D應(yīng)用中先進(jìn)的嵌入式CMOS傳感器技術(shù)。
2. 3D 圖像概論
當(dāng)前，用戶可通過好幾種技術(shù)和方案獲得3D，以下部分旨在簡要概述每種技術(shù)及其優(yōu)缺點。
2.1 Stereo vision technique立體視覺技術(shù)
類似人類大腦控制目測距離，兩只相機(jī)，拍雷同位置，不同角度安裝，使用視覺差和校準(zhǔn)技術(shù)提取物體深度信息。
圖 1 – Stereoscopic system principle – source Techbriefs
2.2 Structured light technique結(jié)構(gòu)光技術(shù)
由相機(jī)和投影儀組成。投影儀投射條紋光帶到物體上，相機(jī)拍攝條紋光，根據(jù)物體上光的條紋扭曲計算位深信息。
圖2 – 結(jié)構(gòu)光系統(tǒng)原理圖– source University of Kentucky, Laser Focus World*
2.3 Laser triangulation激光三角測量
激光三角測量系統(tǒng)由2D相機(jī)，鏡頭，激光器組成，通過測量從被測物外表反照的光來確定被測物的位置。 激光器將光斑投射到被測物，反照光通過成像相機(jī)聚焦在光敏裝置上。 依據(jù)激光相對被測物外表的距離，激光點出現(xiàn)在相機(jī)視野中的不同位置。 這種技術(shù)稱為三角測量，由激光點，照相機(jī)和激光開槍器形成三角形。
高辨別率激光器通常用于需高精度，穩(wěn)定和低溫度漂移的位移和位置監(jiān)測應(yīng)用中。
圖3 –激光三角測量原理圖
2.4 Time-of-Flight TOF原理
TOF原理是使用光源與圖像傳感器同步，使用發(fā)射光脈沖和光返回到圖像傳感器上的時間差來計算距離。
圖 4 – Time-of-flight 系統(tǒng)原理圖
2.5 3D 圖像技術(shù)對比
如上所述，每種技術(shù)都有優(yōu)弱點，因此，依據(jù)應(yīng)用特別是距離范圍和深度精度要求，選擇更合適的方案。 在表1中進(jìn)行相對比較。
表1. 3D Imaging techniques ‘top-level’ comparison
目前，3D系統(tǒng)要緊靠立體視覺，結(jié)構(gòu)光和激光三角方案，這些系統(tǒng)要緊用在固定工作距離，同時在特定檢測領(lǐng)域中需要較高水準(zhǔn)的校準(zhǔn)。
Time-of-Flight 系統(tǒng)可以克服這些困難，從應(yīng)用角度更加靈活，但是目前更多的是受限于辨別率。
3. Teledyne e2v在工業(yè)市場特殊的3D方案
基于機(jī)器視覺土地，Teledyne e2v提供的線掃描相機(jī)和面陣傳感器的成功積累，Teledyne e2v正在構(gòu)建一個專用于3D成像的特殊平臺，以支持最新的工業(yè)應(yīng)用，如視覺引導(dǎo)機(jī)器人，物流自動導(dǎo)引車輛（AGV），工廠監(jiān)控和 安全或手持掃描儀，以及戶外應(yīng)用。Teledyne e2v旨在提供多種3D技術(shù)講和決方案，以滿足客戶的應(yīng)用需求。
Teledyne e2v要緊提供以下三種3D方案
Laser triangulation 激光三角測量
Stereo vision and structured light 立體視覺和結(jié)構(gòu)光
Time of Flight TOF技術(shù)
3.1 激光三角測量方案
Teledyne e2v可提供標(biāo)準(zhǔn)品，同時也可以特殊定制高速sensor :
廣泛的可選辨別率：每條輪廓線2k到8k個點
高幀率sensor: 可達(dá)20kfps
高靈敏度，低噪: QE>60%, SNR of 43dB
多種高動態(tài)范圍性能
獨一無二地芯上處置技術(shù): 讀出通道上的數(shù)字處置，芯上子像素峰值計算
快速記載中最大化信道容量: 可達(dá)32Gbps LVDS 接口
3.2 立體視覺和結(jié)構(gòu)光系統(tǒng)
Teledyne e2v提供標(biāo)準(zhǔn)CMOS sensor， 有如下關(guān)鍵性能：
高級別SWAP-C (size, weight, power and cost): 小光學(xué)尺寸, 多封裝方法以優(yōu)化尺寸和成本，低功耗 200mW @ 全幅面；
o Sapphire/Ruby 系列: WVGA, 1.3 & 2MP , 1/1.8”
o Emerald 系列: 130萬像素到1600萬像素, 像素尺寸2.8m (其中16MP芯片是1” 光學(xué)尺寸,8MP是 2/3” – 全世界特殊性)
可見光& 近紅外，高靈敏度版本: 每個芯片系列公用同一個platform– pin-to-pin 兼容
可從快速移動物體獵取 3D圖像: 高達(dá)125fps, 高全局快門功效，高速雙快門；
Sensors圖像傳感器一致性: 每個sensor系列共享一個平臺– pixel-to-pixel兼容；
3D 處置: multi-ROI (多ROI功能，4個窗口), binning, 圖像數(shù)據(jù)的直方圖由傳感器芯片直接生成
高全局快門功效應(yīng)用于快速移動物體
Teledyne e2v一直致力于高功效全局快門的圖像傳感器的創(chuàng)新和開發(fā)中，這種性能可以幸免快速運動物體拍攝中的偽影現(xiàn)象。在拍攝運動物體時，當(dāng)積分時間遠(yuǎn)小于讀出時間時容易產(chǎn)生該現(xiàn)象，因為圖像的上部分將在底部部分之前結(jié)束積分; 同時在這些間隔之間，物體差不多移動。
這就需要像素內(nèi)存儲元件在積分產(chǎn)生之后存儲電荷直到其被讀出。 該技術(shù)基于5T結(jié)構(gòu)。 弱點是填充因子減少，CDS類型時間域噪聲降低方法有限。 由于這兩點，與4T ERS相比，關(guān)于給定像素尺寸，現(xiàn)今全局快門（G / S）下的SNR要稍微差些。
然而，在像素的存儲寄存器中使用pinned junctions減小了時間域噪聲，同時暗電流和固定噪聲以及SNR之間不再存在差距。 考慮到填充因子方面，像素上micro-lens的前進(jìn)和優(yōu)化（例如零間隙）可以在對波長響應(yīng)的靈敏度方面取得顯著前進(jìn)。
近紅外高靈敏度芯片應(yīng)用于高精度檢測
Teledyne e2v標(biāo)準(zhǔn)CMOS 芯片有較高的量子功效（QE ）。
例如下圖，Teledyne e2v 的Sapphire 系列和Ruby系列的QE；Sapphire要緊用于可見光，Ruby在可見光和近紅外部分都有提升和優(yōu)化。5T技術(shù)下，像素尺寸5.3m x 5.3m，高達(dá)80% 的QE 可稱殿堂級CMOS芯片。
圖 5 – QE versus wavelength response of new global-shutter CMOS imagers
綜合以上革新性的技術(shù)板塊，Teledyne e2v標(biāo)準(zhǔn)CMOS芯片可廣泛應(yīng)用于可見光和近紅外光下日夜和戶外高速物體的高精度3D檢測中。
3.3 Time-of-flight 3D 技術(shù)方案
Teledyne e2v推出第一個3D TOF 方案， 基于130萬像素，1英寸光學(xué)尺寸，高靈敏度和高動態(tài)范圍CMOS芯片。
130萬像素: 全幅面下的深度圖，全幅面下精度< 3cm, 高速雙快門
拍攝高速運動物體的3D圖像：高達(dá) 120 fps, 全幅面下 30fps 深度圖, 高全局快門功效
大范圍3D 檢測: 高近紅外靈敏度，高動態(tài)范圍60DB， 可檢測范圍 [0.5米 to 5米]
可見光和近紅外高靈敏度芯片: 50% QE at 850 nm, 高動態(tài)范圍模式: 暗光/ 日夜
嵌入式3D處置: Multi-ROI (2個窗口), Binning, 嵌入式芯上圖像處置
如下Teledyne e2v開發(fā)的演示TOF系統(tǒng)，包含實時130萬像素芯片扳機(jī)相機(jī)，1英寸鏡頭，可見光/近紅外光源，[0.5m to 5m]檢測范圍，輸出位深圖或者點云數(shù)據(jù)，要緊用于給用戶演示TOF原理，供用戶用來評估此TOF芯片性能；
表2 – Teledyne e2v’s Time-of-Flight 演示系統(tǒng)功能
基于5T CMOS傳感器的ToF技術(shù)
主動成像是基于同步控制光源實現(xiàn)的成像方法。譬如我們使用的手機(jī)上會使用紅外信號來推斷在低光條件下的距離進(jìn)行輔助自動聚焦。主動成像要緊應(yīng)用于在陰毒天氣條件（霧）下拍攝圖像或三維圖像。距離選通成像（Range Gating）以及飛行時間（ToF）為兩種要緊的主動成像技術(shù)。距離選通技術(shù)有兩點需要：脈沖波前和高速快門相機(jī)。當(dāng)反照從反照平面返回時，光朝向目標(biāo)發(fā)送，相機(jī)的高速電子快門在恰恰的瞬間打開。光脈沖飛行一定距離后到達(dá)物體接著，會部分被物體反照并被相機(jī)接收。這對相機(jī)高速快門精準(zhǔn)控制，以便相機(jī)傳感器能剛好在脈沖返回一顆快門打開，接收到測量信號。通過對光源以及相機(jī)的同步設(shè)置可以選擇想要獵取圖像的距離。在比較陰毒的測試條件下，譬如雨天，霧天或者強(qiáng)散射介質(zhì)，只有很少一部分光子可以穿過介質(zhì)并返回到照相機(jī)。距離選通成像是克服陰毒測試條件，提高系統(tǒng)信噪比的有效方法。ToF直接測量光的飛行時間以推斷反照平面所在的距離。與距離選通技術(shù)不同，ToF不選擇圖像平面，它同意直接距離成像。
如圖6所示，距離選通圖像捕捉的實現(xiàn)基于同步的相機(jī)源光系統(tǒng)。相機(jī)具有非？斓娜挚扉T，微秒量級。在T0處，相機(jī)發(fā)送的觸發(fā)給同步光源使其開槍脈沖。一段時間后T1，光脈沖到達(dá)預(yù)設(shè)測量距離范圍，若有物體存在于該范圍內(nèi)則被反照，反之則不也許有反照信號。在反照的情況下，光通過T2返回相機(jī)。在T3 = T0 +2時刻相機(jī)的快門打開并捕捉反照光。如此重復(fù)循環(huán)過程，以便累積足夠的信號。生成的圖像僅對應(yīng)于該范圍中存在的對象。如果需要生成深度圖像，需要在幾個深度處掃描一系列距離選通模式的圖像，或者通過調(diào)整延遲。接著從該組圖像計算距離。
圖 6 – 距離選通技術(shù)原理示貪圖
圖7爲(wèi)在全局快門圖像傳感器相元的工作示意圖。信號積分不是一次性實現(xiàn)，而是通過連續(xù)多次微曝光（micro-integration）積累足夠多探測到的光子來實現(xiàn)距離選通成像或者ToF成像。
圖 7 – 全局快門圖像傳感器相元
Teledyne e2v專利技術(shù)，基于T5 像素，在交替線上的定時生成以實現(xiàn)低至約10納秒的Δt。 這意味著時間辨別率的巨大改進(jìn)。Teledyne e2v的130萬像素CMOS圖像傳感器具有高靈敏度/低噪聲，包括多積分或“堆疊”模式。 另外，還需要pinned光電二極管和存儲寄存器具有高寄生光靈敏度比（PLS），也稱作消光比，來降低場景產(chǎn)生的背景噪聲以生成銳利的圖像。這是通過降低相機(jī)快門“關(guān)”期間產(chǎn)生的寄生光或者叫砸光來實現(xiàn)的。
圖8 – 具有時序和同步電路的5T像素CMOS傳感器需要足夠的消光近來降低背景噪聲
Teledyne e2v BORA 圖像傳感器 – --引領(lǐng)藝術(shù)級130萬像素Time-of-Flight （簡稱TOF）
Teledyne e2v 新一代TOF130萬像素圖像傳感器，取名BORA，電子全局快門，在多積分模式進(jìn)行優(yōu)化，因此在短距離和范圍內(nèi)低光環(huán)境下檢測性能優(yōu)越；
此TOF CMOS芯片，3D位深130萬像素，1英寸光學(xué)尺寸，與第一代TOF 一樣致力于工業(yè)應(yīng)用中取得更多信息和更高精度。
表3 – Teledyne e2v ToF演示系統(tǒng)對比表
4. 結(jié)論
為提高工業(yè)系統(tǒng)的有效性和自主性，用于引導(dǎo)機(jī)器人和機(jī)器的視覺系統(tǒng)需求正在增長; 一些應(yīng)用需要3D視覺（物體識別，精度）。這些技術(shù)也很苛刻，需要具有龐大特征的高性能傳感器。
Teledyne e2v為工業(yè)市場提供廣泛的特殊3D視覺解決方案，，如工廠自動化，物流，計量應(yīng)用順序等。 我們在高性能CMOS圖像傳感器方面的特殊專長， 不僅提供標(biāo)準(zhǔn)3D方案，也提供定制服務(wù)，能夠在日/夜操作條件下從快速移動的物體獲得3D精確檢測，從而克服今天3D視覺的挑戰(zhàn)。
