本發(fā)明涉及計算機圖形學(xué)中的快照式成像光譜技術(shù)領(lǐng)域，尤其是涉及了一種基于飛行時間傳感器的快照差分成像方法。

背景技術(shù)：

快照差分成像技術(shù)作為計算機視覺研究的核心課題之一，是一門正興起的技術(shù)。它融入了人工智能、圖像處理、模式識別、計算機、以及自動控制等許多領(lǐng)域的先進技術(shù)。若用在視頻跟蹤系統(tǒng)上，具有隱蔽性、直觀性、抗電子干擾性、性價比高等突出優(yōu)點。因為可從視頻監(jiān)視器上直接看到目標圖像，因而能方便、直觀地辨別出目標。此外在近距離跟蹤方而，視頻的跟蹤系統(tǒng)具有較高的可靠性、精確性和穩(wěn)定性。因提取的結(jié)果中包含了場景中各個運動目標的大量時空信息，快照差分成像技術(shù)從二十世紀六十年代以來，取得了極大的發(fā)展，在醫(yī)療診斷、戰(zhàn)場警戒、氣候分析、軍事視覺制導(dǎo)、安全監(jiān)測、參數(shù)現(xiàn)實、交通管制、機器人視覺導(dǎo)航、虛擬現(xiàn)實和視頻壓縮等許多方面都有廣泛應(yīng)用。但現(xiàn)有的快照差分成像技術(shù)針對全局光照分割、時空圖像梯度直接成像和直接深度邊緣成像時還無法實現(xiàn)高實時性與高準確度，本發(fā)明很好的改善了這一技術(shù)在這方面的局限性。

本發(fā)明提出了一種基于飛行時間傳感器的快照差分成像方法，其主要內(nèi)容包括：差分成像規(guī)則、差分成像儀原型設(shè)計、基于極性的全局分割、基于單幅差分圖像恢復(fù)兩幅圖像的方法，其過程為，通過依次捕獲多個圖像來對圖像進行差分計算，然后把它們放在一起處理，其中在記錄動態(tài)場景時這種方法會導(dǎo)致偽影的產(chǎn)生，因此本發(fā)明設(shè)計出一種在飛行時間相機的傳感器硬件中實現(xiàn)的快照差分成像方法。通過本發(fā)明所提出的快照差分成像技術(shù)使得直接全局光照分割、時空圖像梯度直接成像和直接深度邊緣成像都獲得了更好的實時性與準確性。

技術(shù)實現(xiàn)要素：

針對本發(fā)明提出的基于飛行時間傳感器的快照差分成像方法，其通過依次捕獲多個圖像來對圖像進行差分計算，然后把它們放在一起處理，其中在記錄動態(tài)場景時這種方法會導(dǎo)致偽影的產(chǎn)生，因此本發(fā)明設(shè)計出一種在飛行時間相機的傳感器硬件中實現(xiàn)的快照差分成像方法。通過本發(fā)明所提出的快照差分成像技術(shù)使得直接全局光照分割、時空圖像梯度直接成像和直接深度邊緣成像都獲得了更好的實時性與準確性。

為解決上述問題，本發(fā)明提供一種基于飛行時間傳感器的快照差分成像方法，其主要內(nèi)容包括：

(一)差分成像規(guī)則；

(二)差分成像儀原型設(shè)計；

(三)基于極性的全局分割；

(四)基于單幅差分圖像恢復(fù)兩幅圖像的方法；

其中，所述的差分成像規(guī)則，在飛行時間(tof)傳感器中的像素用于測量時變光子通量gi(t)以及時變傳感器調(diào)制信號f(t)∈[0,1]，與在一個勢阱中收集光電二極管所產(chǎn)生電荷的ccd或cmos傳感器不同，tof傳感器的每個像素具有兩個這樣的勢阱，其中傳感器調(diào)制信號f(t)決定了在時間t產(chǎn)生的電荷在哪一個勢阱中終止，而在積分階段結(jié)束時兩勢阱間的差值被讀出并進行數(shù)字化，如等式(1)所示：

其中ρ是從電子計數(shù)到數(shù)字單位的轉(zhuǎn)換因子，而η代表解調(diào)對比度，而和是在積分階段[0,t]內(nèi)兩個勢阱分別收集的光電子，如等式(2)所示：

這里入射光子率gi(t)是一個描述光源發(fā)光這個場景的時變強度g(t)的函數(shù)，而在tof成像過程中，f(t)和g(t)是相同高頻(通常為20-100mhz)的周期函數(shù)，且從光源到傳感器的光傳播延時導(dǎo)致了相對相移，這里通過測量相移可以恢復(fù)圖像深度，且需要將調(diào)制頻率降低到1-5mhz，其中近距離場景下的光傳播可以被認為是瞬時發(fā)生的，f(t)由數(shù)字電路產(chǎn)生，其值僅被假設(shè)為0和1，這里使用兩個光源，其中光源1(ls1)使用相同的函數(shù)f(t)來驅(qū)動，而光源2(ls2)則使用f(t)的邏輯非來驅(qū)動，根據(jù)等式(2)，在勢阱中收集的電荷將會記錄ls1發(fā)光所顯示的場景圖像，而這里則對應(yīng)ls2，因此像素可以在不同的發(fā)光情況下測量兩幅圖像的差別；此外還需要對tof成像儀建立合適的噪聲模型來降低噪聲所導(dǎo)致的系統(tǒng)誤差。

進一步地，所述的噪聲模型，tof成像儀作為一種復(fù)雜的光學(xué)器件容易接收不同來源的噪聲影響，而對于差分測量方案來說，尤其是正在經(jīng)常在tof操作中使用的多抽頭測量方案，可以很好的抵消大部分硬件所導(dǎo)致的系統(tǒng)誤差，但這些措施也不能消除散射噪聲，這是在光電子計數(shù)過程中所發(fā)生的不確定性；如果是兩個勢阱的預(yù)期電子數(shù)，則實際在任何一副圖像中所記錄的電子數(shù)i^±應(yīng)該是一個泊松分布隨機變量，其平均值μ^±以及方差(σ^±)²都應(yīng)與相應(yīng)的預(yù)期值相同，如等式(3)所示：

最終像素值作為兩個獨立隨機變量的差值也是一個隨機變量，且這個值遵循skellam分布，這里平均值μdiff和方差與i±的平均值μ±和方差的相互關(guān)系如等式(4)和(5)所示：

其中為所讀取的模型附加噪聲源的值，而器件常數(shù)η∈[0,1]則是成像器的對比度，這里用矩陣向量乘積來表示如等式(6)所示：

這里注意測量值i^diff的不確定性并不主要取決于凈差值，而更多的由隱形分量來決定，故即使是在出現(xiàn)零信號也就是的時候，實際觀測值i^diff也可能會受到明顯的噪聲影響，這就是差分成像的主要特征，其適用于各種機構(gòu)并能應(yīng)用到后捕獲差分技術(shù)中去，這里將系統(tǒng)特征矩陣h稱為skellam混合矩陣。

進一步地，所述的差分成像儀原型設(shè)計，構(gòu)建了基于兩個不同的飛行時間傳感平臺的快照差分成像儀，這里將光學(xué)評估模塊與外部調(diào)制器和光源結(jié)合，其中將成像器的過紅外濾波器移除以便它們能感知可見光，為了能夠進行差分成像，外部光源分別被配置在相位的里面和外面，而系統(tǒng)則配置每秒刷新60幀，其中每幀的曝光時間為2000μs，圖像也在曝光時間內(nèi)捕獲，而為了實現(xiàn)不同的成像模式，需要將光源與不同顏色的led配合使用放置在不同的位置，并按照特定的目的來安裝led和帶有偏振濾光片的相機，此處為了減少固定模式噪聲，需要在進行數(shù)據(jù)采集之前記錄一個黑色幀并從每個測量幀中減去，因此差分圖像像素的值取決于兩勢阱之間的電荷平衡。

進一步地，所述的基于極性的全局分割，這里設(shè)計的機構(gòu)以單點偏振差分成像儀的形式來展示其隔離直接反射光的能力，并在使用交叉線偏振光的兩個光源和相機上的分析濾光片照明場景時可以考慮圖像的四個不同部分：(1)最初通過偏振濾光器的直射光平行于分析儀，并直接反射到場景中從而保持極化的方向；(2)最初通過偏振濾光器平行于分析儀并在場景中多次散射，因此不能保持極化的方向；(3)最初通過偏振濾光片垂直于分析儀，并直接反映在場景中；(4)最初通過偏振濾光片垂直于分析儀，并在場景中多次散射；這里假設(shè)場景中的多次散射完全消除了兩個初始極化方向的光線，則在與分析儀平行偏振的光照射后到達相機的光線照射量是與f(t)同相的分量，如等式(7)所示：

而在與分析儀垂直偏振的光照射后到達傳感器的光線則是通過分析濾光片的光線，如等式(8)所示：

在光源相同的情況下假設(shè)直接和間接散射光之間的比例對于初始極化方向是相同的，此時滿足因此光子混合設(shè)備(pmd)傳感器在與光源的鎖定操作中獲取的差分圖像可以用等式(9)表示：

最后留下僅包含直接反射光的圖像，這種基于極性的全局分割方法在深度邊緣與方向性梯度成像、時間梯度成像、空間梯度成像等成像方法中都得到了應(yīng)用，且為了能在許多應(yīng)用場合中對材料進行表征與分類，需要使用到雙極性色彩匹配功能。

進一步地，所述的雙極性色彩匹配功能，使用表示特征的照明或優(yōu)化過的光譜照明模式來基于每個像素對材料進行分類，這里采用這項工作的光譜面并使用pmd機構(gòu)來構(gòu)建一個有源照相機從而在單次拍攝中區(qū)分出拍攝對象紅色和藍色的反射率，通過分別在l1和l2上配置紅色以及藍色led，可以獲得一個既可以測量對象顏色主要為紅色的正響應(yīng)又可以測量對象顏色主要為藍色的負響應(yīng)的雙極性彩色攝像頭，故在實際測量中可以清楚地看到彩色貼片中的正或負反應(yīng)，其中像灰度值這樣可以將紅色與綠色映射到等效部分的補丁會導(dǎo)致響應(yīng)值接近零，這也證明了快照差分成像對辨別彩色成像的適用性，因此可以使用這種方法來促進圖像分割與分類的新方法的形成或者使用雙極性匹配功能來直接感知對象的主要顏色。

進一步地，所述的深度邊緣與方向性梯度成像，由于常規(guī)照片中物體的不同空間特征之間顯示出較低的對比度，故難以從照片中推導(dǎo)出三維物體的結(jié)構(gòu)和形狀，而從兩個不同的角度照亮對象可以揭示整個場景的深度結(jié)構(gòu)，就方便進行圖像分割等操作，所設(shè)計的機構(gòu)可用于生成場景的方向梯度圖像，且在這種操作模式下需要將相反極性的兩個相同的光源放置在傳感器的相對兩側(cè)，這里每當深度不連續(xù)性影響其中一個光源時，所產(chǎn)生的圖像會顯示正值或負值，而其他像素則會獲得接近零的值；通過改變光源之間的距離可以獲得不同的邊緣寬度，而隨著光源分離的程度接近場景和攝像機之間的距離，此時記錄陰影圖像可以用于估計物體的表面取向，快照差分成像的一個主要優(yōu)點是它不受場景運動的影響，而多重拍攝技術(shù)通常會在物體快速移動時遇到校準問題，這里以相同的每秒60幀的幀速記錄了移動場景的兩個圖像序列，對于序列1使用兩個光源的快照差分成像；而對于序列2則在ls1和ls2之間交替在連續(xù)幀之間對差分圖像進行數(shù)字計算，結(jié)果顯示單次拍攝的差分圖像比雙次拍攝的更明顯，且?guī)缀鯖]有重影偽像，此外單次拍攝圖像所顯示的固定模式噪聲略有增加。

進一步地，所述的時間梯度成像，設(shè)計了一種新的光學(xué)機構(gòu)結(jié)合快照差分成像儀在模擬硬件中執(zhí)行邊緣檢測，此處的關(guān)鍵是在i⁺和i^-這兩幅圖像之間引入一個小的空間位移，這樣凈圖像就可以成為場景的兩個移位副本之間的差異值，且這里僅需要將光學(xué)無源器件添加到我們的機構(gòu)中去，也就是將雙折射晶體放置在傳感器的頂部來代替鏡頭上的分析濾鏡；而對于偏振保留場景，該機構(gòu)會在傳感器區(qū)域上產(chǎn)生兩個相同的圖像，并在相反的級性上位移一個像素，然后圖像中的均勻區(qū)域在該差分圖像中抵消，而邊緣則被檢測為非零響應(yīng)(根據(jù)方向來判斷正負)。

進一步地，所述的空間梯度成像，這里設(shè)計的差分成像法可以在沒有主動照明的情況下使用，這里使用50％占空比的高頻方波調(diào)制傳感器，這樣可以降低傳感器對環(huán)境光的敏感度，然后通過選擇一個不對稱調(diào)制模式來引入偏差；在曝光開始階段到達的光線有利于i^-的形成，而在曝光結(jié)束階段到達的光則有利于i⁺的形成，在這樣做時會使照相機感受到光強基于時間的變化，這里在曝光階段的后半部分比上半部分接收更多光的像素顯示為正像素，反之亦然。此外，從時間梯度圖像中可以通過圖像中實物的黑色和白色邊緣來識別實物運動方向。

進一步地，所述的基于單幅差分圖像恢復(fù)兩幅圖像的方法，利用兩個光子限制信號的噪聲特性從單個差分圖像中恢復(fù)出兩個原始圖像，這里根據(jù)等式(6)可以知道差分圖像中每個像素的噪聲并不取決于得到的差值，而是存儲在各個獨立勢阱中的電荷量，因此可以通過差分圖像的噪聲統(tǒng)計結(jié)果(每個像素的平均值和方差)來計算出i⁺和i^-的值，如等式(10)所示：

這里提出三種方法來估算這些數(shù)量：一是在等同條件下對一系列輸入圖像幀進行分析，這里且其中在第i幀中位置為處的像素值；二是對單個預(yù)分割圖像做基于塊的分析，這里且其中代表了時屬于同一個圖像塊的像素集，這種方法在平坦均勻的圖像區(qū)域下可以產(chǎn)生關(guān)于顏色質(zhì)量方面的最佳圖像重建；三是使用雙邊濾波器來分析單個圖像，這里且其中雙邊權(quán)重為這種方法在計算平均值與方差時使用雙邊濾波器來降低不同像素的權(quán)重；這里的后兩種方法通過犧牲圖像質(zhì)量來將源與單個差分圖像分離，這使得它們適用于目標快速移動的場景，且這種算法針對實時性應(yīng)用將會非常簡單。

附圖說明

圖1是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的系統(tǒng)框架圖。

圖2是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的tof攝像機系統(tǒng)及其通過不同成像方式所獲圖像。

圖3是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的tof像素操作圖示。

圖4是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的極性差分成像圖示。

圖5是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的在使用雙折射晶體情況下的差分成像圖示。

圖6是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的時空梯度成像示例圖。

具體實施方式

需要說明的是，在不沖突的情況下，本申請中的實施例及實施例中的特征可以相互結(jié)合，下面結(jié)合附圖和具體實施例對本發(fā)明作進一步詳細說明。

圖1是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的系統(tǒng)框架圖。主要包括差分成像規(guī)則、差分成像儀原型設(shè)計、基于極性的全局分割、基于單幅差分圖像恢復(fù)兩幅圖像的方法。

其中，所述的差分成像規(guī)則，在飛行時間(tof)傳感器中的像素用于測量時變光子通量gi(t)以及時變傳感器調(diào)制信號f(t)∈[0,1]，與在一個勢阱中收集光電二極管所產(chǎn)生電荷的ccd或cmos傳感器不同，tof傳感器的每個像素具有兩個這樣的勢阱，其中傳感器調(diào)制信號f(t)決定了在時間t產(chǎn)生的電荷在哪一個勢阱中終止，而在積分階段結(jié)束時兩勢阱間的差值被讀出并進行數(shù)字化，如等式(1)所示：

其中ρ是從電子計數(shù)到數(shù)字單位的轉(zhuǎn)換因子，而η代表解調(diào)對比度，而和是在積分階段[0,t]內(nèi)兩個勢阱分別收集的光電子，如等式(2)所示：

這里入射光子率gi(t)是一個描述光源發(fā)光這個場景的時變強度g(t)的函數(shù)，而在tof成像過程中，f(t)和g(t)是相同高頻(通常為20-100mhz)的周期函數(shù)，且從光源到傳感器的光傳播延時導(dǎo)致了相對相移，這里通過測量相移可以恢復(fù)圖像深度，且需要將調(diào)制頻率降低到1-5mhz，其中近距離場景下的光傳播可以被認為是瞬時發(fā)生的，f(t)由數(shù)字電路產(chǎn)生，其值僅被假設(shè)為0和1，這里使用兩個光源，其中光源1(ls1)使用相同的函數(shù)f(t)來驅(qū)動，而光源2(ls2)則使用f(t)的邏輯非來驅(qū)動，根據(jù)等式(2)，在勢阱中收集的電荷將會記錄ls1發(fā)光所顯示的場景圖像，而這里則對應(yīng)ls2，因此像素可以在不同的發(fā)光情況下測量兩幅圖像的差別；此外還需要對tof成像儀建立合適的噪聲模型來降低噪聲所導(dǎo)致的系統(tǒng)誤差。

進一步地，所述的噪聲模型，tof成像儀作為一種復(fù)雜的光學(xué)器件容易接收不同來源的噪聲影響，而對于差分測量方案來說，尤其是正在經(jīng)常在tof操作中使用的多抽頭測量方案，可以很好的抵消大部分硬件所導(dǎo)致的系統(tǒng)誤差，但這些措施也不能消除散射噪聲，這是在光電子計數(shù)過程中所發(fā)生的不確定性；如果是兩個勢阱的預(yù)期電子數(shù)，則實際在任何一副圖像中所記錄的電子數(shù)i^±應(yīng)該是一個泊松分布隨機變量，其平均值μ^±以及方差(σ^±)²都應(yīng)與相應(yīng)的預(yù)期值相同，如等式(3)所示：

最終像素值作為兩個獨立隨機變量的差值也是一個隨機變量，且這個值遵循skellam分布，這里平均值μdiff和方差與i±的平均值μ±和方差的相互關(guān)系如等式(4)和(5)所示：

其中為所讀取的模型附加噪聲源的值，而器件常數(shù)η∈[0,1]則是成像器的對比度，這里用矩陣向量乘積來表示如等式(6)所示：

這里注意測量值i^diff的不確定性并不主要取決于凈差值，而更多的由隱形分量來決定，故即使是在出現(xiàn)零信號也就是的時候，實際觀測值i^diff也可能會受到明顯的噪聲影響，這就是差分成像的主要特征，其適用于各種機構(gòu)并能應(yīng)用到后捕獲差分技術(shù)中去，這里將系統(tǒng)特征矩陣h稱為skellam混合矩陣。

進一步地，所述的差分成像儀原型設(shè)計，構(gòu)建了基于兩個不同的飛行時間傳感平臺的快照差分成像儀，這里將光學(xué)評估模塊與外部調(diào)制器和光源結(jié)合，其中將成像器的過紅外濾波器移除以便它們能感知可見光，為了能夠進行差分成像，外部光源分別被配置在相位的里面和外面，而系統(tǒng)則配置每秒刷新60幀，其中每幀的曝光時間為2000μs，圖像也在曝光時間內(nèi)捕獲，而為了實現(xiàn)不同的成像模式，需要將光源與不同顏色的led配合使用放置在不同的位置，并按照特定的目的來安裝led和帶有偏振濾光片的相機，此處為了減少固定模式噪聲，需要在進行數(shù)據(jù)采集之前記錄一個黑色幀并從每個測量幀中減去，因此差分圖像像素的值取決于兩勢阱之間的電荷平衡。

進一步地，所述的基于極性的全局分割，這里設(shè)計的機構(gòu)以單點偏振差分成像儀的形式來展示其隔離直接反射光的能力，并在使用交叉線偏振光的兩個光源和相機上的分析濾光片照明場景時可以考慮圖像的四個不同部分：(1)最初通過偏振濾光器的直射光平行于分析儀，并直接反射到場景中從而保持極化的方向；(2)最初通過偏振濾光器平行于分析儀并在場景中多次散射，因此不能保持極化的方向；(3)最初通過偏振濾光片垂直于分析儀，并直接反映在場景中；(4)最初通過偏振濾光片垂直于分析儀，并在場景中多次散射；這里假設(shè)場景中的多次散射完全消除了兩個初始極化方向的光線，則在與分析儀平行偏振的光照射后到達相機的光線照射量是與f(t)同相的分量，如等式(7)所示：

而在與分析儀垂直偏振的光照射后到達傳感器的光線則是通過分析濾光片的光線，如等式(8)所示：

在光源相同的情況下假設(shè)直接和間接散射光之間的比例對于初始極化方向是相同的，此時滿足因此光子混合設(shè)備(pmd)傳感器在與光源的鎖定操作中獲取的差分圖像可以用等式(9)表示：

最后留下僅包含直接反射光的圖像，這種基于極性的全局分割方法在深度邊緣與方向性梯度成像、時間梯度成像、空間梯度成像等成像方法中都得到了應(yīng)用，且為了能在許多應(yīng)用場合中對材料進行表征與分類，需要使用到雙極性色彩匹配功能。

進一步地，所述的雙極性色彩匹配功能，使用表示特征的照明或優(yōu)化過的光譜照明模式來基于每個像素對材料進行分類，這里采用這項工作的光譜面并使用pmd機構(gòu)來構(gòu)建一個有源照相機從而在單次拍攝中區(qū)分出拍攝對象紅色和藍色的反射率，通過分別在l1和l2上配置紅色以及藍色led，可以獲得一個既可以測量對象顏色主要為紅色的正響應(yīng)又可以測量對象顏色主要為藍色的負響應(yīng)的雙極性彩色攝像頭，故在實際測量中可以清楚地看到彩色貼片中的正或負反應(yīng)，其中像灰度值這樣可以將紅色與綠色映射到等效部分的補丁會導(dǎo)致響應(yīng)值接近零，這也證明了快照差分成像對辨別彩色成像的適用性，因此可以使用這種方法來促進圖像分割與分類的新方法的形成或者使用雙極性匹配功能來直接感知對象的主要顏色。

進一步地，所述的深度邊緣與方向性梯度成像，由于常規(guī)照片中物體的不同空間特征之間顯示出較低的對比度，故難以從照片中推導(dǎo)出三維物體的結(jié)構(gòu)和形狀，而從兩個不同的角度照亮對象可以揭示整個場景的深度結(jié)構(gòu)，就方便進行圖像分割等操作，所設(shè)計的機構(gòu)可用于生成場景的方向梯度圖像，且在這種操作模式下需要將相反極性的兩個相同的光源放置在傳感器的相對兩側(cè)，這里每當深度不連續(xù)性影響其中一個光源時，所產(chǎn)生的圖像會顯示正值或負值，而其他像素則會獲得接近零的值；通過改變光源之間的距離可以獲得不同的邊緣寬度，而隨著光源分離的程度接近場景和攝像機之間的距離，此時記錄陰影圖像可以用于估計物體的表面取向，快照差分成像的一個主要優(yōu)點是它不受場景運動的影響，而多重拍攝技術(shù)通常會在物體快速移動時遇到校準問題，這里以相同的每秒60幀的幀速記錄了移動場景的兩個圖像序列，對于序列1使用兩個光源的快照差分成像；而對于序列2則在ls1和ls2之間交替在連續(xù)幀之間對差分圖像進行數(shù)字計算，結(jié)果顯示單次拍攝的差分圖像比雙次拍攝的更明顯，且?guī)缀鯖]有重影偽像，此外單次拍攝圖像所顯示的固定模式噪聲略有增加。

進一步地，所述的時間梯度成像，設(shè)計了一種新的光學(xué)機構(gòu)結(jié)合快照差分成像儀在模擬硬件中執(zhí)行邊緣檢測，此處的關(guān)鍵是在i⁺和i^-這兩幅圖像之間引入一個小的空間位移，這樣凈圖像就可以成為場景的兩個移位副本之間的差異值，且這里僅需要將光學(xué)無源器件添加到我們的機構(gòu)中去，也就是將雙折射晶體放置在傳感器的頂部來代替鏡頭上的分析濾鏡；而對于偏振保留場景，該機構(gòu)會在傳感器區(qū)域上產(chǎn)生兩個相同的圖像，并在相反的級性上位移一個像素，然后圖像中的均勻區(qū)域在該差分圖像中抵消，而邊緣則被檢測為非零響應(yīng)(根據(jù)方向來判斷正負)。

進一步地，所述的空間梯度成像，這里設(shè)計的差分成像法可以在沒有主動照明的情況下使用，這里使用50％占空比的高頻方波調(diào)制傳感器，這樣可以降低傳感器對環(huán)境光的敏感度，然后通過選擇一個不對稱調(diào)制模式來引入偏差；在曝光開始階段到達的光線有利于i^-的形成，而在曝光結(jié)束階段到達的光則有利于i⁺的形成，在這樣做時會使照相機感受到光強基于時間的變化，這里在曝光階段的后半部分比上半部分接收更多光的像素顯示為正像素，反之亦然。此外，從時間梯度圖像中可以通過圖像中實物的黑色和白色邊緣來識別實物運動方向。

進一步地，所述的基于單幅差分圖像恢復(fù)兩幅圖像的方法，利用兩個光子限制信號的噪聲特性從單個差分圖像中恢復(fù)出兩個原始圖像，這里根據(jù)等式(6)可以知道差分圖像中每個像素的噪聲并不取決于得到的差值，而是存儲在各個獨立勢阱中的電荷量，因此可以通過差分圖像的噪聲統(tǒng)計結(jié)果(每個像素的平均值和方差)來計算出i⁺和i^-的值，如等式(10)所示：

這里提出三種方法來估算這些數(shù)量：一是在等同條件下對一系列輸入圖像幀進行分析，這里且其中在第i幀中位置為處的像素值；二是對單個預(yù)分割圖像做基于塊的分析，這里且其中代表了時屬于同一個圖像塊的像素集，這種方法在平坦均勻的圖像區(qū)域下可以產(chǎn)生關(guān)于顏色質(zhì)量方面的最佳圖像重建；三是使用雙邊濾波器來分析單個圖像，這里且其中雙邊權(quán)重為這種方法在計算平均值與方差時使用雙邊濾波器來降低不同像素的權(quán)重；這里的后兩種方法通過犧牲圖像質(zhì)量來將源與單個差分圖像分離，這使得它們適用于目標快速移動的場景，且這種算法針對實時性應(yīng)用將會非常簡單。

圖2是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的tof攝像機系統(tǒng)及其通過不同成像方式所獲圖像。圖中(a)為可以直接感知圖像時空梯度的tof攝像機系統(tǒng)；而(b)則為深度邊緣成像示例；(c)為直接光線成像示例；(d)為空間梯度成像示例。

圖3是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的tof像素操作圖示。圖中的光源場景中反射出來并經(jīng)過短暫的調(diào)制后就被解調(diào)為像素的形式，這里設(shè)置兩個勢阱來收集像素，然后將兩個勢阱之間的差分電壓放大后再進行模數(shù)轉(zhuǎn)換，最后作為數(shù)字信號讀出。

圖4是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的極性差分成像圖示。圖中兩個相同的光源分別在正相位與反相位兩種情況下進行調(diào)制后成為傳感器像素，其中光源的極化方向是相互垂直的，這里一部分光在傳感器前與分析濾波器平行，直接從場景表面反射的光則會保持其極性，而在場景中多次散射的光則會失去極性。

圖5是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的在使用雙折射晶體情況下的差分成像圖示。圖中的場景使用被極化為兩束相互垂直的光先進行照射，其中一束光會變?yōu)檎辔欢硪皇鈩t會變?yōu)榉聪辔?，這里直接從場景表面反射的光會保持其極性，而在場景表面另一束以不同角度折射的光線則會在經(jīng)過雙折射晶體時產(chǎn)生一個相對位移。

圖6是本發(fā)明一種基于飛行時間傳感器的快照差分成像方法的時空梯度成像示例圖。圖中左邊為tof攝像機系統(tǒng)所得的時空梯度成像結(jié)果，而右圖則為原始rgb圖像。

對于本領(lǐng)域技術(shù)人員，本發(fā)明不限制于上述實施例的細節(jié)，在不背離本發(fā)明的精神和范圍的情況下，能夠以其他具體形式實現(xiàn)本發(fā)明。此外，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍，這些改進和變型也應(yīng)視為本發(fā)明的保護范圍。因此，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。