用于生成魯棒性立體圖像的技術(shù)的制作方法
【專利摘要】本發(fā)明描述了用于從立體圖像中生成魯棒性深度圖的技術(shù)。魯棒性深度圖從采用或不采用閃光照明所捕獲的立體圖像的集合中生成。因為實現(xiàn)了根據(jù)使用不同閃光照明級別所捕獲的光強度的比率來在匹配窗口中加權(quán)像素的像素匹配算法，所以深度圖比使用常規(guī)技術(shù)所生成的深度圖更具魯棒性。比率圖提供相對于鄰近像素的深度的粗略估計，該粗略估計使得閃光/無閃光像素匹配算法能夠使表現(xiàn)為與匹配窗口中的中央像素位于不同深度的像素降值。此外，比率圖可用來過濾所生成的深度圖以生成針對立體圖像內(nèi)的對象的深度的平滑估計。
【專利說明】用于生成魯棒性立體圖像的技術(shù)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明總地涉及立體圖像，并且，更具體地，涉及從采用和不用諸如閃光器件的光源所捕獲的一對對應(yīng)的立體圖像中生成魯棒性立體圖像的技術(shù)。
【背景技術(shù)】
[0002]近來，三維(3D)立體圖像和視頻在消費者市場中已備受青睞。隨著相對便宜的3DHDTV(高清晰度電視)裝置的市場化所引入的更寬泛的3D內(nèi)容選擇已經(jīng)使以3D形式觀看圖像和視頻變得更加普遍。使計算機配備照相機裝置以及從立體圖像對中計算深度和空間關(guān)系已通過3D建模、機器人導(dǎo)航、新圖像合成、增擴實境、以及游戲中的應(yīng)用而被大量記載。近來，立體成像已展示在像諸如Fuji?: Fin印ix3D照相機和Sony?:Bl0ggie3D照相機的手持視頻照相機那樣常見的應(yīng)用中。
[0003]常規(guī)地，應(yīng)用使用基本立體重建算法從所捕獲的立體圖像中生成深度圖(depthmap)以通過對取自偏移位置的、跨兩個或兩個以上圖像的場景點的投射加以比較來針對每個像素生成深度值。以另一種方式來講，立體重建算法基本是像素匹配操作。典型地通過最小化平方和、最大化像素相關(guān)性、或通過應(yīng)用秩(rank)或統(tǒng)計變換(census transform)并隨后匹配秩或位串來實施像素匹配。這些算法在有紋理的表面上工作較好，但算法難以在具有均勻顏色的表面上進行準確匹配。此外，像素匹配算法臨近于遮擋(occlusion)邊界可能失敗，因為在邊界處的深度間斷點將使局部像素跨不同圖像而有所不同(即封閉表面在一個圖像中遮擋背景中的像素但在其他圖像中則遮擋不同的背景對象并且因此，那些像素不具有對應(yīng)匹配)。常規(guī)算法可能失敗的情況的一個好的示例是當通過細網(wǎng)格諸如藤椅或鐵絲網(wǎng)圍欄來拍攝照片時。
[0004]因此，本領(lǐng)域所需要的是用于生成與立體圖像相關(guān)聯(lián)的準確的、逐像素的深度圖的更有效的方法。

【發(fā)明內(nèi)容】

[0005]本發(fā)明的一個實施例闡述了用于從立體圖像的集合中生成深度圖的方法。方法包括以下步驟:生成與立體圖像的集合中的第一圖像和立體圖像的集合中的對應(yīng)第二圖像相關(guān)聯(lián)的比率圖，其中第一圖像通過使用環(huán)境照明由第一圖像傳感器所捕獲，并且第二圖像通過使用閃光照明由第一圖像傳感器所捕獲。第一圖像對應(yīng)于與由第一圖像傳感器捕獲第一圖像大致同時地由第二圖像傳感器所捕獲的第三圖像。類似地，第二圖像對應(yīng)于與由第一圖像傳感器捕獲第二圖像大致同時地由第二圖像傳感器所捕獲的第四圖像。方法進一步包括以下步驟:基于第二圖像和第四圖像的比較生成與第二圖像相關(guān)聯(lián)的像差圖，以及生成與第二圖像相關(guān)聯(lián)的深度圖。方法還可包括以下步驟:生成與第三圖像和第四圖像相關(guān)聯(lián)的比率圖、生成與第四圖像相關(guān)聯(lián)的像差圖、以及生成與第四圖像相關(guān)聯(lián)的深度圖。針對第二圖像中的每個像素，比率圖將像素與基于第二圖像的針對像素的第一強度值和基于第一圖像的針對對應(yīng)像素的第二強度值的比率相關(guān)聯(lián)、像差圖根據(jù)將第二圖像中的像素與第四圖像中的對應(yīng)像素加以比較的像素匹配算法來將像素與像差值相關(guān)聯(lián)，其中像素匹配算法包括基于與像素相關(guān)聯(lián)的比率的至少一個計算，并且深度圖將像素與基于焦距、基線偏移距離以及與像素相關(guān)聯(lián)的像差值所計算的深度值相關(guān)聯(lián)。
[0006]本發(fā)明的另一個實施例闡述了包括指令的計算機可讀存儲介質(zhì)，當由處理單元所執(zhí)行時，該指令致使處理單元根據(jù)上文所闡述的方法實施用于從立體圖像的集合中生成深度圖的操作。本發(fā)明的又一個實施例闡述了用于從立體圖像的集合中生成深度圖的系統(tǒng)。系統(tǒng)包括存儲器和處理器。存儲器配置為存儲由兩個或兩個以上圖像傳感器所捕獲的立體圖像的集合，該立體圖像的集合包括通過使用環(huán)境照明由第一圖像傳感器所捕獲的第一圖像、通過使用閃光照明由第一圖像傳感器所捕獲的第二圖像、與由第一圖像傳感器捕獲第一圖像大致同時地由第二圖像傳感器所捕獲的第三圖像、以及與由第一圖像傳感器捕獲第二圖像大致同時地由第二圖像傳感器所捕獲的第四圖像。處理器耦連到存儲器并配置為根據(jù)上文所闡述的方法實施用于從立體圖像的集合中生成深度圖的操作。
[0007]所公開的系統(tǒng)的一個優(yōu)點是立體視覺照相機對于生成魯棒性深度圖并不要求光源位置或強度分布的高校準度。本文所描述的技術(shù)可實現(xiàn)在許多低成本的手持設(shè)備中。簡單比較使用不同照明度的所捕獲的光強度的比率提供了信息，該信息可用來有效率地匹配與相同表面相對應(yīng)的像素并且可用來在位于像素匹配算法中的不同深度處的像素之間進行區(qū)分。
【專利附圖】

【附圖說明】
[0008]因此，可以詳細地理解本發(fā)明的上述特征，并且可以參考實施例得到對如上面所簡要概括的本發(fā)明更具體的描述，其中一些實施例在附圖中示出。然而，應(yīng)當注意的是，附圖僅示出了本發(fā)明的典型實施例，并且因此不應(yīng)被認為是對其范圍的限制，本發(fā)明可以許可其他等效的實施例。
[0009]圖1是示出了配置為實現(xiàn)本發(fā)明的一個或多個方面的計算機系統(tǒng)的框圖；
[0010]圖2詳細說明了根據(jù)本發(fā)明的一個實施例的、立體視覺照相機的基本幾何結(jié)構(gòu)；
[0011]圖3示出了根據(jù)本發(fā)明的一個實施例的、用于捕獲閃光/無閃光立體圖像對的立體視覺照相機；
[0012]圖4示出了根據(jù)本發(fā)明的一個實施例的、閃光/無閃光立體圖像對和對應(yīng)比率圖的示例；
[0013]圖5A和5B示出了根據(jù)本發(fā)明的一個實施例的、用于計算與像素相關(guān)聯(lián)的像差空間圖像(DSI)的像素匹配算法；
[0014]圖6A和6B示出了根據(jù)本發(fā)明的一個實施例的、用于生成更具魯棒性的深度圖的迭代過濾算法；
[0015]圖7是根據(jù)本發(fā)明的一個實施例的、用于生成與立體圖像相關(guān)聯(lián)的像差圖的方法步驟的流程圖；以及
[0016]圖8是根據(jù)本發(fā)明的一個實施例的、用于生成與閃光立體圖像相關(guān)聯(lián)的經(jīng)過濾的像差圖的方法步驟的流程圖。
[0017]為了清楚起見，在適用的情況下，已經(jīng)使用同樣的參考數(shù)字以指明在附圖之間共同的同樣的元件。應(yīng)預(yù)期到的是，一個實施例的特征可包含在其他實施例中而不用進一步 復(fù)述。
【具體實施方式】
[0018]在下面的描述中，將闡述大量的具體細節(jié)以提供對本發(fā)明更透徹的理解。然而，本領(lǐng)域的技術(shù)人員應(yīng)該清楚，本發(fā)明可以在沒有一個或多個這些具體細節(jié)的情況下得以實踐。
[0019]系統(tǒng)概述
[0020]圖1是示出了配置為實現(xiàn)本發(fā)明的一個或多個方面的計算機系統(tǒng)100的框圖。計算機系統(tǒng)100可以是臺式計算機、膝上計算機、手持設(shè)備、蜂窩式電話、PDA(個人數(shù)字助理)、平板計算機、照相機、或其他眾所周知類型的消費者電子設(shè)備。
[0021]如圖1所示，計算機系統(tǒng)100包括但不限于，經(jīng)由可以包括存儲器橋105的互連路徑通信的中央處理單元(CPU) 102和系統(tǒng)存儲器104。存儲器橋105可以是例如北橋芯片，經(jīng)由總線或其他通信路徑106 (例如超傳輸(HyperTransport)鏈路)連接到1/0(輸入/輸出)橋107。I/O橋107，其可以是例如南橋芯片，從一個或多個用戶輸入設(shè)備108 (例如鍵盤、鼠標)接收用戶輸入并且經(jīng)由通信路徑106和存儲器橋105將該輸入轉(zhuǎn)發(fā)到CPU102。并行處理子系統(tǒng)112經(jīng)由總線或第二通信路徑113 (例如外圍部件互連Express(PCIe)、力口速圖形端口或超傳輸鏈路)耦連到存儲器橋105 ;在一個實施例中，并行處理子系統(tǒng)112是將像素傳遞到顯示設(shè)備110 (例如傳統(tǒng)的基于陰極射線管或液晶顯示器的監(jiān)視器)的圖形子系統(tǒng)。系統(tǒng)盤114也連接到I/O橋107。交換器116提供I/O橋107與諸如網(wǎng)絡(luò)適配器118以及各種插卡120和121的其他部件之間的連接。其他部件(未明確示出)，包括通用串行總線(USB)或其他端口連接、壓縮光盤(⑶)驅(qū)動器、數(shù)字視頻光盤(DVD)驅(qū)動器、膠片錄制設(shè)備及類似部件，也可以連接到I/O橋107。圖1所示的各種通信路徑包括具體命名的通信路徑106和113可以使用任何適合的協(xié)議實現(xiàn)，諸如PCI Express、AGP (加速圖形端口)、超傳輸或者任何其他總線或點到點通信協(xié)議，并且如本領(lǐng)域已知的，不同設(shè)備間的連接可使用不同協(xié)議。
[0022]在一個實施例中，并行處理子系統(tǒng)112包含經(jīng)優(yōu)化用于圖形和視頻處理的電路，包括例如視頻輸出電路，并且構(gòu)成圖形處理單元(GPU)。在另一個實施例中，并行處理子系統(tǒng)112包含經(jīng)優(yōu)化用于通用處理的電路，與此同時保留底層(underlying)的計算架構(gòu)，本文將更詳細地進行描述。在又一個實施例中，可以將并行處理子系統(tǒng)112與一個或多個其他系統(tǒng)元件集成在單個子系統(tǒng)中，諸如結(jié)合存儲器橋105、CPU102以及I/O橋107，以形成片上系統(tǒng)(SoC)。
[0023]應(yīng)該理解，本文所示系統(tǒng)是示例性的，并且變化和修改都是可能的。連接拓撲，包括橋的數(shù)目和布置、CPU102的數(shù)目以及并行處理子系統(tǒng)112的數(shù)目，可根據(jù)需要修改。例如，在一些實施例中，系統(tǒng)存儲器104直接連接到CPU102而不是通過橋，并且其他設(shè)備經(jīng)由存儲器橋105和CPU102與系統(tǒng)存儲器104通信。在其他替代性拓撲中，并行處理子系統(tǒng)112連接到I/O橋107或直接連接到CPU102，而不是連接到存儲器橋105。而在其他實施例中，I/O橋107和存儲器橋105可能被集成到單個芯片上而不是作為一個或多個分立設(shè)備存在。大型實施例可以包括兩個或兩個以上的CPU102以及兩個或兩個以上的并行處理系統(tǒng)112。本文所示的特定部件是可選的；例如，任何數(shù)目的插卡或外圍設(shè)備都可能得到支持。在一些實施例中，交換器116被去掉，網(wǎng)絡(luò)適配器118和插卡120、121直接連接到I/O橋107。
[0024]圖2詳細說明了根據(jù)本發(fā)明的一個實施例的、立體視覺照相機200的基本幾何結(jié)構(gòu)。立體視覺照相機200可包括計算系統(tǒng)100的一個或多個元件。例如，立體視覺照相機可包括由系統(tǒng)總線所連接的CPU102和系統(tǒng)存儲器104。立體視覺照相機200還可包括用于處理圖像數(shù)據(jù)的并行處理子系統(tǒng)112。在一個實施例中，立體視覺照相機包括在相同集成電路上以形成SoC的CPU102和GPUl 12。立體視覺照相機200還可包括存儲在系統(tǒng)存儲器104中的應(yīng)用或固件，當由CPU102或GPU112所執(zhí)行時，該應(yīng)用或固件使得立體視覺照相機200能夠處理立體圖像并生成深度圖，如下文所更全面地描述。此外，立體視覺照相機的元件可包括在計算系統(tǒng)100內(nèi)，諸如通過在平板計算機、蜂窩式電話、或其他手持設(shè)備中包括兩個圖像傳感器。
[0025]如圖2所示，立體視覺照相機200還可包括使得立體視覺照相機200能夠捕獲立體圖像的集合的兩個或兩個以上偏移圖像傳感器。在一個實施例中，數(shù)字圖像可存儲在系統(tǒng)存儲器104或某個可以或不可移除的其他非易失性存儲器中。圖像可經(jīng)由非經(jīng)壓縮格式諸如32bpp BMP(位圖)格式、或經(jīng)壓縮格式諸如JPEG(聯(lián)合圖像專家組)格式來存儲在存儲器中。立體視覺照相機200可隨后處理從存儲器104所讀取的圖像。在另一個實施例中，在從圖像傳感器讀取之后，原始圖像傳感器數(shù)據(jù)可經(jīng)由立體圖像處理管線直接處理。經(jīng)處理的數(shù)據(jù)可隨后以可用格式之一被寫出到系統(tǒng)存儲器104。
[0026]圖2進一步示出了使用兩個圖像傳感器捕獲立體圖像對。左圖像傳感器(Q) 201捕獲左圖像并且右圖像傳感器(Ck) 202大致同時地捕獲右圖像。每個圖像傳感器201、202可與將光聚焦在圖像傳感器的表面上的透鏡配對。例如，如所示，左透鏡203與左圖像傳感器201配對并且右透鏡204與右圖像傳感器202配對。雖然圖2中未明確示出，但是每個圖像傳感器可集成到包括透鏡、圖像傳感器、快門機構(gòu)、以及諸如可以或不可移除的偏光濾光鏡或濾色鏡的一個或多個濾鏡的圖像傳感器組件中。在一個實施例中，圖像傳感器201、202可以是CMOS (互補金屬氧化物半導(dǎo)體)圖像傳感器。在另一個實施例中，圖像傳感器201、202可以是CXD(電荷耦合器件)圖像傳感器。
[0027]在典型配置中，圖像傳感器201、202在第一維中按基線(B)偏移距離來偏移。基線偏移允許所捕獲的圖像被分析以確定與對應(yīng)立體圖像對中的對象相關(guān)聯(lián)的深度。例如，如圖2所示，對象210示出在針對左圖像傳感器201和右圖像傳感器202的視覺的重疊場內(nèi)的位置處。對象與立體視覺照相機200的透鏡203、204的表面的距離是(Z)。透鏡203、204與焦距(f)相關(guān)聯(lián)，該焦距是從透鏡203、204到圖像傳感器表面(即焦平面)的距離，在該表面，穿過透鏡的所有準直光聚集到圖像傳感器的單個點上。焦距與透鏡203、204的幾何結(jié)構(gòu)和材料有關(guān)。如本領(lǐng)域的技術(shù)人員所知，視場(FOV)的焦距和形狀成反比。換句話說，隨著光學(xué)系統(tǒng)焦距的減小，光學(xué)系統(tǒng)的視場增加。透鏡203、204將位于在圖像傳感器前面的等于焦距(f)的位置處使得穿過透鏡的光聚焦在圖像傳感器上。
[0028]隨著用戶捕獲圖像，對象210表面所反射的光投射到圖像傳感器201、202的表面上。對象210的左前角(P1)投射到左圖像傳感器201上的第一像素位置X1處并且對象210的右前角(P2)投射到左圖像傳感器201上的第二像素位置X2處。類似地，對象210的左前角(P1)投射到右圖像傳感器202上的第三像素位置X3處并且對象210的右前角(P2)投射到右圖像傳感器202上的第四像素位置X4處。應(yīng)理解的是，取決于透鏡(或多個透鏡)的配置，通過對圖像傳感器201、202進行取樣所捕獲的圖像可以在水平(如圖2所示)和垂直兩個方向上反轉(zhuǎn)。立體視覺照相機200可配置為通過以相反順序?qū)ο袼剡M行取樣來校正反轉(zhuǎn)。
[0029]還如圖2所示，歸因于對象210關(guān)于圖像傳感器201、202位置的相對位置，在左和右圖像中的對象210的所投射的位置不一樣。該效果稱作視差(parallax)并被立體視覺系統(tǒng)所利用來使得用戶能夠體驗3D效果。換句話說，來自位置遠離照相機(即在背景中)的對象的光以近似相同的角度穿過左透鏡203和右透鏡204，并在左圖像傳感器201和右圖像傳感器202中投射到相同像素位置上。相反，來自位置離照相機較近的對象的光以不同角度穿過左透鏡203和右透鏡204，并且因此在圖像傳感器201、202上投射到不同像素位置。所投射的像素位置中的像差(disparity)將總是依據(jù)圖像傳感器201、202之間的基線偏移而在相同維度(例如水平)中。在左圖像中的所投射點和在右圖像中的相同所投射點的像素位置之間的像差(D)使得處理單元能夠分析所捕獲的圖像來估計與場景內(nèi)的不同點(即像素)相關(guān)聯(lián)的深度。通過分別解答等式I和2來實施針對對象210的左前角(Pl)和右前角(P2)的所投射的像素位置的像差(D)計算，如下文所示。
[0030]D(P1) =X1-X3(等式 I)
[0031]D(P2) =X2-X4(等式 2)
[0032]如所示，X1和X2是從經(jīng)由左圖像傳感器201所捕獲的左立體圖像的左邊沿所測量的尺寸并且X3和X4是從經(jīng)由右圖像傳感器202所捕獲的右立體圖像的左邊沿所測量的尺寸。應(yīng)理解的是，所捕獲的立體圖像的左邊沿可以不與對應(yīng)圖像傳感器的最左像素相對應(yīng)。可實施立體視覺照相機200的校準以糾正左圖像和右圖像，使得針對發(fā)源于位于背景中的對象的光而言左立體圖像中的最左像素在水平方向上對應(yīng)于右立體圖像的最左像素。
[0033]給定對象210的左前角(Pl)和右前角(P2)的計算出的像差(D)，通過分別解答等式3和4來實施針對對象210的左前角(Pl)和右前角(P2)的深度(Z)計算，如下文所
/Jn ο
_輸瑞=告 (等式3)
[_]電、=銀)=1^ (等式4)
[0036]焦距(f)和基線⑶是基于實現(xiàn)在立體視覺照相機200中的圖像傳感器201、202和透鏡203、204的配置所定義的已知常數(shù)。因此，如等式3和4所清楚顯示的，深度與在左和右圖像中對應(yīng)像素之間的像差量成反比。因此，通過將一幅圖像中的每個像素與另一幅圖像中的對應(yīng)像素相匹配、計算在對應(yīng)的匹配像素位置之間的像差、以及基于計算出的像差確定每個像素的深度，來實施針對左或右圖像的每個像素的深度計算。然而實際上，當嘗試匹配每幅圖像中的像素位置時遭遇了許多問題。例如，常規(guī)像素匹配算法典型地利用窗口函數(shù)以將一幅圖像中的小像素窗口與對應(yīng)圖像中的類似像素窗口相匹配。然而，靠近深度間斷點邊界(即在窗口可包括與位于不同深度的多個表面相關(guān)聯(lián)的像素的情況下)，圍繞實際對應(yīng)像素的窗口可能由于由圖像傳感器和場景中對象的不同空間位置所造成的遮擋而不同。此外，在搜索范圍內(nèi)的多個潛在窗口可共享類似特性的均勻表面上可能難以匹配窗口。典型地，常規(guī)像素匹配算法提供傾向于在對象邊沿處具有低分辨率的低質(zhì)量深度圖。
[0037]閃光/無閃光立體系統(tǒng)
[0038]圖3示出了根據(jù)本發(fā)明的一個實施例的、用于捕獲閃光/無閃光立體圖像對的立體視覺照相機300。如圖3所示，立體視覺照相機300類似于立體視覺照相機200。然而，立體視覺照相機300包括位置臨近于圖像傳感器201、202的閃光器件330。閃光器件330可以是常規(guī)閃光器件諸如用氙氣所填充并由高壓放電所激發(fā)以發(fā)出短閃光或光脈沖的電子閃光管。應(yīng)理解的是，閃光器件330可以是能夠發(fā)出短的光猝發(fā)以照亮場景的任何常規(guī)閃光器件。閃光器件330相對于圖像傳感器201、202位置的精確定位(以及所要求的對應(yīng)校準)對于實現(xiàn)本發(fā)明的某些方面來說并不重要。常規(guī)光度深度計算技術(shù)要求高校準度以確定場景內(nèi)對象的深度。例如，可能要求對環(huán)境光條件和強度進行取樣和控制以及對閃光器件進行定位。本文所述的閃光/無閃光技術(shù)對于生成魯棒性深度圖并不要求相同校準度。
[0039]為了使用立體視覺照相機300來生成魯棒性立體圖像，應(yīng)捕獲兩對立體圖像，第一立體圖像對(本文稱為G1和Gr)以及第二立體圖像對(本文稱為F1和Fr)。第一立體圖像對(GpGJ不依靠閃光器件330來照亮場景，而是依靠環(huán)境光來照亮場景。第二立體圖像對(FpFJ依靠閃光器件330以及環(huán)境光來照亮場景。在可替代實施例中，可實現(xiàn)多于兩個圖像傳感器以捕獲N視角3D圖像(例如用于自動立體顯示)。出于例示的目的，本公開涉及2視角立體圖像，但本文所描述的技術(shù)可擴展到使用N視角實現(xiàn)方案的可替代實施例。
[0040]應(yīng)理解的是，立體視覺照相機300可被校準以糾正用左圖像傳感器201和右圖像傳感器202所捕獲的數(shù)字圖像，使得對兩個照相機均可見的任何表面點投射到所捕獲的圖像中的相同掃描線(即以垂直維度)。換句話說，所捕獲的圖像可對應(yīng)于圖像傳感器201、202的像素的子段(subsection)，使得在圖像傳感器的邊沿上的邊緣像素不對所捕獲的圖像的像素起作用。此外，左圖像傳感器201的邊緣中的像素數(shù)目可能與右圖像傳感器202的對應(yīng)邊緣中的像素數(shù)目不同。例如，左圖像傳感器201的上部邊緣可能大于右圖像傳感器202的上部邊緣以校正當安裝在立體視覺照相機300中時圖像傳感器201、202的垂直方向上的未對齊。此外，左圖像傳感器201和右圖像傳感器202的左和右邊緣可被調(diào)整使得位于距離立體視覺照相機300無限距離(Z)(即足夠大的距離使從對象所反射的光線大致平行地到達左透鏡203和右透鏡204這二者)處的點在所捕獲的圖像的水平邊界處對齊。以這種方式校準立體視覺照相機300確保位于場景的背景中的圖像具有零像差。
[0041]為了針對位于場景中對象的表面上的點P320來評估深度(Z)，對立體圖像對的兩個集合進行分析。假定點P位于其上的對象表面近似朗伯表面(即由表面所反射的光是分散的，使得無論觀察者的視角如何，表面對觀察者的表觀亮度均是相同的)，則在無閃光立體圖像對(GpGr)的捕獲期間從點P反射到圖像傳感器201、202中的每一個的光的所測量的強度由等式5中的G(P)所給定。
[0042]G(P)= η.1a.Rs (等式 5)
[0043]如等式5所示，在無閃光立體圖像對(Gp Gr)中的點P處的光的強度G(P)依據(jù)上文所闡述的關(guān)系與環(huán)境照明、表面形狀、以及反射率相關(guān)，其中n是所測量的輻射照度和場景輻射亮度之間的比例常數(shù)，Ia是點P處的環(huán)境照明的強度，以及Rs是點P處的表面反射率。相反，在閃光立體圖像對(FpFr)的捕獲期間從點P反射到圖像傳感器中的每一個的光的所測量的強度由等式6中的F(P)所給定。
[0044]
【權(quán)利要求】
1.一種用于從立體圖像的集合中生成深度圖的計算機實現(xiàn)的方法，所述方法包括: 生成與所述立體圖像的集合中的第一圖像和第二圖像相關(guān)聯(lián)的比率圖，其中針對所述第二圖像中的每個像素，所述比率圖將所述像素與基于所述第二圖像的針對所述像素的第一強度值和基于所述第一圖像的針對對應(yīng)像素的第二強度值的比率相關(guān)聯(lián)，并且其中所述第一圖像由第一圖像傳感器使用環(huán)境照明所捕獲，并且所述第二圖像由所述第一圖像傳感器使用閃光照明所捕獲； 基于所述立體圖像的集合中的所述第二圖像和第四圖像的比較來生成與所述第二圖像相關(guān)聯(lián)的像差圖，其中針對所述第二圖像中的每個像素，所述像差圖根據(jù)對所述第二圖像中的像素與所述第四圖像中的對應(yīng)像素加以比較的像素匹配算法來將所述像素與像差值相關(guān)聯(lián)，其中所述像素匹配算法包括基于與所述像素相關(guān)聯(lián)的所述比率的至少一個計算，并且其中第三圖像與由所述第一圖像傳感器捕獲所述第一圖像大致同時地由第二圖像傳感器所捕獲，并且所述第四圖像與由所述第一圖像傳感器捕獲所述第二圖像大致同時地由所述第二圖像傳感器所捕獲；以及 生成與所述第二圖像相關(guān)聯(lián)的深度圖，其中針對所述第二圖像中的每個像素，所述深度圖將所述像素與基于焦距、基線偏移距離以及與所述像素相關(guān)聯(lián)的所述像差值所計算的深度值相關(guān)聯(lián)。
2.根據(jù)權(quán)利要求1所述的方法，其中針對所述第二圖像中的每個像素，生成所述像差圖包括: 生成包括針對多個潛在像差值所計算的多個成本值的像差空間圖像；以及 基于所述多個成本值從所述多個潛在像差值中選擇特定像差值。
3.根據(jù)權(quán)利要求2所述的方法，其中選擇所述特定像差值包括從所述多個潛在像差值中選擇與所述像差空間圖像中的最小成本值相關(guān)聯(lián)的潛在像差值。
4.根據(jù)權(quán)利要求1所述的方法，進一步`包括: 過濾所述像差圖以生成與所述第二圖像相關(guān)聯(lián)的經(jīng)過濾的像差圖， 其中針對所述第二圖像中的每個像素，所述經(jīng)過濾的像差圖將經(jīng)過濾的像差值與所述像素相關(guān)聯(lián)， 其中所述經(jīng)過濾的像差值通過計算在與臨近所述像素的像素窗口相關(guān)聯(lián)的所述像差圖中的像差值的集合的加權(quán)和所生成，以及 其中用于所述像差值的集合中的所述像差值中的每一個的加權(quán)系數(shù)與和該加權(quán)系數(shù)相關(guān)聯(lián)的所述像差值的置信級別相關(guān)，該加權(quán)系數(shù)至少部分地基于與所述像素相關(guān)聯(lián)的所述比率。
5.根據(jù)權(quán)利要求4所述的方法，進一步包括，針對迭代數(shù)N，重復(fù)所述過濾步驟以生成N個經(jīng)連續(xù)過濾的像差圖，其中在當前迭代期間所生成的每個經(jīng)連續(xù)過濾的像差圖通過過濾在先前迭代期間所生成的經(jīng)連續(xù)過濾的像差圖所生成。
6.根據(jù)權(quán)利要求1所述的方法，進一步包括: 生成與所述第四圖像相關(guān)聯(lián)的比率圖； 生成與所述第四圖像相關(guān)聯(lián)的像差圖；以及 基于與所述第二圖像相關(guān)聯(lián)的所述像差圖和與所述第四圖像相關(guān)聯(lián)的所述像差圖來調(diào)整與所述第二圖像相關(guān)聯(lián)的所述深度圖。
7.根據(jù)權(quán)利要求6所述的方法，進一步包括: 基于與和所述第二圖像相關(guān)聯(lián)的所述像差圖中的所述特定像素相關(guān)聯(lián)的所述像差值和與和所述第四圖像相關(guān)聯(lián)的所述像差圖中的對應(yīng)像素相關(guān)聯(lián)的所述像差值之間的差，計算針對所述第二圖像中的特定像素的像差誤差； 確定針對所述特定像素的所述像差誤差在閾值之上；以及 將所述特定像素加標簽為被遮擋的。
8.根據(jù)權(quán)利要求7所述的方法，進一步包括基于與和所述第四圖像相關(guān)聯(lián)的所述像差圖中的所述對應(yīng)像素相關(guān)聯(lián)的所述像差值來調(diào)整與和所述第二圖像相關(guān)聯(lián)的所述像差圖中的所述特定像素相關(guān)聯(lián)的所述像差值。
9.一種用于從立體圖像的集合中生成深度圖的系統(tǒng)，所述系統(tǒng)包括: 存儲器，其配置為存儲由兩個或兩個以上圖像傳感器所捕獲的所述立體圖像的集合，其中所述立體圖像的集合包括由第一圖像傳感器使用環(huán)境照明所捕獲的第一圖像、由所述第一圖像傳感器使用閃光照明所捕獲的第二圖像、與由所述第一圖像傳感器捕獲所述第一圖像大致同時地由第二圖像傳感器所捕獲的第三圖像、以及與由所述第一圖像傳感器捕獲所述第二圖像大致同時地由所述第二圖像傳感器所捕獲的第四圖像；以及 處理器，其耦連到所述存儲器并配置為: 生成與所述立體圖像的集合中的第一圖像和第二圖像相關(guān)聯(lián)的比率圖，其中針對所述第二圖像中的每個像素，所 述比率圖將所述像素與基于所述第二圖像的針對所述像素的第一強度值和基于所述第一圖像的針對對應(yīng)像素的第二強度值的比率相關(guān)聯(lián)， 基于所述立體圖像的集合中的所述第二圖像和第四圖像的比較來生成與所述第二圖像相關(guān)聯(lián)的像差圖，其中針對所述第二圖像中的每個像素，所述像差圖根據(jù)對所述第二圖像中的像素與所述第四圖像中的對應(yīng)像素加以比較的像素匹配算法來將所述像素與像差值相關(guān)聯(lián)，其中所述像素匹配算法包括基于與所述像素相關(guān)聯(lián)的所述比率的至少一個計算，以及 生成與所述第二圖像相關(guān)聯(lián)的深度圖，其中針對所述第二圖像中的每個像素，所述深度圖將所述像素與基于焦距、基線偏移距離以及與所述像素相關(guān)聯(lián)的所述像差值所計算的深度值相關(guān)聯(lián)。
10.根據(jù)權(quán)利要求9所述的系統(tǒng)，進一步包括: 立體視覺照相機，其耦連到所述存儲器和所述處理器，其中所述立體視覺照相機包括所述第一圖像傳感器、所述第二圖像傳感器、與所述焦距相關(guān)聯(lián)并且安裝在所述第一圖像傳感器前面的第一透鏡、與所述焦距相關(guān)聯(lián)并且安裝在所述第二圖像傳感器前面的第二透鏡、以及閃光器件， 其中所述處理器進一步配置為: 對所述第一圖像傳感器和所述第二圖像傳感器進行取樣以生成所述立體圖像的集合，以及 使所述立體圖像的集合存儲在所述存儲器中。
【文檔編號】H04N13/02GK103517057SQ201310224750
【公開日】2014年1月15日 申請日期:2013年6月7日 優(yōu)先權(quán)日:2012年6月7日
【發(fā)明者】卡里·皮利, 亞歷杭德羅·特羅科利, 周昌印 申請人:輝達公司