專利名稱：圖像處理方法和圖像處理裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及能夠分離圖像的背景區(qū)域的圖像處理方法和圖像處理設(shè)備。
背景技術(shù)：
近年來，帶有照相機的可視通信設(shè)備已經(jīng)開始投入廣泛應用。例如，用于多人同時參加的電視會議的系統(tǒng)在商業(yè)領(lǐng)域是已知的，而利用網(wǎng)絡(luò)照相機的通信系統(tǒng)在個人領(lǐng)域是已知的。在這樣的系統(tǒng)中，另一方的顯示圖像被顯示在顯示裝置上，并且捕獲視覺觀察顯示裝置的屏幕的用戶的圖像，以作為拍攝物體的圖像。通過包含公共線路和專用線路等的網(wǎng)絡(luò)將得到的圖像信號發(fā)送到在另一方處的圖像處理裝置，由此有可能使得兩個用戶都具有真實的感覺。
但是，那些系統(tǒng)共有的一個問題是，期望不將除人物之外的區(qū)域的信息發(fā)送到另一方。將由一臺照相機捕獲的圖像的所有信息都發(fā)送到另一方的現(xiàn)有系統(tǒng)包含這樣的局限性，即必須將系統(tǒng)安裝在其圖像可以顯示給另一方的地點。
因此，希望有一種方法，在其中人物的圖像部分(前景)和背景的圖像部分彼此分離，對背景的圖像部分施行某種圖像處理或其它處理等等。
即，從一臺照像機系統(tǒng)所捕獲的移動的圖像中分離出包含諸如用戶的移動對象的圖像的前景區(qū)域，并對分離出的移動對象的圖像施行預定的處理，從而使得幾乎不受背景特征影響的、健壯(robust)的圖像處理變?yōu)榭赡?。此外，當不希望將關(guān)于背景的信息發(fā)送到另一方時，前景和背景是彼此分離的，并且僅僅發(fā)送關(guān)于前景的信息，從而實現(xiàn)健壯的圖像處理。
這里，當考慮到將背景和前景彼此分離的方法時，例如，已知使用熱傳感器確定人物區(qū)域并對背景區(qū)域施行預定的圖像處理的方法(例如見專利文獻1)，基于背景差異、幀間差異和立體方法檢測移動區(qū)域以形成前景的方法(例如見專利文獻2)，確定距離范圍并輸出關(guān)于落在該距離范圍內(nèi)的圖像的信息的方法(例如見專利文獻3)等。
專利文獻1已公開的日本專利公報No.Hei 9-200714專利文獻2已公開的日本專利公報No.2000-20722專利文獻3已公開的日本專利公報No.2000-200359發(fā)明內(nèi)容但是，在專利文獻1中公開的使用熱傳感器確定人物區(qū)域并對背景區(qū)域施行預定的圖像處理的方法的情況中，熱傳感器通常價格很高，并且必須提供可視通信設(shè)備所要求的傳感器，而不是照相機。此外，在專利文獻2所公開的基于背景差異、幀間差異和立體方法確定移動區(qū)域以形成前景的方法的情況中，由于采用了背景差異，必須提前獲得其中沒有捕獲人物圖像的圖像。因此，這種方法在便利方面存在問題。并且，在專利文獻3所公開的確定距離范圍并輸出關(guān)于落在該距離范圍內(nèi)的圖像的信息的方法的情況中，當通過使用立體方法測量距離時，如果在輸入場景中包含許多重復的圖案或者包藏的區(qū)域，則很難以高精度執(zhí)行距離測量。不僅如此，當考慮到其它技術(shù)時，已知分割捕獲的圖像的區(qū)域的方法、識別人物的方法等。但是，那些方法并不是考慮到健壯性特性和精度而建立的。
由于現(xiàn)有技術(shù)中的上述問題，本發(fā)明期望提供一種圖像處理方法和圖像處理裝置，其能夠通過使用從多個照相機捕獲的圖像將立體方法和估計背景的方法彼此結(jié)合以達到分離圖像的背景區(qū)域的目的。
通過下面將要說明的優(yōu)選實施例，本發(fā)明的其它目的和由本發(fā)明得到的具體優(yōu)點將變得更加清楚。
根據(jù)本發(fā)明的一個實施例，提供一種圖像處理方法，包括步驟捕獲步驟，使用至少兩臺照相機從不同的視點捕獲一個物體的圖像以得到彼此同時的輸入圖像；背景區(qū)域估計步驟，對于在捕獲的步驟得到的每一個輸入圖像，基于背景區(qū)域是遠距離的并且具有平的表面的假設(shè)，根據(jù)執(zhí)行全局圖像重疊之后的相似程度，估計背景區(qū)域；距離圖像生成步驟，對于除了在背景區(qū)域估計步驟估計出的背景區(qū)域中的那些點之外的點，通過利用立體方法執(zhí)行距離測量，生成距離圖像；以及背景分離圖像生成步驟，通過參照在距離圖像生成步驟生成的距離圖像，從每個輸入圖像中除去預定距離或更遠的區(qū)域的圖像，生成背景分離的圖像。
優(yōu)選地，在根據(jù)本發(fā)明的實施例的圖像處理方法中，在背景區(qū)域估計步驟中，計算輸入圖像之間移動的量、不超過閾值的全局移動的量，從而執(zhí)行全局圖像重疊，其中，輸入圖像之間移動的量使得整個圖像的亮度誤差在輸入圖像之間變得最小，閾值是依據(jù)分離邊界而確定的，背景區(qū)域根據(jù)所述分離邊界被分離。
優(yōu)選地，在背景區(qū)域估計步驟中，該估計是通過將具有高于預定閾值的局部相似程度的區(qū)域作為背景區(qū)域而執(zhí)行的。
此外，優(yōu)選地，在根據(jù)本發(fā)明的實施例的圖像處理方法中，例如，在背景區(qū)域估計步驟中，在任何需要的時候更新/添加用于根據(jù)局部相似程度估計背景區(qū)域的背景模板。
根據(jù)本發(fā)明的另一個實施例，提供一種圖像處理裝置，包括用于在其中存儲彼此同時的輸入圖像的數(shù)據(jù)的存儲器件，其中輸入圖像是通過使用至少兩臺照相機從不同視點拍攝一個物體而得到的；背景區(qū)域估計處理單元，用于對于每一個彼此同時的輸入圖像，基于背景區(qū)域是遠距離的并且具有平的表面的假設(shè)，在執(zhí)行全局圖像重疊之后，基于局部相似程度估計背景區(qū)域，其中，輸入圖像的數(shù)據(jù)被存儲在所述存儲器件中；距離圖像生成處理單元，用于對于除了在背景區(qū)域估計處理單元估計出的背景區(qū)域中的那些點之外的點，利用立體方法執(zhí)行距離測量，生成距離圖像；以及背景分離圖像生成處理單元，用于通過參照在距離圖像生成處理單元生成的距離圖像，從每個輸入圖像中除去預定距離或更遠的區(qū)域的圖像，生成背景分離圖像。
優(yōu)選地，背景區(qū)域估計處理單元計算在輸入圖像之間移動的量、全局移動的量，從而執(zhí)行全局圖像重疊，其中，在輸入圖像之間移動的量使得整個圖像的亮度誤差在輸入圖像之間變得最小，全局移動的量不超過根據(jù)分離邊界確定的閾值，背景區(qū)域依據(jù)該分離邊界被分離。
此外，優(yōu)選地，背景區(qū)域估計處理單元將具有高于預定閾值的局部相似程度的區(qū)域估計為背景區(qū)域。
并且，優(yōu)選地，在根據(jù)本發(fā)明的另一個實施例的圖像處理裝置中，背景區(qū)域估計處理單元在任何需要的時候更新/添加用于根據(jù)局部相似程度估計背景區(qū)域的背景模板。
根據(jù)本發(fā)明，執(zhí)行全局和局部背景估計使得有可能更準確地生成距離圖像。從而能夠?qū)⑶熬昂捅尘氨舜朔蛛x。使用了整個圖像的重疊并估計了大致的背景區(qū)域，從而對于具有許多重復圖案和包藏區(qū)域的場景能夠獲得健壯的結(jié)果。此外，背景模板堆棧在任何需要的時候被更新/添加，這使得對于隨時間的逝去帶來的環(huán)境的改變更加健壯。


圖1是示出應用了本發(fā)明的可視通信設(shè)備的結(jié)構(gòu)方框圖；圖2用于解釋基于立體方法測量距離的方法；圖3的流程圖示出了在圖1所示的可視通信設(shè)備中用于將背景和前景彼此分離的處理的流程；圖4用于解釋由圖3所示的用于將背景和前景彼此分離的處理中步驟S2的處理所執(zhí)行的圖像正規(guī)化(normalize)處理；圖5的流程圖示出了由圖3所示的用于將背景和前景彼此分離的處理中步驟S3的處理所執(zhí)行的背景區(qū)域掩碼(mask)計算處理的流程；圖6示出了輸入圖像的例子；圖7的功能方框圖示出了圖1所示的可視通信設(shè)備中的背景估計處理單元的結(jié)構(gòu)；圖8示出了圖像重疊(superimposition)的例子；圖9的流程圖示出了圖5所示的背景區(qū)域掩碼計算處理中步驟S3-1的全局移動(shift)量計算處理的流程；圖10示出了圖5所示的背景區(qū)域掩碼計算處理中步驟S3-2的局部相似程度計算處理的要點；圖11的流程圖示出了圖5所示的背景區(qū)域掩碼計算處理中步驟S3-2的局部相似程度計算處理的流程；圖12示出了圖5所示的背景區(qū)域掩碼計算處理中步驟S3-3的背景模板堆棧比較處理的要點；圖13的流程圖示出了圖5所示的背景區(qū)域掩碼計算處理中步驟S3-3的背景模板堆棧比較處理的流程；圖14的流程圖示出了圖5所示的背景區(qū)域掩碼計算處理中步驟S3-4的背景模板更新處理的流程；以及圖15示出了輸入圖像和背景區(qū)域掩碼。
具體實施例方式
在下文中，將參照附圖詳細說明本發(fā)明的優(yōu)選實施例。順便提及，應該理解，本發(fā)明并不意味著局限于下列實施例，因此在不脫離本發(fā)明的要旨的前提下，本領(lǐng)域的技術(shù)人員可以任意進行各種改變。
例如，本發(fā)明被應用于具有圖1所示結(jié)構(gòu)的可視通信設(shè)備10。
可視通信設(shè)備10具有通過使用由多個照相機捕獲的多幅圖像估計背景區(qū)域的功能、以及通過利用基于立體方法的距離測量將背景和前景彼此分離的功能?？梢曂ㄐ旁O(shè)備10包含基準照相機1、檢測照相機2、幀存儲器3、背景區(qū)域估計處理單元4、距離圖像生成處理單元5和背景分離的圖像生成處理單元6。
假設(shè)對可視通信設(shè)備10中所使用的多個照相機已經(jīng)預先執(zhí)行了校準。由于在本實施例中必須使用兩臺或兩臺以上的照相機，因此將參考使用兩臺照相機(基準照相機1和檢測照相機2)的情況給出以下的說明。校準是這樣的，即獲得對于基準照相機1的點m和對于檢測照相機2的、與點m相對應的點m’，并計算出用于距離測量的照相機之間的約束條件。
在可視通信設(shè)備10中，由基準照相機1和檢測照相機2同時捕獲的彩色圖像的數(shù)據(jù)在幀存儲器3中累積，并且背景區(qū)域估計處理單元4估計背景區(qū)域。隨后，距離圖像生成處理單元5參考除由背景區(qū)域估計處理單元4估計出的背景區(qū)域中那些點之外的點、利用立體方法執(zhí)行距離測量，其中的立體方法將在后面說明。背景分離的圖像生成處理單元6確定最終的背景區(qū)域，如果需要則執(zhí)行處理，并輸出關(guān)于背景分離的圖像的數(shù)據(jù)。
這里，將說明一般的照相機校準和距離測量方法。
在本例中，將圖像上的點m和空間中的點M分別記為m＝[u，v]T和M＝[x，y，z]T，并且將在齊次坐標系中對那些點的描述分別記為m~＝[u，v，l]T和M~＝[x，y，z，l]T?？臻g中的點M和圖像上的點m的關(guān)系由式1給出sm~＝Ａ·[R t]·M~＝P·M~ (式1)其中s是比例因子，矩陣[R t]被稱為外部參數(shù)，并且表示照相機在空間中的位置，R和t分別表示旋轉(zhuǎn)矩陣和變換矩陣。矩陣A被稱為照相機的內(nèi)部參數(shù)，由式2給出A=αγu00βv0001]]>(式2)其中(u0，v0)表示圖像中心，α＝-f/ku和β＝-f·kv/sinθ分別表示u軸的比例因子和v軸的比例因子，并且γ＝f·ku·cosθ表示兩軸的扭轉(zhuǎn)(twisting)。此外，矩陣P＝A·[R t]是3×4的投影矩陣，空間中的點通過該矩陣投影到圖像表面上。上述說明示出了在不考慮透鏡失真影響的理想條件下的變換。但是，由于實際上不能忽略失真的影響，因此將添加透鏡失真作為照相機參數(shù)。在失真坐標系中的點md＝[ud vd]T和點m＝[u v]T的關(guān)系能夠用式3表示u＝ud+(ud-cu)·k·rd2v＝vd+(vd-cv)·k·rd2(式3)其中rd2由((ud-cu)2+(vd-cv)2sv2)表示，(cu，cv)表示失真中心，sv表示寬高比。
隨后將說明基于立體方法的距離測量方法。
如圖2所示，將在基準照相機1和檢測照相機2上的投影矩陣分別記為P和P’，并且將在由基準照相機1和檢測照相機2捕獲的圖像上的點分別記為m和m’。但是，假設(shè)如式3所示，從各自圖像中的那些點上除去了失真的影響。當測量到點M的距離時，必須檢測與在基準圖像上的點m相對應的、在檢測圖像上的點m’。如圖2所示，由于點m’位于被稱為epipola線的直線1上，為了檢測在檢測圖像上與點m相對應的點，必須在這條線上進行搜索。epipola線是通過將照相機中心和點m之間的直線上的點投影到檢測照相機2上而得到的點的集合。例如，當在空間中Z軸方向的測量范圍被記為(Z0-Zn)時，epipola線變?yōu)樵邳cm0′和mn′之間的直線，其中點m0′和mn′是通過投影對應于各自距離的點M0和Mn而獲得的。在實際的搜索中，位于距離Zi的點被投影在檢測圖像上，測量與在基準圖像上的點的相似程度，并且確定圖像之間的點之間的對應性。
下面示出將投影到基準照相機1的點m上的、在距離Zi的點Mi投影到檢測圖像上的點mi′的過程。
根據(jù)式1的、通過點m的視線上的點可由式4表示M~＝sP+·m~+P⊥(式4)
其中P+是偽逆矩陣。偽逆矩陣P+由式5定義P+＝PT(PPT)-1(式5)此外，由于P⊥成為滿足式6的向量，并且總是投影到原點，因此它實際表示光學中心并且可以從式6計算得到。
P·P⊥＝0P⊥＝(I-PP+)ω(式6)其中ω是任意的四維向量。
式4代表通過光學中心和基準圖像上的點m的所有點。但是，將距離設(shè)置為Zi使得有可能確定比例因子并確定空間中的點Mi。當使用投影矩陣P’投影該點時，能夠計算出檢測圖像上的點mi’。
從前面的描述，為了得到空間中的點，必須單獨地獲得照相機1和2各自的照相機參數(shù)A、R、t、A’、R’和t’，或者必須直接計算出投影矩陣P和P’并進一步計算出照相機1和2各自的失真參數(shù)k1、cu1、cv1、sv1、k2、cu2、cv2和sv2。這樣，計算這些參數(shù)成為照相機校準。
圖3示出了在可視通信設(shè)備10中將背景和前景彼此分離的處理的流程。
即，在可視通信設(shè)備10中，首先使用基準照相機1和檢測照相機2從不同的視點拍攝一個物體，以獲得彼此同時的輸入彩色圖像(步驟S1)。將得到的輸入圖像的數(shù)據(jù)存儲到幀存儲器3中。
隨后，背景區(qū)域估計處理單元4使用上述校準參數(shù)從存儲在幀存儲器3中的每個輸入圖像的數(shù)據(jù)中除去透鏡失真的影響，并執(zhí)行圖像正規(guī)化(步驟S2)。
即，由于每個輸入圖像都受到透鏡失真的影響，因此使用式3從其中除去透鏡失真的影響。此外，如圖4所示，圖像正規(guī)化是這樣的，即，將使用兩個照相機1和2從不同的視點c1和c2拍攝一個物體而獲得的圖像IL和IR變換成就像是使用平行的照相機(具有平行的光軸的左手側(cè)和右手側(cè)的照相機)拍攝該物體而獲得的圖像IL和IR。結(jié)果，使得原本不是彼此平行的epipola線變得并行，并且與光學中心(視點c1和c2)之間的直線平行。當獲得作為校準參數(shù)的投影矩陣P和P’時，通過利用例如下面的參考文獻中公開的方法，能夠獲得圖4所示的變換矩陣TH1和TH2。使用作為結(jié)果的變換矩陣TH1和TH2變換輸入圖像，以生成基準照相機圖像Ib和檢測照相機圖像Id。[參考文獻Andrea Fusiello，Emanuele Trucco和Alessandro VerriA compactalgorithm for rectification of stereo pairs(用于校正立體像對的簡單算法)，Machine Vision and Application(2000)12，16到22頁]即，變換矩陣是根據(jù)左手側(cè)和右手側(cè)照相機的投影矩陣P和P’計算出的。
實際上，投影矩陣P和P’被轉(zhuǎn)換成使得在獲取投影矩陣P時所使用的左手側(cè)照相機的XYZ坐標系中的X軸變成與照相機1和2各自的光學中心c1和c2之間的直線平行，并且Y’軸變?yōu)榕c包含Z軸以及光學中心c1和c2之間的直線(X’軸)的平面垂直。變換矩陣是從修正過的投影矩陣Pn和Pn’計算出的。
在下文中將說明計算修正的投影矩陣Pn和Ph’的過程。并且，下面將給出關(guān)于從作為結(jié)果的矩陣Pn和Pn’以及投影矩陣P和P’計算出變換矩陣TH1和TH2的過程的說明。
(i)光學中心的計算當投影矩陣P和P’由式7描述時，光學中心c1＝[xc1，yc1，zc1]T和c2＝[xc2，vc2，zc2]T由式8給出 (式7)c1＝-Q-1qc2＝-Q′-1q′ (式8)(ii)X’、Y’和Z’軸的計算如上所述，X’軸是連接光學中心的向量。因此，當由v1＝[x1，y1，z1]T表示時，X’軸的向量v1通過式9獲得v1＝(c1-c2) (式9)此外，如上所述，Y’軸的向量v2＝[x2，y2，z2]T是與X’軸和Z軸垂直的向量。因此，當投影矩陣P由式10表達時，Y’軸的向量v2由v2＝r3∧v1表示。
(式10)并且，Z’軸的向量v3＝[x3，y3，z3]T是與X’軸和Y’軸垂直的向量，由式11表示v3＝v1∧v2 (式11)(iii)投影矩陣Pn和Pn’的計算投影矩陣Pn和Pn’由式12描述Pn＝An·[Rntn]Pn′＝An·[Rntn′] (式12)在新的投影矩陣中，內(nèi)部參數(shù)和外部參數(shù)的旋轉(zhuǎn)分量變成彼此相同。因此，為了計算投影矩陣Pn和Pn’，必須計算內(nèi)部和外部參數(shù)An、Rn、tn和tn’。內(nèi)部參數(shù)An是使用投影矩陣P和P’的內(nèi)部參數(shù)由式13計算出的An=12(A+A′)]]>(式13)此外，外部變量Rn是通過使用按照上述過程計算出的X’軸、Y’軸和Z’軸的向量v1、v2和v3由式14計算出的。
Rn=v1′Tv2′Tv3′T]]>(式14)v1′＝v1/‖v1‖v2′＝v2/‖v2‖v3′＝v3/‖v3‖(式14)并且，外部變量tn和tn’是通過使用根據(jù)式7的光學中心c1和c2以及外部變量Rn由式15計算出的tn＝-Rnc1tn′＝-Rnc2(式15)投影矩陣Pn和Pn’可以根據(jù)上述對內(nèi)部和外部參數(shù)An、Rn、tn和tn’的計算由表達式12計算得到。
(iv)變換矩陣TH1和TH2的計算在這一部分，下面將給出關(guān)于通過使用投影矩陣P、P’、Pn和Pn’來計算變換矩陣TH1和TH2的方法的說明。
當被捕獲的圖像上的點m~＝[u，v，1]T被假定為正規(guī)化圖像上的點m~n＝[u，v，1]T時，空間中的點m~＝[x，y，z，1]T和點m~n之間的關(guān)系可以由式16描述m~＝PM~＝[Q|-Qc1]M~m~n＝PnM~＝[Qn|-Qnc1]M~ (式16)
根據(jù)式16，通過點m~和點m~n的直線可以由式17表示M~＝sQ-1m~+c1M~n＝snQn-1m~n+c1(式17)因此，點m~和點m~n之間的關(guān)系可以由式18說明m~n＝λQnQ-1m~ (式18)由于變換矩陣是被捕獲的圖像上的點m通過其投影到正規(guī)化圖像上的點mn的矩陣，因此矩陣QnQ-1即為變換矩陣。換句話說，變換矩陣TH1和TH2可以由式19計算得到TH1＝QnQ-1TH2＝Qn′Q′-1(式19)隨后，背景區(qū)域估計處理單元4計算背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)(步驟S3)。
在本例中，假設(shè)背景區(qū)域在遠處并且在一個平面附近。圖5示出了實際計算背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)的處理的流程。在背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)中，將背景區(qū)域記為「1」，將其它部分記為「0」。
例如，在如圖6所示的輸入圖像Ib(u，v)和Id(u，v)的情況下，背景區(qū)域具有許多重復的圖案和大塊的包藏區(qū)域。因此，當使用通常的基于局部區(qū)域的比較方法時，不能以高精度確定相應的單元。于是，首先使用全局圖像重疊技術(shù)估計背景區(qū)域。
這里，如圖7的功能方框圖所示的背景區(qū)域處理單元包含全局移動量計算單元41、背景像素估計單元42和更新處理單元43。
于是，在如圖5所示的步驟S3的處理中，首先，在第一個步驟S3-1的處理中，全局移動量計算單元41執(zhí)行用于獲得移動量bg_shift的全局移動量計算處理，以便如式20所示，使得對于其數(shù)據(jù)存儲在幀存儲器FM1中的左手側(cè)和右手側(cè)的輸入圖像Ib(u，v)和Id(u，v)來說，整個圖像的亮度誤差達到最小。然后，全局移動量計算單元41將有關(guān)作為結(jié)果的移動量bg_shift的數(shù)據(jù)存儲到存儲器M1中。
E_g=Σi|Ib(ui,vi)-Id(ui-bg_shift,vi)|]]>(式20)但是，在本例中假設(shè)背景區(qū)域在遠處，并且0≤bg_shift＜SHIFT_THRESH成立。SHIFT_THRESH是根據(jù)前景和背景之間的分離邊界自適應地確定的閾值。期望在特定距離上和在特定距離之后的區(qū)域不被見到，即，將這一區(qū)域作為背景，從而確定閾值。此外，由于圖像處理是基于背景是平面的假設(shè)而執(zhí)行的，因此這減小了輸入圖像Ib(u，v)和Ib(u，v)的分辨率。因此，從式20計算移動量bg_shift。由于在步驟S2的處理中對輸入圖像Id(u，v)和Id(u，v)進行了正規(guī)化，因此在本例中只獲取在u軸方向的移動量。
圖8示出了圖像重疊的例子，圖9示出了步驟S3-1的全局移動量計算處理的具體流程。
更確切地說，在步驟S3-1的全局移動量計算處理中，首先，shift和E_min被分別初始化為0和MAX(步驟S3-1A)。接著，得到E_g＝0，i＝0，即，變量E_g和i被復位為「0」(步驟S3-1B)。
接下來，得到E_gt+＝|Ib(ui，vi)-Id(ui-shift，vi)|，即，相對于輸入圖像Ib(u，v)和Id(u，v)得到Ib(ui，vi)和Id(ui-shift，vi)之間差的絕對值之和(步驟S3-1C)。然后變量i增加(步驟S3-1D)。隨后判定增加的變量i是否大于圖像尺寸(步驟S3-1E)。
當在步驟S3-1E的判定結(jié)果顯示為否時，操作返回到步驟S3-1C的處理，并且重復地執(zhí)行從步驟S3-1C到步驟S3-1E的處理。結(jié)果，當在步驟S3-1E的判定結(jié)果顯示為是時，判定表示Ib(ui，vi)和Id(ui-shift，vi)之差的絕對值之和的變量E_g是否小于變量E_min(步驟S3-1F)。
當在步驟S3-1F的判定結(jié)果顯示為是時，使得變量E_min等于表示上述絕對值之和的變量E_g的值，并且使得移動量bg_shift等于變量shift的值(步驟S3-1G)。其后，變量shift增加(步驟S3-1H)。另一方面，當在步驟S3-1F的判定結(jié)果顯示為否時，變量shift立即增加(步驟S3-1H)。
然后，判定在步驟S3-1H增加的變量shift是否大于閾值SHIFT_THRESH(步驟S3-1I)。
當在步驟S3-1I的判定結(jié)果顯示為否時，操作返回到步驟S3-1B的處理。然后重復地執(zhí)行從步驟S3-1B到步驟S3-1I的處理，直到增加的變量shift變得大于閾值SHIFT_THRESH為止。結(jié)果，當在步驟S3-1I的判定結(jié)果顯示為是時，全局移動量計算處理完成。
接下來，在步驟S3-2的處理中，背景像素估計單元42通過使用在步驟S3-1的全局移動量計算處理中獲得的移動量bg_shift，執(zhí)行關(guān)于左手側(cè)和右手側(cè)的輸入圖像Ib(u，v)和Id(u，v)的局部匹配，其中，左手側(cè)和右手側(cè)的輸入圖像Ib(u，v)和Id(u，v)兩者的數(shù)據(jù)都存儲在幀存儲器FM1中。更具體地說，如圖10所示，計算出在M×N的窗口尺寸內(nèi)的亮度誤差E_1。當E_1＜THRESH_L時，將圖像Ib和Id的點(ui，vi)和(ui-bg_shift，vi)作為背景區(qū)域。換句話說，得到Rbbg(ui，vi)＝1和Rdbg(ui-bg_shift，vi)＝1。通過局部匹配估計出的背景區(qū)域的數(shù)據(jù)被作為背景區(qū)域掩碼Rbbg和Rdbg分別存儲在幀存儲器FM2和M2中。圖11示出了步驟S3-2的處理的具體流程。
即，在步驟S3-2的處理中，首先，執(zhí)行用于得到i＝0、Rbbg≤全0以及Rdbg≤全0的初始化(步驟S3-2A)。然后，得到j(luò)＝0和E_1＝0，即，變量j和E_1被復位為「0」(步驟S3-2B)。
接著，得到E_1+＝|Ib(uij，vij)-Id(uij-bg_shift，vij)|，即，得到Ib(uij，vij)和Id(uij-bg_shift，vij)之間差的絕對值之和，作為亮度誤差E_1(步驟S3-2C)。然后變量j增加(步驟S3-2D)。判定增加的變量j是否變得大于M×N的窗口尺寸(步驟S3-2E)。
當在步驟S3-2E中的判定結(jié)果顯示為否時，操作返回到步驟S3-2C的處理，并且重復地執(zhí)行從步驟S3-2C到步驟S3-2E的處理。結(jié)果，當在步驟S3-2E的判定結(jié)果變?yōu)轱@示是時，判定作為結(jié)果的在M×N的窗口尺寸內(nèi)的亮度誤差E_1是否小于閾值THRESH_L(步驟S3-2F)。
當在步驟S3-2F的判定結(jié)果顯示為是時，在得到Rbbg(ui，vi)＝1和Rdbg(ui-bg_shift，vi)＝1之后，即，將圖像Ib和Id的點(ui，vi)和(ui-bg_shift，vi)作為背景區(qū)域(步驟S3-2G)之后，變量i增加(步驟S3-2H)。另一方面，當在步驟S3-2F的判定結(jié)果顯示為否時，變量i立即增加(步驟S3-2H)。
判定在步驟S3-2H增加的變量i是否大于圖像尺寸(步驟S3-2I)。
當在步驟S3-2I的判定結(jié)果顯示為否時，操作返回到步驟S3-2B的處理。重復地執(zhí)行從步驟S3-2B到步驟S3-2I的處理，直到增加的變量i變得大于圖像尺寸為止。結(jié)果，當在步驟S3-2I的判定結(jié)果變?yōu)轱@示是時，局部相似程度計算處理完成。
接著，在步驟S3-3的處理中，由基準照相機1捕獲的圖像Ib和由檢測照相機2捕獲的圖像Id分別與背景模板堆棧bgBufb和bgBufd比較。背景模板堆棧bgBufb和bgBufd中的每一個都是局部圖像的堆棧，其中的局部圖像是通過在時刻(T-1)的幀中切除掉作為背景的點的外圍區(qū)域(M×N)而獲得的。并且，背景模板堆棧bgBufb和bgBufd中的每一個都具有含有(M×N)的尺寸及其中心坐標(ui，vi)的亮度信息。執(zhí)行堆放在背景模板堆棧bgBufb中的每一個模板與由基準照相機1捕獲的圖像Ib(ui，vi)之間的匹配，并計算亮度誤差E_T。當E_T＜THRESH_T時，點(ui，vi)被作為背景區(qū)域，并且得到Rbbg(ui，vi)＝1。背景模板堆棧bgBufd被用于由檢測照相機2捕獲的圖像Id，并且執(zhí)行與圖像Ib相同的處理以生成背景區(qū)域掩碼Rdbg(u，v)。圖12示出了對于基準照相機1的步驟S3-3的處理的要點，圖13示出了步驟S3-3的處理的具體流程。
即，在步驟S3-3的處理中，首先，變量i被初始化為「0」(步驟S3-3A)，然后得到j(luò)＝0，即，變量j隨后被復位為「0」(步驟S3-3B)。
接著，得到E_T＝∑|Ibj-bgBufb[i]|，即，得到Ibj和bgBufb[i]之間差的絕對值之和，作為關(guān)于輸入圖像Ib(u，v)和Id(u，v)的亮度誤差E_T(步驟S3-3C)。然后判定作為結(jié)果的亮度誤差E_T是否小于閾值E_T＜THRESH_T(步驟S3-3D)。
當在步驟S3-3D的判定結(jié)果顯示為是時，在將Rbbg(ui，vi)，即，點(ui，vi)作為背景區(qū)域(步驟S3-3E)之后，變量j增加(步驟S3-3F)。然后判定增加的變量j是否變得大于圖像尺寸(步驟S3-3G)。
當在步驟S3-3G的判定結(jié)果顯示為否時，操作返回到步驟S3-3C的處理，并且重復地執(zhí)行從步驟S3-3C到步驟S3-3G的處理。結(jié)果，當在步驟S3-3G的判定結(jié)果變?yōu)槭菚r，變量i增加(步驟S3-3H)。另一方面，當在步驟S3-3D的判定結(jié)果顯示為否時，變量i立即增加(步驟S3-3H)。
然后判定在步驟S3-3H增加的變量i是否大于堆棧尺寸(步驟S3-3I)。
當在步驟S3-3I的判定結(jié)果顯示為否時，操作返回到步驟S3-3B的處理。然后重復地執(zhí)行從步驟S3-3B到步驟S3-3I的處理，直到增加的變量i大于堆棧尺寸為止。結(jié)果，當在步驟S3-3I的判定結(jié)果變?yōu)轱@示是時，用于比較模板的處理完成。
隨后，在步驟S3-4的處理中，更新處理單元43使用在上述處理中生成的背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)更新背景模板堆棧。更具體地說，具有背景區(qū)域掩碼值1的點(ui，vi)的、M×N的外圍像素的區(qū)域Rn(即，被估計為背景的區(qū)域)被切除，并且隨后以該背景模板堆棧作為基準。當之前存在點(ui，vi)的背景模板時，對已存在的模板和新的模板Rn進行平均。另一方面，當之前不存在點(ui，vi)的背景模板時，則堆疊新的模板。圖14示出了對于基準照相機1的更新處理的具體流程。
即，在步驟S3-4的處理中，首先，變量i和j被初始化為「0」(步驟S3-4A)。
接著，得到va1＝Rbbg(ui，vi)，即，使得變量va1等于Rbbg(ui，vi)的值(步驟S3-4B)，并判定變量va1的值是否為「1」(步驟S3-4C)。
當在步驟S3-4C的判定結(jié)果顯示為是時，以bgBufb[j]的坐標(bfuj，bfvj)作為基準(步驟S3-4D)。然后判定坐標(bfuj，bfvj)是否與點(uj，vj)一致(步驟S3-4E)。
當在步驟S3-4E的判定結(jié)果顯示為是時，在更新了bgBufb[j]的模板(步驟S3-4F)之后，變量i增加(步驟S3-4G)。另一方面，當在步驟S3-4E判定的結(jié)果顯示為否時，變量j立即增加(步驟S3-4G)。
接著，判定在步驟S3-4G增加的變量j是否變得大于堆棧尺寸(步驟S3-4H)。
當在步驟S3-4H的判定結(jié)果顯示為否時，操作返回到步驟S3-4D的處理，并隨后重復地執(zhí)行從步驟S3-4D到步驟S3-4H的處理。結(jié)果，當在步驟S3-4H的判定結(jié)果變?yōu)槭菚r，將點(uj，vj)的模板添加到bgBufb(步驟S3-4I)，并且變量i增加(步驟S3-4J)。另一方面，當在步驟S3-4C的判定結(jié)果顯示為否時，變量i立即增加(步驟S3-4J)。
然后判定在步驟S3-4J增加的變量i是否大于變量i的圖像尺寸(步驟S3-4K)。
當在步驟S3-4K的判定結(jié)果顯示為否時，操作返回到步驟S3-4B的處理，并且接著重復地執(zhí)行從步驟S3-4B到步驟S3-4K的處理，直到增加的變量i大于圖像尺寸為止。結(jié)果，當在步驟S3-4K的判定結(jié)果變?yōu)轱@示是時，更新背景模板的處理完成。
接著，距離圖像生成處理單元5通過使用在步驟S3的處理中生成的背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)來計算距離信息(步驟S4)。
這里，在步驟S4的處理中，根據(jù)在步驟S3的處理中生成的背景區(qū)域掩碼Rbbg(u，v)和Rdbg(u，v)的信息生成距離圖像Db(u，v)和Dd(u，v)。由于輸入圖像Ib(u，v)和Id(u，v)在步驟S2的處理中被正規(guī)化，因此在步驟S4的處理中的距離圖像的值被設(shè)置為在u軸方向上的移動量。換句話說，當與在基準照相機圖像Ib(u，v)上的點Ib(ui，vi)相對應的點被作為在檢測照相機圖像Id(u，v)上的點Id(ui-shift，vi)時，得到Db(ui，vi)＝shift。由多種已知的方法可以作為搜索相應點的方法。但是在本例中，通過搜索在基準照相機圖像Ib(u，v)上的點(ui，vi)的M×N的外圍區(qū)域和在檢測照相機圖像Id(u，v)上的點(ui-shift，vi)的M×N的外圍區(qū)域之間的亮度誤差變得最小時的點來獲得相對應的點。同時，如圖15所示，通過使用背景區(qū)域掩碼信息在搜索中排除任何構(gòu)成背景區(qū)域的點(背景區(qū)域掩碼為1)。結(jié)果，與對于以區(qū)域為基礎(chǔ)對整個普通輸入圖像的匹配相比，能夠更準確地執(zhí)行匹配。
背景分離圖像生成處理單元6通過參照在步驟S4的處理中生成的距離區(qū)域圖像Db(u，v)和Dd(u，v)，從輸入圖像Ib(u，v)和Id(u，v)中除去任何具有等于或小于閾值的距離的點(ui，vi)，隨后，背景分離圖像生成處理單元6生成背景分離的圖像Ib′(u，v)和Id′(u，v)(步驟S5)，并輸出作為結(jié)果的背景分離的圖像Ib′(u，v)和Id′(u，v)(步驟S6)。在本例的閾值處理中，每個在特定距離或更遠的點被作為背景。
對于在上述處理中生成的背景分離的圖像Ib′(u，v)和Id′(u，v)，針對輸入圖像Ib(u，v)和Id(u，v)執(zhí)行了全局和局部的背景估計，生成了距離圖像，并對距離圖像執(zhí)行了背景分離。結(jié)果，背景分離變得可能，并且與利用生成整個輸入圖像Ib(u，v)和Id(u，v)的距離圖像的方法相比，其更加準確，并且，隨后執(zhí)行了背景分離。此外，在任何需要的時候背景模板堆棧都被更新/添加，這對于由于時間的逝去而帶來的環(huán)境改變變得更加健壯。并且，使用了整個圖像的重疊，并且估計了大致的背景區(qū)域，從而能夠?qū)τ诂F(xiàn)場以及具有許多重復圖案和包藏區(qū)域的景象獲得健壯的結(jié)果。
雖然使用特定的條件說明了本發(fā)明的優(yōu)選實施例，但是這一說明僅僅是出于說明性的目的，應該理解，在不脫離所附權(quán)利要求的精神和范圍的前提下，可以進行改變和修改。
權(quán)利要求
1.一種圖像處理方法，包括步驟使用至少兩臺照相機從不同的視點捕獲一個物體的圖像以得到彼此同時的輸入圖像；對于在所述捕獲的步驟得到的每一個輸入圖像，基于背景區(qū)域是遠距離的并且具有平的表面的假設(shè)，根據(jù)執(zhí)行全局圖像重疊之后的相似程度，估計背景區(qū)域；對于除了在所述背景區(qū)域估計步驟估計出的背景區(qū)域中的那些點之外的點，通過利用立體方法執(zhí)行距離測量，生成距離圖像；以及通過參照在所述距離圖像生成步驟生成的距離圖像，從每個輸入圖像中除去預定距離或更遠的區(qū)域的圖像，生成背景分離的圖像。
2.如權(quán)利要求1所述的圖像處理方法，其中，在所述背景區(qū)域估計步驟中，計算輸入圖像之間移動的量、不超過閾值的全局移動的量，從而執(zhí)行全局圖像重疊，其中，所述輸入圖像之間移動的量使得整個圖像的亮度誤差在輸入圖像之間變得最小，所述閾值是依據(jù)分離邊界而確定的，背景區(qū)域根據(jù)所述分離邊界被分離。
3.如權(quán)利要求1所述的圖像處理方法，其中，在所述背景區(qū)域估計步驟中，該估計是通過將具有高于預定閾值的局部相似程度的區(qū)域作為背景區(qū)域而執(zhí)行的。
4.如權(quán)利要求1所述的圖像處理方法，其中，在所述背景區(qū)域估計步驟中，在任何需要的時候更新/添加用于根據(jù)局部相似程度估計背景區(qū)域的背景模板。
5.一種圖像處理裝置，包括用于在其中存儲彼此同時的輸入圖像的數(shù)據(jù)的存儲器件，所述輸入圖像是通過使用至少兩臺照相機從不同視點拍攝一個物體而得到的；背景區(qū)域估計處理單元，用于對于每一個彼此同步的輸入圖像，基于背景區(qū)域是遠距離的并且具有平的表面的假設(shè)，在執(zhí)行全局圖像重疊之后的局部相似程度來估計背景區(qū)域，其中，所述輸入圖像的數(shù)據(jù)被存儲在所述存儲器件中；距離圖像生成處理單元，用于對于除了在所述背景區(qū)域估計處理單元估計出的背景區(qū)域中的那些點之外的點，利用立體方法執(zhí)行距離測量，生成距離圖像；以及背景分離圖像生成處理單元，用于通過參照在所述距離圖像生成處理單元生成的距離圖像，從每個輸入圖像中除去預定距離或更遠的區(qū)域的圖像，生成背景分離圖像。
6.如權(quán)利要求5所述的圖像處理裝置，其中，所述背景區(qū)域估計處理單元計算在輸入圖像之間移動的量、全局移動的量，從而執(zhí)行全局圖像重疊，其中，所述在輸入圖像之間移動的量使得整個圖像的亮度誤差在輸入圖像之間變得最小，所述全局移動的量不超過根據(jù)分離邊界確定的閾值，背景區(qū)域依據(jù)所述分離邊界被分離。
7.如權(quán)利要求5所述的圖像處理裝置，其中，所述背景區(qū)域估計處理單元將具有高于預定閾值的局部相似程度的區(qū)域估計為背景區(qū)域。
8.如權(quán)利要求5所述的圖像處理裝置，其中，所述背景區(qū)域估計處理單元在任何需要的時候更新/添加用于根據(jù)局部相似程度估計背景區(qū)域的背景模板。
全文摘要
本發(fā)明的目的在于通過利用結(jié)合立體方法的估計背景的方法，使用多個照相機分離圖像的背景區(qū)域。通過使用至少兩個照相機從不同的視點對一個物體拍攝圖像而獲得的、彼此同時的輸入圖像的數(shù)據(jù)被存儲在幀存儲器中。背景區(qū)域估計處理單元基于背景區(qū)域是遠距離的并且具有平的表面的假設(shè)，對其數(shù)據(jù)存儲在幀存儲器中的、彼此同時的輸入圖像執(zhí)行全局圖像重疊。然后，背景區(qū)域估計處理單元根據(jù)局部相似程度估計背景區(qū)域。距離圖像生成處理單元通過利用立體方法對除了在估計的背景區(qū)域中的那些點之外的點執(zhí)行距離測量以生成距離圖像。背景分離圖像生成處理單元通過參照作為結(jié)果的距離圖像從輸入圖像中除去預定距離或更遠的區(qū)域的圖像以生成背景分離的圖像。
文檔編號G06T11/60GK1758720SQ200510108440
公開日2006年4月12日 申請日期2005年10月8日 優(yōu)先權(quán)日2004年10月6日
發(fā)明者巖井嘉昭 申請人:索尼株式會社