專利名稱：用于處理圖像數(shù)據(jù)的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及用于處理圖像數(shù)據(jù)的方法和系統(tǒng)以及對應的計算機程序產(chǎn)品。例如， 該方法可構(gòu)成檢測移動物體(Object)的方法的一部分。同樣地，該系統(tǒng)可構(gòu)成用于檢測移動物體的系統(tǒng)的一部分。
背景技術(shù)：
在汽車安全應用領(lǐng)域，正在開發(fā)對鄰近車道中的車輛進行檢測以發(fā)出車道變化警告的系統(tǒng)。例如，已開發(fā)出方法來檢測車輛的盲點區(qū)域中的移動物體。例如，EP-A-I 988 505和EP_A_1 988 488涉及用于檢測車輛的盲點區(qū)域中的移動物體的方法。近來，變?yōu)橐蚕Ｍ麢z測遠落后于自我車輛(ego-vehicle)的車輛以使得可以非常早地警告駕駛員。本發(fā)明的一個目的是提供改進的分別處理圖像數(shù)據(jù)和檢測移動物體的方法和系統(tǒng)。以上目的是由獨立權(quán)利要求所要求保護的主題來實現(xiàn)的。另外的實施例在獨立權(quán)利要求中定義。附圖被包括以提供對本發(fā)明實施例的進一步理解并且被包含在本說明書中并構(gòu)成其一部分。附示出本發(fā)明的實施例并且與說明書一起用來說明原理。當本發(fā)明的其他實施例和許多預期優(yōu)點參考以下詳細說明得到更好理解時，它們將被容易地認識到。附圖的元素不一定是彼此成比例的。相似的標號標示相對應的相似部件。



一第二運動估計器63，該第二運動估計器適用于識別在第二序列的連續(xù)圖像之間進行了移動的移動塊，所述第二序列具有第二幀速率。同樣，用于處理圖像數(shù)據(jù)的系統(tǒng)包括第一運動估計器62，該第一運動估計器62適用于識別在第一序列的連續(xù)圖像之間進行了移動的移動塊，所述第一序列具有第一幀速率；以及第二運動估計器63，該第二運動估計器適用于識別在第二序列的連續(xù)圖像之間進行了移動的移動塊，所述第二序列具有第二幀速率。另外，該實施例提供了適用于執(zhí)行以上方法的計算機程序產(chǎn)品。在圖6所示的示例中，圖像數(shù)據(jù)首先被預處理塊61處理。例如，預處理塊61可包括各種處理設(shè)備，例如濾波設(shè)備、圖像校正設(shè)備以及其他。此后，圖像數(shù)據(jù)被提供給第一運動估計器62以及第二運動估計器63?？蛇x地，圖像數(shù)據(jù)也可被提供給第三運動估計器64， 該第三運動估計器64識別在第三序列的連續(xù)圖像之間進行了移動的移動項目，其中所述第三序列具有第三幀速率。例如，第一幀速率可以是第二幀速率的整數(shù)倍。例如，第一運動估計器62的幀速率可以是30fps(幀每秒)，對應于連續(xù)圖像之間的33ms距離。該幀速率對應于通常相機的幀速率。另外，第二幀速率可以是3fps，使得第一幀速率對應于第二幀速率的十倍。因此，當分析第一和第二幀速率的連續(xù)圖像時，第二運動估計器63分析該序列的每第十個幀，而第一運動估計器62分析該序列的每一單個圖像。 因此，該布置覆蓋了更高范圍的可檢測速度。更具體而言，圖6所示的運動估計器檢測低速度以及高速度。第一運動估計器62仍確保了對最有興趣的高速靠近車輛的檢測，并將它們的響應延遲保持為最小。另外，第二運動估計器63檢測慢車輛和所有遙遠車輛的慢像素運動。接近的慢車輛由于相機透視(perspective)和它們朝著相機的行駛方向而生成慢像素運動。每個運動估計器的估計運動場然后被歸一化并被組合為最終結(jié)果?？蛇x地，第三運動估計器64可被提供以適用于特定的相機或者透鏡設(shè)置。如顯然將會明白的，另外的運動估計器可存在于根據(jù)所描述實施例的系統(tǒng)中。III.模板匹配技術(shù)模板匹配技術(shù)旨在從圖像序列中檢測移動物體，使得可以檢測從相機到移動物體的距離。為了獲得可靠的結(jié)果，希望從圖像序列中精確地確定移動物體。通常用于拍攝圖像的單目相機是未被配置為提供深度信息的2D傳感器。因此，需要另外的處理來評估所檢測物體的距離信息。所檢測物體通常由區(qū)段遮蓋表示，區(qū)段遮蓋描述圖像中的哪些像素屬于潛在物體。如圖7A所示，用于檢測移動物體的方法可包括一基于多個參數(shù)組生成三維物體的二維形狀表示(S710)；以及一使區(qū)段遮蓋中的運動塊與二維形狀表示相匹配(S712)以獲得最適合的參數(shù)組。例如，可使用多個參數(shù)組生成三維物體的二維形狀表示，所述多個參數(shù)組包括三維物體的距離以及觀看透視，例如觀看角度。根據(jù)區(qū)段遮蓋的運動塊與這些二維形狀表示的匹配，可獲得最佳匹配的形狀表示，從而獲得最適合的參數(shù)組。例如，可根據(jù)該最適合的參數(shù)組來評估三維物體的距離(S714)。然而，如將容易明白的，諸如車輛型號或者物體大小之類的不同參數(shù)也可被用作參數(shù)并且基于該匹配方法來確定。根據(jù)一個實施例，包括運動塊的區(qū)段遮蓋可通過以下步驟生成
一拍攝圖像序列(S700)；—將該序列的每個圖像分為塊(S702)；以及一從該序列中識別運動塊。根據(jù)一個實施例，識別運動塊可包括一識別移動塊；一確定該移動塊的移動的方向和距離；以及一使方向和距離在預定間隔內(nèi)的鄰近移動塊成組以構(gòu)成運動塊。在步驟S700中，圖像序列被拍攝。例如，當識別移動塊時，每個塊可包括8x8或者16x16個像素，但是不僅方塊是可能的，其他形狀的塊或者具有另一數(shù)目的像素的塊也是可能的。另外，已經(jīng)在序列的連續(xù)圖像之間移動了的塊可被識別。例如，這可以利用如上面已在II部分中描述的運動估計器來完成。可以通過計算用于可能的塊位移的誤差標準來檢測塊的移動。絕對差的和、相關(guān)性乘積或者其他方法例如可被用作匹配標準。然后，可以例如通過比較連續(xù)圖像中的移動塊的位置來確定移動的距離和方向。 “類似”方向上“類似”距離的移動也可以通過計算連續(xù)圖像的塊之間的運動向量并且比較運動向量來確定。在步驟S702中，已經(jīng)為之確定方向在預定方向間隔內(nèi)并且距離在預定距離間隔內(nèi)的鄰近塊被成組在運動塊中。預定的方向間隔和預定的距離間隔被用于檢測基本相同方向、基本相同距離的移動。預定的間隔可以是固定的或者可以適用于例如移動塊的實際方向或距離。因此，基本在相同方向上移動相同距離的移動塊被成組在一起，以構(gòu)成組成區(qū)段遮蓋的運動塊。通常，區(qū)段遮蓋表示所檢測的物體，從而描述圖像中的哪些像素屬于所要檢測的諸如車輛之類的潛在物體。區(qū)段遮蓋可包含多個檢測到的物體以及假警報。不相連的、田比鄰的塊可被隔離并被單獨處理為可能的車輛候選。為了提高檢測精度，實現(xiàn)將真實世界物體投射到像素坐標。從而，有效物體被變換為二維表示。在步驟S710中，移動物體的二維形狀表示被生成。例如，這可以通過基于多個參數(shù)組計算三維物體的多個圖像來完成。為了計算圖像，通過利用恒定相機校準參數(shù)、任何關(guān)于傳感器上的光學成像的信息、相機高度以及諸如物體距離和相機透視之類的可變參數(shù)， 例如可以使用透視變換。因此，對于多組參數(shù)，多個二維形狀表示被生成。因此，試圖利用圖像所拍攝自的各種特定透視，將真實世界以及移動物體投射到像素坐標。此后，在步驟S712中，區(qū)段遮蓋的運動塊被與二維形狀表示相匹配，以獲得最佳匹配。例如，可利用被計算為三個區(qū)域之比的匹配分數(shù)來評估最佳匹配。分數(shù)=(A-W1B)/ (A+w2C)在以上公式中，區(qū)域a被所考慮的運動塊和形狀表示兩者覆蓋。區(qū)域b在形狀表示內(nèi)部但是未被運動塊覆蓋。區(qū)域C在運動塊內(nèi)部但是在形狀表示外部。W1和W2是權(quán)重。 在完美匹配的情況下，B和C將是零，從而產(chǎn)生1.0的分數(shù)。在所有其他情況下，最終分數(shù)低于1. 0，并且可被根據(jù)權(quán)重按優(yōu)先級排序，以選擇運動塊和形狀表示的最大內(nèi)部重疊或者最小外部非重疊區(qū)域。該方法考慮到對運動塊的確定可能是不準確的并且拓展到并非車輛的一些鄰近圖像區(qū)域。在找到最佳匹配的二維形狀表示之后，例如包括距離和觀看透視的最適合的參數(shù)組被得到。圖7B示出用于檢測移動物體的系統(tǒng)的一個實施例。該系統(tǒng)可包
8括相機702、處理器或處理設(shè)備704以及指示器706。相機702被配置為拍攝圖像序列，如上面已說明的。例如，相機702可以是單目相機。處理器704可被配置為將所述序列的每個圖像分為塊，以識別在序列的連續(xù)圖像之間進行了移動的移動塊，以確定移動塊的移動的方向和距離，并且將已為之確定方向在預定方向間隔之內(nèi)并且距離在預定距離間隔之內(nèi)的鄰近移動塊成組，以構(gòu)成運動塊。另外，處理器可被配置為以如上面參考步驟S710說明的方式生成三維物體的二維形狀表示。處理器704還適用于使運動塊與二維形狀表示相匹配以獲得最適合的參數(shù)組，如上面已說明的。本實施例還涉及適用于執(zhí)行上面已說明的功能中的任何功能的計算機程序產(chǎn)品。例如，計算機程序產(chǎn)品可適用于執(zhí)行如上面已說明的步驟S702至S714。另外，可能存在適用于例如以如上面已說明的方式生成區(qū)段遮蓋并執(zhí)行步驟S710至S714的若干計算機程序產(chǎn)品。然而，顯然將會明白，可在不同的計算機程序產(chǎn)品中實現(xiàn)步驟的任何組合。圖8示出具有以上方法所應用于的不同區(qū)域的圖像的示例。圖8A示出在道路811上行駛的車輛810的示例。圖8B示出可從所拍攝的車輛 810的圖像序列中獲得的區(qū)段遮蓋。在圖8B中示出的不同部分803、804和805圖示出可從對圖像序列的評估獲得的各種塊。例如，可能存在對應于道路811的環(huán)境的運動塊804、對應于道路的運動塊805以及對應于所要檢測的潛在車輛的運動塊803。806指的是道路的左邊部分上的非移動部分。根據(jù)圖8C所示的實施例，車輛的多個二維形狀表示8(^a、802b、802c被生成。如上面已經(jīng)描述的，當生成該形狀表示802時，在捕捉圖像時已被用于形成區(qū)段遮蓋的特定參數(shù)必須被考慮。另外，包括例如距離和觀看透視的不同參數(shù)組被考慮。因此，具有框形狀的各種形狀表示8(^a、802b、802c被生成。根據(jù)如上所述的方法，運動塊803被與形狀表示 8(^a、802b、802c中的每一個相匹配。作為該匹配過程的結(jié)果，最佳匹配的形狀表示80 被得到。因此，如圖8D所示，車輛的實際位置如形狀表示80 所圖示。根據(jù)已被用于生成形狀表示80 的特定參數(shù)組，該特定物體的距離和觀看透視可被評估。因此，區(qū)域803的剩余部分被認為不屬于所要檢測的物體。因此，如從圖8D變得明顯的，存在屬于表示所要檢測的潛在車輛的塊803的圖像的許多無效部分。根據(jù)這種無效部分評估移動車輛的位置將會產(chǎn)生假結(jié)果。IV.成組車輛的檢測隨著增加的檢測范圍，產(chǎn)生處理鄰近車道上的交通的新挑戰(zhàn)。具體而言，必須從多個物體的群組中檢測到單個物體。另外，在通常的側(cè)視透視中，車輛的姿態(tài)和外觀在可檢測范圍內(nèi)改變。例如，靠近的車輛在彼此接近時可能擋住后面的車輛或者表現(xiàn)為長車輛。更具體而言，當生成區(qū)段遮蓋時，可確定包括相距不遠的多個車輛的運動塊。圖9示意性地圖示出檢測群組中的多個物體的方法。例如，該方法可包括一生成包括運動塊的區(qū)段遮蓋；—從運動塊中檢測最前端物體；以及一從運動塊中減去最前端物體的形狀。另外，用于處理圖像數(shù)據(jù)的系統(tǒng)可包括適用于執(zhí)行如上所述方法的組件。例如，系統(tǒng)可具有如圖7B所示的構(gòu)造。
參考圖9，例如為了生成區(qū)段遮蓋，在步驟S900中，圖像序列可被以如上面參考圖 7描述的類似方式拍攝。在步驟S904中，運動塊可被從序列中識別出。例如，這可以通過執(zhí)行如上面參考圖7描述的步驟來完成。為此，根據(jù)一個實施例，序列中的每個圖像可被以如上面描述的類似方式分為塊。另外，可以以如上面已參考圖7描述的類似方式識別在序列的連續(xù)圖像之間移動了的塊。然后，可以以如圖7中類似的方式確定移動的距離和方向。 已為之確定方向在預定方向間隔內(nèi)并且距離在預定距離間隔內(nèi)的鄰近塊可被成組，以便以如上面已參考圖7描述的類似方式形成運動塊。然后在步驟S910中，最前端的物體可被從運動塊中檢測到。例如，這可以通過任何適合的方法實現(xiàn)。例如，可以通過執(zhí)行如上面已在 III部分中描述的匹配方法來檢測最前端的物體。此后，在步驟S912中，最前端的物體被從圖像中減去。例如，與最前端物體有關(guān)的像素可被從圖像(例如相對應的運動塊)中除去。這產(chǎn)生了一個或多個剩余運動塊，這一個或多個剩余運動塊被再次驗證是否為潛在物體(步驟S904)。根據(jù)一個實施例，步驟S904至S912可被重復，直到圖像中不存在另外的塊為止。因此，基于運動向量將車輛的群組檢測為根據(jù)區(qū)段遮蓋的封閉分割區(qū)域。如果運動塊未被良好分割，那么剩余運動塊可產(chǎn)生假警報或者不準確的檢測。因此，希望具有可靠的區(qū)段和距離估計方法。因此，如上面已經(jīng)描述的方法適合于在執(zhí)行本方法之前處理圖像數(shù)據(jù)。V.行駛情形檢測根據(jù)本實施例，可以根據(jù)車輛的具體行駛情形來調(diào)節(jié)如上面已經(jīng)說明的方法中的任何方法的參數(shù)。例如，基于車輛控制器局域網(wǎng)總線(CAN-bus)上可以得到的信息(例如速度、轉(zhuǎn)向角、當前檔位)，系統(tǒng)可以在不同行駛情形之間進行區(qū)分，不同行駛情形例如是一停車/熄火一城市/交通堵塞一鄉(xiāng)間一高速公路根據(jù)該實施例，模式選擇可以基于在特定時間間隔內(nèi)收集的控制器局域網(wǎng)(CAN) 數(shù)據(jù)的統(tǒng)計(平均、方差、最大值)與每個類別的速度范圍的結(jié)合。
權(quán)利要求
1.一種用于處理表示區(qū)段遮蓋的圖像數(shù)據(jù)的方法，包括 基于多個參數(shù)組生成三維物體的二維形狀表示；以及使所述區(qū)段遮蓋中的運動塊與所述二維形狀表示相匹配以獲得最適合的參數(shù)組。
2.如權(quán)利要求1所述的方法，還包括根據(jù)所述最適合的參數(shù)組確定所述三維物體與相機位置之間的距離。
3.如權(quán)利要求1所述的方法，其中所述參數(shù)組包括生成了所述圖像數(shù)據(jù)的相機相對于所述三維物體的距離和透視。
4.如權(quán)利要求1所述的方法，其中通過包括以下步驟的方法從圖像序列生成所述區(qū)段遮蓋將所述圖像序列中的每個圖像分為塊； 識別移動塊；確定所述移動塊的移動的方向和距離；將方向和距離在預定間隔內(nèi)的鄰近移動塊成組以構(gòu)成運動塊。
5.如權(quán)利要求1所述的方法，其中所述圖像數(shù)據(jù)是從圖像序列生成的，所述方法還包括將所述圖像中的一個分割為多個分段；以及向布置在所述圖像的特定分段中的圖像數(shù)據(jù)應用縮放因數(shù)，其中不同的縮放因數(shù)被指派給所述圖像的不同分段。
6.如權(quán)利要求5所述的方法，其中所述分段被沿著一個軸布置。
7.如權(quán)利要求5所述的方法，其中所述分段是沿著兩個軸布置的，所述兩個軸彼此正交。
8.如權(quán)利要求5所述的方法，其中所述縮放因數(shù)沿著軸從大于1的值減小為小于1的值。
9.如權(quán)利要求1所述的方法，其中所述圖像數(shù)據(jù)是從圖像序列生成的，所述方法還包括同時向以下兩者提供所述圖像序列的圖像數(shù)據(jù)第一運動估計器，該第一運動估計器適用于識別在第一序列的連續(xù)圖像之間進行了移動的移動塊，所述第一序列具有第一幀速率；以及第二運動估計器，該第二運動估計器適用于識別在第二序列的連續(xù)圖像之間進行了移動的移動塊，所述第二序列具有第二幀速率。
10.如權(quán)利要求9所述的方法，其中所述第一幀速率是所述第二幀速率的整數(shù)倍。
11.如權(quán)利要求4所述的方法，其中通過同時向以下兩者提供所述圖像序列的圖像數(shù)據(jù)來識別移動塊第一運動估計器，該第一運動估計器適用于識別在第一序列的連續(xù)圖像之間進行了移動的移動項，所述第一序列具有第一幀速率；以及第二運動估計器，該第二運動估計器適用于識別在第二序列的連續(xù)圖像之間進行了移動的移動項，所述第二序列具有第二幀速率。
12.如權(quán)利要求1所述的方法，還包括 從所述運動塊中檢測最前端的物體；以及從所述運動塊中減去所述最前端的物體。
13.一種用于檢測移動物體的方法，包括 通過拍攝圖像序列來生成圖像數(shù)據(jù)；以及執(zhí)行如權(quán)利要求1所述的方法。
14.一種計算機程序產(chǎn)品，包括適用于執(zhí)行根據(jù)權(quán)利要求1所述的方法并且當在數(shù)據(jù)處理設(shè)備上執(zhí)行時執(zhí)行該方法的步驟的計算機程序裝置。
15.一種計算機可讀存儲介質(zhì)，包括根據(jù)權(quán)利要求14所述的計算機程序產(chǎn)品。
16.一種用于處理表示區(qū)段遮蓋的圖像數(shù)據(jù)的系統(tǒng)，該系統(tǒng)包括適用于執(zhí)行以下操作的組件基于多個參數(shù)組生成三維物體的二維形狀表示；以及使所述區(qū)段遮蓋中的運動塊與所述二維形狀表示相匹配以獲得最適合的參數(shù)組。
17.如權(quán)利要求16所述的系統(tǒng)，所述系統(tǒng)還包括適用于執(zhí)行以下操作的組件 確定所述三維物體與相機位置之間的距離。
18.如權(quán)利要求16所述的系統(tǒng)，其中所述圖像數(shù)據(jù)是從圖像序列生成的，所述系統(tǒng)還包括適用于執(zhí)行以下操作的組件將所述圖像中的一個分割為多個分段；以及向布置在圖像的特定分段中的圖像數(shù)據(jù)應用縮放因數(shù)，其中不同的縮放因數(shù)被指派給所述圖像的不同分段。
19.如權(quán)利要求16所述的系統(tǒng)，其中所述圖像數(shù)據(jù)是從圖像序列生成的，所述系統(tǒng)還包括第一運動估計器，該第一運動估計器適用于識別在第一序列的連續(xù)圖像之間進行了移動的移動塊，所述第一序列具有第一幀速率；以及第二運動估計器，該第二運動估計器適用于識別在第二序列的連續(xù)圖像之間進行了移動的移動塊，所述第二序列具有第二幀速率，所述第一和第二運動估計器被布置使得所述圖像數(shù)據(jù)能夠被同時供應給所述第一和第二運動估計器。
20.如權(quán)利要求16所述的系統(tǒng)，還包括適用于執(zhí)行以下操作的組件 從所述運動塊中檢測最前端的物體；以及從所述運動塊中減去所述最前端的物體。
21.一種用于檢測移動物體的系統(tǒng)，包括適用于通過拍攝圖像序列來生成圖像數(shù)據(jù)的設(shè)備；以及如權(quán)利要求16所述的系統(tǒng)。
全文摘要
本發(fā)明提供了用于處理圖像數(shù)據(jù)的方法和系統(tǒng)。一種用于處理表示區(qū)段遮蓋的圖像數(shù)據(jù)的方法，包括基于多個參數(shù)組生成三維物體的二維形狀表示；以及使所述區(qū)段遮蓋中的運動塊與所述二維形狀表示相匹配以獲得最適合的參數(shù)組。從而，所述三維物體與相機位置之間的距離例如可被確定。
文檔編號G06K9/00GK102194239SQ20111006574
公開日2011年9月21日 申請日期2011年3月16日 優(yōu)先權(quán)日2010年3月16日
發(fā)明者丹尼斯·哈瑞斯, 克利斯汀·昂魯 申請人:索尼公司