專利名稱：搜尋對(duì)應(yīng)像素塊的方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于多視角視頻(mult1-view video),特別是有關(guān)于多視角視頻中搜尋對(duì)應(yīng)像素塊的方法及裝置。
背景技術(shù)：
多視角視頻在每一特定時(shí)間點(diǎn)具有兩個(gè)或兩個(gè)以上的空間上相鄰的圖像(spatially-adjacent images)。例如，在每一特定時(shí)間點(diǎn)，立體視頻(例如一個(gè)包括有兩個(gè)視角的多視角視頻)包括一個(gè)右視角的右圖像(right image of a right viewpoint)和一個(gè)左視角的左圖像。每一圖像包括多個(gè)像素塊(pixel block)，每一像素塊又包括一個(gè)或多個(gè)像素。右圖像/左圖像內(nèi)的一個(gè)像素塊可能與左圖像/右圖像中的另一像素塊幾乎相同或者非常相似，這兩個(gè)像素塊通常被稱為對(duì)應(yīng)或者相應(yīng)像素塊(matching orcorresponding pixel block),它們代表了一個(gè) 3D (three-dimensional, 3D)影像(scene)中相同的部分。影像的一部分與觀看者之間的感覺距離，通常被稱為這部分的“視覺深度(visual cbpth)”。因?yàn)橛跋竦牟煌糠謺?huì)具有不同的視覺深度，這樣就會(huì)使觀看者看到的立體視頻是呈三維顯示的。用來處理多視角視頻的電子裝置，可能需要執(zhí)行“視差搜尋(disparitysearch) ”，以從多視角視頻中的空間上相鄰的兩個(gè)圖像中找出對(duì)應(yīng)像素塊(matchingpixel block)。起始于兩個(gè)圖像其中之一的給定像素塊(given pixel block)的位置、結(jié)束于另一個(gè)圖像中對(duì)應(yīng)像素塊的位置的向量(vector)，被稱為給定像素塊的視差向量(disparity vector)。例如,如果給定像素塊位于右圖像中，并且對(duì)應(yīng)像素塊位于左圖像中，并且視差向量為零向量(zero vector)，觀看者將會(huì)感覺到這兩個(gè)像素塊所呈現(xiàn)的可視部分(visual part)位于屏幕上。如果視差向量指向右邊,觀看者將會(huì)感覺到這一可視部分位于屏幕前方(例如，這一可視部分位于比屏幕更近的位置)。如果視差向量指向左邊，觀看者將會(huì)感覺到這一可視部分位于屏幕后方(例如，這一可視部分位于比屏幕更遠(yuǎn)的位置)。通過視差搜尋，電子裝置試圖找出圖像中的每一個(gè)像素塊的視差向量。大多數(shù)傳統(tǒng)的視差搜尋方法需要使用到運(yùn)動(dòng)向量(motion vectors)。通常情況下，這些傳統(tǒng)的方法都非常復(fù)雜并且需要大量的系統(tǒng)資源，因而不是最佳的解決方案。

發(fā)明內(nèi)容
有鑒于此，本發(fā)明提供一種搜尋對(duì)應(yīng)像素塊的方法及裝置。依據(jù)本發(fā)明一實(shí)施方式，提供一種搜尋對(duì)應(yīng)像素塊的方法，所述對(duì)應(yīng)像素塊位于多視角視頻的第二圖像中，所述對(duì)應(yīng)像素塊與所述多視角視頻的第一圖像中給定像素塊相對(duì)應(yīng)，所述第一圖像與所述第二圖像在空間上相互鄰近，所述方法包括:從所述多視角視頻的參考圖像集合中選出參考像素塊集合，以提供參考視差向量集合；根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合，其中所述給定像素塊的位置與所述視差向量預(yù)測(cè)集合定義出所述第二圖像的候選像素塊集合；搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊。依據(jù)本發(fā)明另一實(shí)施方式，提供一種搜尋對(duì)應(yīng)像素塊的裝置，所述對(duì)應(yīng)像素塊位于多視角視頻的第二圖像中，所述對(duì)應(yīng)像素塊與所述多視角視頻的第一圖像中給定像素塊相對(duì)應(yīng)，所述第一圖像與所述第二圖像在空間上相互鄰近，其特征在于，所述裝置包括:視差存儲(chǔ)模塊以及視差產(chǎn)生模塊。所述視差存儲(chǔ)模塊用于存儲(chǔ)所述多視角視頻的參考圖像集合的已確定視差向量。所述視差產(chǎn)生模塊包括預(yù)測(cè)產(chǎn)生器和視差產(chǎn)生器。所述預(yù)測(cè)產(chǎn)生器，耦接于所述視差存儲(chǔ)模塊，用于從所述參考圖像集合中選出參考像素塊集合，以提供參考視差向量集合，并且根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合，其中所述給定像素塊的位置與所述視差向量預(yù)測(cè)集合定義出所述第二圖像的候選像素塊集合；所述視差產(chǎn)生器，耦接于所述預(yù)測(cè)產(chǎn)生器和所述視差存儲(chǔ)模塊，用于搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊。依據(jù)本發(fā)明另一實(shí)施方式，提供一種搜尋對(duì)應(yīng)像素塊的方法，所述對(duì)應(yīng)像素塊位于多視角視頻的第二圖像中，所述對(duì)應(yīng)像素塊與所述多視角視頻的第一圖像中給定像素塊相對(duì)應(yīng)，所述第一圖像與所述第二圖像在空間上相互鄰近，其特征在于，所述方法包括:從所述多視角視頻的參考圖像集合中選出參考像素塊集合，以提供參考視差向量集合，其中，所述參考圖像集合是從所述第一圖像、所述第二圖像、所述第一圖像的先前圖像以及所述第二圖像的先前圖像中選出來的；僅根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合，其中所述給定像素塊的位置與所述視差向量預(yù)測(cè)集合定義出所述第二圖像的候選像素塊集合；搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊。本發(fā)明所公開的搜尋對(duì)應(yīng)像素塊的方法及裝置，無需使用到運(yùn)動(dòng)向量，可以降低運(yùn)算的復(fù)雜度以及減少需要的系統(tǒng)資源。對(duì)于已經(jīng)閱讀后續(xù)由各附圖及內(nèi)容所顯示的較佳實(shí)施方式的本領(lǐng)域的技術(shù)人員來說，本發(fā)明的各目的是明顯的。


圖1為根據(jù)多視角視頻的示意圖。圖2為根據(jù)本發(fā)明一實(shí)施例的視差搜尋裝置的框圖。圖3為根據(jù)本發(fā)明一實(shí)施例的視差搜尋方法的流程圖。
具體實(shí)施例方式在權(quán)利要求書及說明書中使用了某些詞匯來指稱特定的組件。所屬領(lǐng)域中的技術(shù)人員應(yīng)可理解，硬件制造商可能會(huì)用不同的名詞來稱呼同樣的組件。本權(quán)利要求書及說明書并不以名稱的差異來作為區(qū)分組件的方式，而是以組件在功能上的差異來作為區(qū)分的準(zhǔn)貝U。在權(quán)利要求書及說明書中所提及的「包括」為開放式的用語，故應(yīng)解釋成「包括但不限定于」。另外，「耦接」一詞在此包括任何直接及間接的電氣連接手段。因此，若文中描述第一裝置耦接于第二裝置，則代表所述第一裝置可直接電連接于所述第二裝置，或通過其他裝置或連接手段間接地電連接至所述第二裝置。本發(fā)明的實(shí)施例提供了在多視角視頻上執(zhí)行視差搜尋的方法和裝置。這些實(shí)施例的一個(gè)共同特點(diǎn)是在執(zhí)行視差搜尋的過程中，不需要使用與多視角視頻內(nèi)容相關(guān)的運(yùn)動(dòng)向量。通過省略或不使用運(yùn)動(dòng)向量，可以減少所需要的系統(tǒng)資源的數(shù)量，并且降低計(jì)算的復(fù)雜度。因此，本發(fā)明的實(shí)施例可以降低視差搜尋的成本。本發(fā)明實(shí)施例的另一優(yōu)點(diǎn)在于，使用相對(duì)較好的預(yù)測(cè)策略(predictor)以提高視差搜尋的效率。圖1顯示了多視角視頻的示意圖，其可以用本發(fā)明的任一實(shí)施例的方法或裝置來處理。如圖1所示，其中的橫軸和縱軸分別代表時(shí)間軸(time axis)和視角軸(view axis)。所述多視角視頻包括M個(gè)視角，其中M為大于或等于2的整數(shù)。換句話說，所述多視角視頻至少包括第一視角和第二視角。例如，所述兩個(gè)視角的其中之一為右視角，另一個(gè)為左視角。在每一個(gè)特定時(shí)間點(diǎn)，所述多視角視頻在所述M個(gè)視角的每一個(gè)視角中都有一個(gè)圖像。這M個(gè)圖像被稱為空間上相鄰的圖像，這些圖像在特定的時(shí)間呈現(xiàn)出3D影像，并且這些圖像作為3D影像的不同部分具有不同的視覺深度。在所述多視角視頻中，每一個(gè)圖像包括JXK個(gè)像素塊，其中的J和K均為正整數(shù)。每一個(gè)像素塊僅包括一個(gè)像素或者包括多個(gè)像素。下文中，一個(gè)圖像內(nèi)在水平方向排列在第j位并且在垂直方向排列在第k位的像素塊，以下簡(jiǎn)稱為像素塊PBj,k，其中j為小于或等于J的正整數(shù)，k為小于或等于K的正整數(shù)。如圖1所示，在本發(fā)明的實(shí)施例中，圖像Iut和圖像I2,t為當(dāng)前正在執(zhí)行視差搜尋的圖像。在本實(shí)施例中，對(duì)圖像Iut和圖像I2,t之前的圖像(例如圖1中圖像Iut左側(cè)的圖像I1, t l和圖像I2, t左側(cè)的圖像I2, H)的視差搜尋已經(jīng)執(zhí)行完畢，并且，在對(duì)圖像I1, t和圖像I2, t的視差搜尋執(zhí)行完畢后，將會(huì)對(duì)例如圖1中圖像Iu和圖像I2, t右側(cè)的圖像立刻執(zhí)行視差搜尋。在一實(shí)施例中，當(dāng)對(duì)圖像Iut和圖像I2, t執(zhí)行視差搜尋時(shí)，可以運(yùn)用一些當(dāng)前可以得到的有用的信息。所述有用的信息包括空間信息(spat i a I informat i on )、多視角信息(mult1-view information)、時(shí)間信息(temporal information)以及多視角時(shí)間信息(mult1-view temporal information)等。特別地,在本實(shí)施例中，如果正在對(duì)圖像I1, t中的像素塊PBj,k執(zhí)行視差搜尋，那么空間信息包括從圖像Iut的像素塊的已確定的視差向量中所選取出的參考視差向量，多視角信息包括從圖像I2, t的像素塊的已確定的視差向量中所選取出的參考視差向量，時(shí)間信息包括從圖像像素塊的已確定的視差向量中所選取出的參考視差向量，多視角時(shí)間信息包括從圖像I2,η的像素塊的已確定的視差向量中所選取出的參考視差向量。另一方面，如果正在對(duì)圖像I2,t中的給定像素塊執(zhí)行視差搜尋，前述的空間信息、多視角信息、時(shí)間信息以及多視角時(shí)間信息就相應(yīng)地變?yōu)槎嘁暯切畔?、空間信息、多視角時(shí)間信息以及時(shí)間信息。圖2為根據(jù)本發(fā)明一實(shí)施例的視差搜尋裝置200的框圖。視差搜尋裝置200包括視差產(chǎn)生模塊(disparity generation module) 210、視差存儲(chǔ)模塊(disparity storagemodule)250、第一多工器280以及第二多工器290。簡(jiǎn)單地說，視差產(chǎn)生模塊210包括第一視差產(chǎn)生模塊220以及第二視差產(chǎn)生模塊230,第一視差產(chǎn)生模塊220用于對(duì)多視角視頻的第一視角中的圖像產(chǎn)生視差向量，第二視差產(chǎn)生模塊230用于對(duì)多視角視頻的第二視角中的圖像產(chǎn)生視差向量。第一視差產(chǎn)生模塊220包括第一預(yù)測(cè)產(chǎn)生器(predictor generator)222和第一視差產(chǎn)生器(disparity generator)224。第二視差產(chǎn)生模塊230包括第二預(yù)測(cè)產(chǎn)生器232和第二視差產(chǎn)生器234。
盡管如圖2所示的視差搜尋裝置200具有對(duì)稱的結(jié)構(gòu)，但在本發(fā)明的其他實(shí)施例的視差搜尋裝置中也可以具有不對(duì)稱的結(jié)構(gòu)。例如，在一實(shí)施例中，可以用不同的視差產(chǎn)生模塊來替代如圖2所示的第二視差產(chǎn)生模塊230。也就是說，用來對(duì)多視角視頻的第二視角中的圖像產(chǎn)生視差向量的替代模塊所采用的方法不同于第一視差產(chǎn)生模塊220采用的方法。視差存儲(chǔ)模塊250存儲(chǔ)由視差產(chǎn)生模塊210產(chǎn)生的視差向量。特別地，在本實(shí)施例中，視差存儲(chǔ)模塊250包括四個(gè)緩沖器，分別為第一當(dāng)前視差緩沖器(current disparitybuffer) 262,第一先前視差緩沖器(previous disparity buffer) 264,第二當(dāng)前視差緩沖器272和第二先前視差緩沖器274。所述四個(gè)緩沖器既可以作為一個(gè)存儲(chǔ)器的不同部分，也可以分別屬于不同的存儲(chǔ)器。視差產(chǎn)生模塊210當(dāng)前對(duì)圖像Iut和圖像I2,t執(zhí)行視差搜尋。第一當(dāng)前視差緩沖器262當(dāng)前用來存儲(chǔ)視差產(chǎn)生模塊210已確定的圖像Iut的像素塊的視差向量，這些已確定的視差向量構(gòu)成候選庫(candidate pool)，第一視差產(chǎn)生模塊220可以從中獲取空間信息，第二視差產(chǎn)生模塊230可以從中獲取多視角信息。第一先前視差緩沖器264當(dāng)前用來存儲(chǔ)視差產(chǎn)生模塊210已確定的圖像I1^的像素塊的視差向量，這些已確定的視差向量構(gòu)成候選庫，第一視差產(chǎn)生模塊220可以從中獲取時(shí)間信息，第二視差產(chǎn)生模塊230可以從中獲取多視角時(shí)間信息。第二當(dāng)前視差緩沖器272當(dāng)前用來存儲(chǔ)視差產(chǎn)生模塊210已確定的圖像I2, t的像素塊的視差向量，這些已確定的視差向量構(gòu)成候選庫，第二視差產(chǎn)生模塊230可以從中獲取到空間信息，第一視差產(chǎn)生模塊220可以從中獲取到多視角信息。第二先前視差緩沖器274當(dāng)前用來存儲(chǔ)視差產(chǎn)生模塊210已確定的圖像I2,η的像素塊的視差向量，這些已確定的視差向量構(gòu)成候選庫，第二視差產(chǎn)生模塊230可以從中獲取時(shí)間信息，第一視差產(chǎn)生模塊220可以從中獲取多視角時(shí)間信息。第一多工器280耦接于視差存儲(chǔ)模塊250的四個(gè)緩沖器中的至少一者，第一多工器280將上述存儲(chǔ)在視差存儲(chǔ)模塊250中的四種信息中的至少一種提供給第一視差產(chǎn)生模塊220。如果第一視差產(chǎn)生模塊220僅需要從視差存儲(chǔ)模塊250中獲取一種信息，那么，第一多工器280可以省略。第二多工器2`90耦接于視差存儲(chǔ)模塊250的四個(gè)緩沖器中的至少一者，第二多工器290將上述存儲(chǔ)在視差存儲(chǔ)模塊250中的四種信息中的至少一種提供給第二視差產(chǎn)生模塊230。如果第二視差產(chǎn)生模塊230僅需要從視差存儲(chǔ)模塊250中獲取一種信息，那么，第二多工器290可以省略。圖3為根據(jù)本發(fā)明一實(shí)施例的視差搜尋方法的流程圖。舉例而言，所述方法可以由圖2所示的第一視差產(chǎn)生模塊220和第二視差產(chǎn)生模塊230來執(zhí)行。為了更清楚的解釋本方法的步驟，以下段落中，假設(shè)采用圖2所示的第一視差產(chǎn)生模塊220來執(zhí)行圖3所示的步驟。特別地，如圖3所示的流程圖，包括第一視差產(chǎn)生模塊220對(duì)圖像Iut中的給定像素塊PB^t執(zhí)行視差搜尋以產(chǎn)生視差向量DVi,,的步驟。如果DV^t= (a，b)，其中a和b均為整數(shù)，那么可以認(rèn)為，圖像Iut中的給定像素塊PB」,k與圖像I2,t中的像素塊PBj+a,k+b相對(duì)應(yīng)或相應(yīng)。換句話說，圖像I1, t中的像素塊PB+ k與圖像I2, t中的像素塊PBpa, k+b是對(duì)應(yīng)或相應(yīng)像素塊，表示影像在時(shí)間t的相同部分，并使所述影像部分呈現(xiàn)出一個(gè)視覺深度。在步驟310中，第一預(yù)測(cè)產(chǎn)生器222從參考圖像集合(a set of referenceimages)中選出參考像素塊集合，以提供參考視差向量集合。請(qǐng)注意,在本實(shí)施例中,所述集合可以包括零個(gè)、一個(gè)或多個(gè)成員。例如，所述參考圖像集合可以僅包括一個(gè)參考圖像或包括多個(gè)參考圖像。相似地，所述參考像素塊集合可以僅包括一個(gè)像素塊或包括多個(gè)像素塊，所述參考視差向量集合可以僅包括一個(gè)參考視差向量或包括多個(gè)參考視差向量。
所述參考圖像集合可包括圖像Iut、圖像I1, η、圖像I2,t和/或圖像I2, 圖像Iljt-!和圖像I2^分別為圖像Iu和圖像I2, t的前一個(gè)圖像。參考像素塊的位置與給定像素塊PBj,,的位置既可能相同也可能非常接近。此外，參考像素塊中的每一個(gè)都有已確定的視差向量。由于在空間上鄰近，參考像素塊的視差向量可以用來較好地預(yù)測(cè)給定像素塊PBj,k的未確定的視差向量。所述參考像素塊集合可以包括從圖像I1,t的空間參考視窗中選出的S個(gè)參考像素塊子集、從圖像I2, t的多視角參考視窗中選出的M個(gè)參考像素塊子集、從圖像Im的時(shí)間參考視窗中選出的T個(gè)參考像素塊子集、以及從圖像I2,η的多視角時(shí)間參考視窗中選出的MT個(gè)參考像素塊子集。例如，空間參考視窗可以定義為:{PBX, y: (j_jl)〈=x〈=(j+j2), (k - kl)〈=y〈=(k+k2),其中 X 和 y 為正整數(shù)，jl、j2、kl和k2為非負(fù)整數(shù)。}如果jl、j2、kl和k2全部等于0，則空間參考視窗為正方形并且包括9個(gè)像素塊，分別為圖像 Iut 的像素塊 PBj-u-” PBj,H、PBj+1,H、PBj-U'PBj,,、PBj+1,k、以及PBj+1,k+1。但是，圖像Iut的像素塊PBj,k不是S個(gè)參考像素塊子集的一員，因?yàn)楫?dāng)前像素塊PB」,k的視差向量還未確定。相似地，如果圖像Iut的像素塊PBj+1,k、以及PBJ+1,k+1的當(dāng)前的視差向量也尚未確定，那么這四個(gè)像素塊也應(yīng)排除在S個(gè)參考像素塊子集之外。在另一實(shí)施例中，空間參考視窗也可以定義為:{PBx,y: |x-j| + |y-k|〈=pl，其中X和y為正整數(shù)，pi為非負(fù)整數(shù)。}在上述定義中，其中|x_j|代表(χ-j)的絕對(duì)值，|y _k|代表(y - k)的絕對(duì)值。如果，Pl等于1，則空間參考視窗為交叉狀(cross)并且包括5個(gè)像素塊，分別為圖像Iut的像素塊PB」,η、PBj^ k、PBjjk, PBJ+ljk以及PBj,k+1。如果圖像Ilit的像素塊PB」,k、PBj+1,k、以及PBj,k+1的當(dāng)前的視差向量尚未確定，那么這些像素塊不是S個(gè)參考像素塊子集的成員。從空間參考視窗中選出的參考像素塊在空間上鄰近給定像素塊PBj,k。S個(gè)參考像素塊子集的視差向量存儲(chǔ)在第一當(dāng)前視差緩沖器262中，組成第一視差產(chǎn)生模塊220可用的上述空間信息。多視角參考視窗的定義與空間參考視窗的定義相同或相似。除了視角方面的不同之處，從多視角參考視窗中選出的參考像素塊在圖像Iut中的位置與給定像素塊PB」,k的位置相同或者非常接近。M個(gè)參考像素塊子集的視差向量存儲(chǔ)在第二當(dāng)前視差緩沖器272中，組成第一視差產(chǎn)生模塊220可用的上述多視角信息。時(shí)間參考視窗的定義與空間參考視窗的定義相同或相似。除了時(shí)間方面的不同之處，從時(shí)間參考視窗中選出的參考像素塊在圖像Iut中的位置與給定像素塊PB^t的位置相同或者非常接近。T個(gè)參考像素塊子集的視差向量存儲(chǔ)在第一先前視差緩沖器264中，組成第一視差產(chǎn)生模塊220可用的上述時(shí)間信息。多視角時(shí)間參考視窗的定義與空間參考視窗的定義相同或相似。除了時(shí)間方面和視角方面的不同之處，從多視角時(shí)間參考視窗中選出的參考像素塊在圖像Iut中的位置與給定像素塊PBj, k的位置相同或者非常接近。MT個(gè)參考像素塊子集的視差向量存儲(chǔ)在第二先前視差緩沖器274中，組成第一視差產(chǎn)生模塊220可用的上述多視角時(shí)間信息。 如果上述參考像素塊集合包括L個(gè)成員，其中L為正整數(shù)，則參考視差向量集合可包括L個(gè)或小于L個(gè)成員。這是因?yàn)椴糠諰個(gè)參考像素塊可包括相同的參考視差向量。接著，在步驟320中，第一預(yù)測(cè)產(chǎn)生器222根據(jù)參考視差向量集合為第一視差產(chǎn)生器224準(zhǔn)備視差向量預(yù)測(cè)集合(a set of disparity vector predictors)。所述視差向量預(yù)測(cè)集合可以僅根據(jù)參考視差向量集合來準(zhǔn)備，而不參考任何多視角視頻的運(yùn)動(dòng)向量。例如，如果參考視差向量集合包括向量(a，b)，其中a和b為整數(shù)，第一預(yù)測(cè)產(chǎn)生器222可以根據(jù)向量(c，d)產(chǎn)生視差向量預(yù)測(cè)子集，其中，如果參考向量(a，b)是由圖像Iut或圖像I1,η中的參考像素塊提供的，則(c，d)= (a，b);如果參考向量(a，b)是由圖像I2,t或圖像I2,η中的參考像素塊提供的，則(c，d)= (_a，_b)。如果視差向量預(yù)測(cè)(c，d)是根據(jù)圖像I1,t、圖像I2,…圖像I1, t l或圖像I1, t l中的參考像素塊提供的參考視差向量(a，b)產(chǎn)生的，則視差向量預(yù)測(cè)(c, d)可被稱為空間預(yù)測(cè)(spatial predictor)、多視角預(yù)測(cè)(mult1-viewpredictor)、時(shí)間預(yù)測(cè)(te mporal predictor)或多視角時(shí)間預(yù)測(cè)(mult1-view temporalpredictor).此外，在根據(jù)向量(a，b)產(chǎn)生的視差向量預(yù)測(cè)子集中，不等于(c，d)的視差向量預(yù)測(cè)子集可稱為修正預(yù)測(cè)(R predictor)，因?yàn)樗鼈兪窍蛄?c，d)改進(jìn)后得到的。例如，在一實(shí)施例中，根據(jù)向量(c，d)，第一預(yù)測(cè)產(chǎn)生器222可以產(chǎn)生如下的視差向量預(yù)測(cè)子集:{&，7):|1-(:| + |7-(1|〈=91,其中1和7是整數(shù)，91是非負(fù)整數(shù)。}如果ql等于1，則這個(gè)視差向量預(yù)測(cè)子集包括(c, d_l)、(c_l, d)、(c, d)、(c+1,d)、以及(c，d+l)，其中除了(c，d)之外的4個(gè)均為修正預(yù)測(cè)。視差向量預(yù)測(cè)子集和給定像素塊的位置(j，k)可定義出圖像I2,t的搜尋視窗；這個(gè)搜尋視窗為交叉狀并包括5個(gè)像素
塊，分別為圖像I2, t中的像素塊 PBj+c，k+d-1、PBj+c—i，k+d、PBj+c，k+d、PBj+c+1, k+d 以及 PBj+c，k+d+l 在另一實(shí)施例中,根據(jù)向量(c, d),第一預(yù)測(cè)產(chǎn)生器222可以產(chǎn)生如下的視差向量預(yù)測(cè)子集:{(X，y): (c-q2) <=x<= (c+q3)，(d_q4) <=y<= (d+q5)，其中 x 和 y 是正整數(shù)，q2、q3、q4和q5是非負(fù)整數(shù)。}如果q2、q3、q4和q5等于I,則這個(gè)視差向量預(yù)測(cè)子集包括(c_l, d_l)、(c, d -1)、(c+1，d _ I)、(c _ I，d)、(c，d)、(c+1，d)、(c _ I，d+1)、(c, d+1)和(c+1，d+1)，其中除了 (c,d)之外的8個(gè)均為修正預(yù)測(cè)。這個(gè)視差向量預(yù)測(cè)子集和給定像素塊的位置(j，k)將會(huì)限定出圖像I2,t的搜尋視窗；這個(gè)搜尋視窗為正方形并包括9個(gè)像素塊，分別為圖像I2,t中的
f象— I，k+d - 1、PBj+c，k+d - 1、PBj+c+i，k+d - 1、_ i，k+d、PBj+c，k+d、^^j+c+1，k+d、PBj+c -1，k+d+l、PBj+c，k+d+l 以及 PBj+c+1，k+d+l 如果參考視差向量集合包括P個(gè)不同的成員，視差向量預(yù)測(cè)集合可包括Q個(gè)不同的成員，其中P和Q為正整數(shù)，且Q不等于P。視差向量預(yù)測(cè)集合的Q個(gè)成員和圖像I1, t中給定像素塊的位置(j，k)，可以定義出圖像I2,t中的候選像素塊集合，以便第一視差產(chǎn)生器224搜尋給定像素塊的對(duì)應(yīng)像素塊。圖像I2, t中的Q個(gè)候選像素塊可屬于圖像I2, t中的P個(gè)不同的搜尋視窗。P個(gè)不同的搜尋視窗可具有不同的尺寸以及不同的形狀，其中的任意兩個(gè)均可以相互重疊。視差向量預(yù)測(cè)集合中包括的視差向量預(yù)測(cè)，可以是參考視差向量集合中多個(gè)或者全部成員的平均值、加權(quán)平均值、中間值、或者模數(shù)(mode)。在步驟330中，第一視差產(chǎn)生器224搜尋圖像I2,t中的候選像素塊集合，以搜尋出圖像Ilit中給定像素塊PB」,k的對(duì)應(yīng)像素塊。例如，在步驟330中，第一視差產(chǎn)生器可僅搜尋圖像I2,t中的候選像素塊集合，而不需搜尋圖像I2,t中的其他像素塊。如果對(duì)應(yīng)像素塊的地址為(xl, yl)，其中xl和yl為正整數(shù)，那么給定像素塊PB」,k的視差向量為(xl-j, yl - k)。在步驟330中，第一視差產(chǎn)生器224可針對(duì)候選像素塊集合中的每一個(gè)至少分配一個(gè)對(duì)應(yīng)成本(matching cost)，并且比較這些對(duì)應(yīng)成本，以從候選像素塊中選出對(duì)應(yīng)像素塊。例如，第一視差產(chǎn)生器224可以從圖像I2, t中選出與給定像素塊對(duì)應(yīng)的并具有最小對(duì)應(yīng)成本的候選像素塊。為使步驟330更容易理解，第一視差產(chǎn)生器224可針對(duì)每一個(gè)候選像素塊，分配對(duì)應(yīng)成本，上述對(duì)應(yīng)成本等于相似成本(similarity cost)與候選類型成本(candidate typecost)的總和。所述相似成本是指示圖像I2, t中候選像素塊與圖像Iu中給定像素塊兩者之間的相似度的值，這兩個(gè)像素塊越相似，相似成本越小。舉例來說，第一視差產(chǎn)生器224可以運(yùn)用絕對(duì)差值的總和(sum of absolute difference, SAD)、平方差的總和(sum ofsquare difference, SSD)或統(tǒng)計(jì)轉(zhuǎn)換(census transformation)來計(jì)算相似成本。候選類型成本可以是指示候選像素塊是相對(duì)更可靠類型或相對(duì)更不可靠類型的值，其中候選像素塊的類型越可靠，候選類型成本越小。例如，根據(jù)空間預(yù)測(cè)、多視角預(yù)測(cè)、時(shí)間預(yù)測(cè)、多視角時(shí)間預(yù)測(cè)或修正預(yù)測(cè)所選出的候選像素塊，第一視差產(chǎn)生器224可以指定候選像素塊的候選類型成本為Cs、CT、CM、Cmt或Ck，其中Cs、CT、CM、Cmt或Ck可以具有不同的預(yù)設(shè)值。由于空間預(yù)測(cè)與時(shí)間預(yù)測(cè)比多視角預(yù)測(cè)與多視角時(shí)間預(yù)測(cè)更可靠，而修正預(yù)測(cè)可能最不可靠，因此Cs、CT、CM、Cmt以及Ck的大小關(guān)系應(yīng)為:CS〈CT〈CM〈CMT〈CK。由于可以重復(fù)地根據(jù)預(yù)測(cè)的多種類型來選出候選像素塊，因此，第一視差產(chǎn)生器224可以給候選像素塊分配多個(gè)候選類型成本。如此一來，候選像素塊可能有多個(gè)對(duì)應(yīng)成本。在這些對(duì)應(yīng)成本中，第一視差產(chǎn)生器224僅會(huì)根據(jù)其中最小的一個(gè)對(duì)應(yīng)成本，來選擇候選像素塊作為對(duì)應(yīng)像素塊。通過步驟310和320，第一預(yù)測(cè)產(chǎn)生器222能夠有效地為第一視差產(chǎn)生器提供一些好的候選位置以執(zhí)行視差搜尋。第一預(yù)測(cè)產(chǎn)生器222在此過程中，無需采用任何與多視角視頻內(nèi)容相關(guān)的運(yùn)動(dòng)向量。換句話說，本發(fā)明的實(shí)施例無需使用到運(yùn)動(dòng)向量，因此，也無需進(jìn)行運(yùn)動(dòng)估測(cè)。因?yàn)檫\(yùn)動(dòng)估測(cè)需要使用大量的系統(tǒng)資源并且運(yùn)算復(fù)雜，因而本發(fā)明的實(shí)施例的一個(gè)優(yōu)點(diǎn)在于不需要使用運(yùn)動(dòng)估測(cè)或運(yùn)動(dòng)向量。此外，本發(fā)明的實(shí)施例也不需要存儲(chǔ)空間來緩存運(yùn)動(dòng)向量，與視差向量相比，運(yùn)動(dòng)向量的數(shù)據(jù)量相對(duì)較大。步驟310和320的另一優(yōu)點(diǎn)在于其允許定期的數(shù)據(jù)存取。特別地，運(yùn)用步驟310和320時(shí)，第一預(yù)測(cè)產(chǎn)生器222會(huì)依序而不是無規(guī)則地存取視差存儲(chǔ)模塊250中的4個(gè)緩沖器中的每一個(gè)。此外，由于由第一預(yù)測(cè)產(chǎn)生器222提供的候選位置是非常好的預(yù)測(cè)位置，因此，在步驟330中第一視差產(chǎn)生器224可以更快更有效地搜尋到對(duì)應(yīng)像素塊。本發(fā)明的實(shí)施例具有多個(gè)有用的應(yīng)用，例如，這些實(shí)施例可以用來確定可視物體(visual object)的視覺深度、調(diào)整視覺深度、為動(dòng)作識(shí)別(gesture recognition)提供有用的信息、或者內(nèi)插或外插(interpolated or extrapolated)額外的視角。以上所述僅為本發(fā)明的較佳實(shí)施方式，凡依本發(fā)明權(quán)利要求所做的均等變化和修飾，均應(yīng)屬本發(fā)明的涵蓋范圍。
權(quán)利要求
1.一種搜尋對(duì)應(yīng)像素塊的方法，所述對(duì)應(yīng)像素塊位于多視角視頻的第二圖像中，所述對(duì)應(yīng)像素塊與所述多視角視頻的第一圖像中給定像素塊相對(duì)應(yīng)，所述第一圖像與所述第二圖像在空間上相互鄰近，其特征在于，所述方法包括: 從所述多視角視頻的參考圖像集合中選出參考像素塊集合，以提供參考視差向量集合； 根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合，其中所述給定像素塊的位置與所述視差向量預(yù)測(cè)集合定義出所述第二圖像的候選像素塊集合； 搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊。
2.如權(quán)利要求1所述的搜尋對(duì)應(yīng)像素塊的方法，其特征在于，所述參考圖像集合是從所述第一圖像、所述第二圖像、所述第一圖像的先前圖像以及所述第二圖像的先前圖像中選出來的。
3.如權(quán)利要求1所述的搜尋對(duì)應(yīng)像素塊的方法，其特征在于，所述從所述多視角視頻的參考圖像集合中選出參考像素塊集合的步驟包括: 從所述參考圖像集合中的一個(gè)參考圖像的參考視窗中選出像素塊，以作為所述參考像素塊集合的子集，其中所述參考視窗包括所述給定像素塊的位置。
4.如權(quán)利要求1所述的搜尋對(duì)應(yīng)像素塊的方法，其特征在于，所述根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合的步驟包括: 根據(jù)所述參考視差向量集合中的一個(gè)，將視差向量預(yù)測(cè)子集列入所述視差向量預(yù)測(cè)集合，使得所述視差向量預(yù)測(cè)子集以及所述給定像素塊的位置定義出所述第二圖像的搜尋視窗。
5.如權(quán)利要求1所述 的搜尋對(duì)應(yīng)像素塊的方法，其特征在于，所述搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊的步驟包括: 對(duì)所述候選像素塊集合中的每一個(gè)候選像素塊分配至少一對(duì)應(yīng)成本；以及 通過比較所述候選像素塊的對(duì)應(yīng)成本以從所述候選像素塊中選出所述對(duì)應(yīng)像素塊。
6.一種搜尋對(duì)應(yīng)像素塊的裝置，所述對(duì)應(yīng)像素塊位于多視角視頻的第二圖像中，所述對(duì)應(yīng)像素塊與所述多視角視頻的第一圖像中給定像素塊相對(duì)應(yīng)，所述第一圖像與所述第二圖像在空間上相互鄰近，其特征在于，所述裝置包括: 視差存儲(chǔ)模塊，用于存儲(chǔ)所述多視角視頻的參考圖像集合的已確定視差向量；以及 視差產(chǎn)生模塊，包括: 預(yù)測(cè)產(chǎn)生器，耦接于所述視差存儲(chǔ)模塊，用于從所述參考圖像集合中選出參考像素塊集合，以提供參考視差向量集合，并且根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合，其中所述給定像素塊的位置與所述視差向量預(yù)測(cè)集合定義出所述第二圖像的候選像素塊集合；以及 視差產(chǎn)生器，耦接于所述預(yù)測(cè)產(chǎn)生器和所述視差存儲(chǔ)模塊，用于搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊。
7.如權(quán)利要求6所述的搜尋對(duì)應(yīng)像素塊的裝置，其特征在于，所述參考圖像集合是從所述第一圖像、所述第二圖像、所述第一圖像的先前圖像以及所述第二圖像的先前圖像中選出來的。
8.如權(quán)利要求6所述的搜尋對(duì)應(yīng)像素塊的裝置，其特征在于，所述預(yù)測(cè)產(chǎn)生器用于從所述參考圖像集合中的一個(gè)參考圖像的參考視窗中選出像素塊，以作為所述參考像素塊集合的子集，其中所述參考視窗包括所述給定像素塊的位置。
9.如權(quán)利要求6所述的搜尋對(duì)應(yīng)像素塊的裝置，其特征在于，所述預(yù)測(cè)產(chǎn)生器用于根據(jù)所述參考視差向量集合中的一個(gè)，將視差向量預(yù)測(cè)子集列入所述視差向量預(yù)測(cè)集合，使得所述視差向量預(yù)測(cè)子集以及所述給定像素塊的位置定義出所述第二圖像的搜尋視窗。
10.如權(quán)利要求6所述的搜尋對(duì)應(yīng)像素塊的裝置，其特征在于，所述視差產(chǎn)生器用于對(duì)所述候選像素塊集合中的每一個(gè)候選像素塊分配至少一對(duì)應(yīng)成本，以及通過比較所述候選像素塊的對(duì)應(yīng)成本以從所述候選像素塊中選出所述對(duì)應(yīng)像素塊。
11.一種搜尋對(duì)應(yīng)像素塊的方法，所述對(duì)應(yīng)像素塊位于多視角視頻的第二圖像中，所述對(duì)應(yīng)像素塊與所述多視角視頻的第一圖像中給定像素塊相對(duì)應(yīng)，所述第一圖像與所述第二圖像在空間上相互鄰近，其特征在于，所述方法包括: 從所述多視角視頻的參考圖像集合中選出參考像素塊集合，以提供參考視差向量集合，其中，所述參考圖像集合是從所述第一圖像、所述第二圖像、所述第一圖像的先前圖像以及所述第二圖像的先前圖像中選出來的； 僅根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合，其中所述給定像素塊的位置與所述視差向量預(yù)測(cè)集合定義出所述第二圖像的候選像素塊集合； 僅搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊。
12.如權(quán)利要求11所述的搜尋對(duì)應(yīng)像素塊的方法，其特征在于，所述從所述多視角視頻的參考圖像集合中選出參考像素塊集合的步驟包括: 從所述參考圖像集合中的一個(gè)參考圖像的參考視窗中選出像素塊，以作為所述參考像素塊集合的子集，其中所述參考視窗包括所述給定像素塊的位置。`
13.如權(quán)利要求11所述的搜尋對(duì)應(yīng)像素塊的方法，其特征在于，所述根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合的步驟包括: 根據(jù)所述參考視差向量集合中的一個(gè)，將視差向量預(yù)測(cè)子集列入所述視差向量預(yù)測(cè)集合，使得所述視差向量預(yù)測(cè)子集以及所述給定像素塊的位置定義出所述第二圖像的搜尋視窗。
14.如權(quán)利要求11所述的搜尋對(duì)應(yīng)像素塊的方法，其特征在于，所述搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊的步驟包括: 對(duì)所述候選像素塊集合中的每一個(gè)候選像素塊分配至少一對(duì)應(yīng)成本；以及 通過比較所述候選像素塊的對(duì)應(yīng)成本以從所述候選像素塊中選出所述對(duì)應(yīng)像素塊。
全文摘要
本發(fā)明公開一種搜尋對(duì)應(yīng)像素塊的方法及裝置。一種搜尋對(duì)應(yīng)像素塊的方法，所述對(duì)應(yīng)像素塊位于多視角視頻的第二圖像中，所述對(duì)應(yīng)像素塊與所述多視角視頻的第一圖像中給定像素塊相對(duì)應(yīng)，所述第一圖像與所述第二圖像在空間上相互鄰近，所述方法包括從所述多視角視頻的參考圖像集合中選出參考像素塊集合，以提供參考視差向量集合；根據(jù)所述參考視差向量集合準(zhǔn)備視差向量預(yù)測(cè)集合，其中所述給定像素塊的位置與所述視差向量預(yù)測(cè)集合定義出所述第二圖像的候選像素塊集合；搜尋所述第二圖像的所述候選像素塊集合以選出所述對(duì)應(yīng)像素塊。本發(fā)明所公開的搜尋對(duì)應(yīng)像素塊的方法及裝置，無需使用到運(yùn)動(dòng)向量，可以降低運(yùn)算的復(fù)雜度以及減少需要的系統(tǒng)資源。
文檔編號(hào)H04N13/00GK103179390SQ20121055928
公開日2013年6月26日 申請(qǐng)日期2012年12月20日 優(yōu)先權(quán)日2011年12月23日
發(fā)明者鄭朝鐘, 張德浩, 梁金權(quán) 申請(qǐng)人:聯(lián)發(fā)科技股份有限公司