專利名稱：運(yùn)動估計方法、基于運(yùn)動估計的多視編解碼方法及裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及視頻圖像編解碼技術(shù)，特別涉及運(yùn)動估計方法、基于運(yùn)動估 計的多視編解碼方法及裝置。
背景技術(shù)：
目前的視頻編碼標(biāo)準(zhǔn)如國際電信聯(lián)盟(ITU , International Telecommunication Union)制定的H.261、 H.263、 H.263+、 H.264標(biāo)準(zhǔn),以 及運(yùn)動圖像專家組(MPEG, Moving Picture Experts Group )制定的MPEG-1 、 MPEG-2、 MPEG-3、 MPEG-4等，都是建立在混合編碼(Hybrid Coding)框 架之上的。所謂混合編碼框架是一種混合時間空間的視頻圖像編碼方法，編 碼時，先進(jìn)行幀內(nèi)、幀間的預(yù)測，得到原始圖像預(yù)測圖像，以消除時間域的 相關(guān)性；然后根據(jù)原始圖像預(yù)測圖像與原始圖像實際圖像的差值，得到殘差 圖像，對殘差圖像采用離散余弦變換法或其它的變換法進(jìn)行二維變換，以消 除空間域的相關(guān)性；最后對變換后的數(shù)據(jù)進(jìn)行熵編碼，以消除統(tǒng)計上的冗余 度，再將熵編碼后的數(shù)據(jù)與解碼所需的包括運(yùn)動矢量在內(nèi)的一些變量信息， 組成一個編碼碼流，供后續(xù)傳輸和存儲用，從而達(dá)到壓縮視頻圖像的目的。 相應(yīng)地，在解碼時，對接收到的編碼碼流按照熵解碼、反變換以及預(yù)測補(bǔ)償 等一系列解碼過程重建出圖像。這里， 一幀即為視頻序列中的一個圖像。由于在單個攝像機(jī)拍攝到的視頻序列中，相鄰圖像之間存在著很強(qiáng)的相 關(guān)性；而在多視視頻編碼領(lǐng)域，采用多個攝像機(jī)對同一個場景進(jìn)行拍攝時， 所拍攝到的多個視頻序列的圖像之間也存在較大的相關(guān)性，因此，采用預(yù)測 技術(shù)能夠充分利用幀內(nèi)以及楨間的空間、時間相關(guān)性，在消除相關(guān)性的基礎(chǔ) 上減小碼率，提高壓縮碼流與原始圖像的數(shù)據(jù)量壓縮比。現(xiàn)有技術(shù)中主要存在兩種預(yù)測方法，下面分別予以介紹。第一種預(yù)測方法是利用同一個碎見頻序列中相鄰圖像之間的時間相關(guān)性， 對當(dāng)前圖像進(jìn)行運(yùn)動估計。具體而言，已知參考幀在t時刻的運(yùn)動矢量，利用二維(2D)直接模式預(yù)測當(dāng)前幀在t-i時刻的運(yùn)動矢量，其中，i表示參 考幀與當(dāng)前幀的時間差值。為后續(xù)描述方便，將該方法稱為單視編碼運(yùn)動估 計算法。在多視編碼中，同一時刻相鄰視之間存在很強(qiáng)的相關(guān)性，上述單視編碼 運(yùn)動估計算法沒有很好地利用這種空間相關(guān)性，使得編碼效率較低。第二種預(yù)測方法是在第 一種預(yù)測方法的基礎(chǔ)上利用多視幾何中各視間 的相關(guān)性，即利用參考視圖像與當(dāng)前視圖像之間的視差圖像，由參考視圖像 預(yù)測當(dāng)前^見圖像。在單視或多視編碼中，為了進(jìn)行預(yù)測，通常將編碼圖像分 為三類，分別稱為I幀，P幀和B幀。其中，I幀采用幀內(nèi)編碼方式，P幀采 用前向幀間預(yù)測方式，B幀采用雙向幀間預(yù)測方式。下面以8個揭/f象機(jī)、且 每個攝像才幾取連續(xù)9幀圖像為一組的情況為例，說明現(xiàn)有視頻聯(lián)合工作組 (JVT)多視時空編碼框架中多視編碼方法的實施過程。圖1為現(xiàn)有JVT中提出的多視時空編碼框架示意圖。參見圖1, S0 S7 分別代表8個攝像機(jī)所拍攝到的視頻序列；T代表時刻，各視在T0 T8時刻 所對應(yīng)的圖像即為各視頻序列中的連續(xù)9幀，也稱為一個視頻段；圖中箭頭 表示箭頭目的幀是由箭頭源幀預(yù)測得到的。圖l所示框架中，S0、 S2、 S4、 S6和S7視的編碼先于其相鄰視，該編碼方法包括以下步驟(1 )對TO時刻和T8時刻SO視的I幀進(jìn)行幀內(nèi)編碼，分別得到該兩個 時刻的I幀；再以T0時刻SO視的I幀預(yù)測TO時刻S2視的P幀、T8時刻 SO視的I幀預(yù)測T8時刻S2視的P幀；以TO時刻S2視的P幀預(yù)測TO時刻 S4視的P幀、T8時刻S2視的P幀預(yù)測T8時刻S4視的P幀，同理得到S6 視和S7視在TO時刻和T8時刻的P幀；(2 )以TO時刻SO視的I幀和TO時刻S2視的P幀預(yù)測TO時刻SI視 的B幀、T8時刻SO視的I頓和T8時刻S2視的P幀預(yù)測T8時刻SI視的B幀；同理，得到S3和S5視TO時刻和T8時刻的B幀；(3)對于S0、 S2、 S4、 S6和S7碎見，采用如前所述的單視編碼運(yùn)動估 計算法，分別以各視TO時刻和T8時刻的P幀預(yù)測T4時刻的B幀，并以 TO時刻的幀和T4時刻的B幀預(yù)測T2時刻的B幀、以T4時刻的B幀和T8 時刻的幀預(yù)測T6時刻的B幀，再以TO時刻的幀和T2時刻的B幀預(yù)測Tl 時刻的B幀、以T2時刻的B幀和T4時刻的B幀預(yù)測T3時刻的B幀、以 T4時刻的B幀和T6時刻的B幀預(yù)測T5時刻的B幀、以T6時刻的B幀和 T8時刻的幀預(yù)測T7時刻的B幀 (4 )對于Sl、 S3和S5視，分別以各視TO時刻和T8時刻的B幀預(yù)測 T4時刻的B幀，并以TO時刻的B幀和T4時刻的B幀預(yù)測T2時刻的B幀、 以T4時刻的B幀和T8時刻的幀預(yù)測T6時刻的B幀，最后，對于各視中奇 數(shù)時刻所對應(yīng)的幀，即b幀，采用本視中與該奇數(shù)時刻相鄰的偶數(shù)時刻所對 應(yīng)的幀、以及相鄰視中該奇數(shù)時刻所對應(yīng)的幀進(jìn)行預(yù)測。從而完成這8個攝像機(jī)在T0 T8這段時間內(nèi)視頻段的編碼。為后續(xù)描 述方便，將該方法稱為傳統(tǒng)多視編碼運(yùn)動估計算法。在該算法中，需要對各 視進(jìn)行運(yùn)動估計得到運(yùn)動矢量，然后以所得到的運(yùn)動矢量采用基于運(yùn)動補(bǔ)償 的幀間預(yù)測對當(dāng)前視進(jìn)行預(yù)測。該算法存在如下缺點 一方面，在計算運(yùn)動 矢量時，雖然從整體上來看兼顧了多視視頻的時間相關(guān)性和空間相關(guān)性，但 是，對于每一個待編碼幀，要么只利用了時間相關(guān)性，要么只利用了空間相 關(guān)性，即對于任意 一個待編碼幀都沒有同時利用多視視頻中各視之間的時 間、空間相關(guān)性，導(dǎo)致編碼效率較低；另一方面，該算法需要將所有幀的運(yùn) 動矢量置于編碼碼流中傳輸?shù)浇獯a端才能進(jìn)行解碼，這樣，也導(dǎo)致編解碼效 率較低。由上述技術(shù)方案可見，現(xiàn)有多視編碼中，尚不存在能較好利用多視視頻 中時間空間相關(guān)性的運(yùn)動估計方法，使得采用該運(yùn)動估計方法得到的運(yùn)動矢 量的碼流傳輸量較小，并得到較高的編碼效率，相應(yīng)地，現(xiàn)有多視解碼算法 需要根據(jù)所有幀的運(yùn)動矢量，才能進(jìn)行正確的解碼。發(fā)明內(nèi)容有鑒于此，本發(fā)明實施例所公開的多視運(yùn)動估計方法，提供了一種在保 證運(yùn)動估計準(zhǔn)確率的前提下，減少運(yùn)動矢量傳輸量的運(yùn)動估計方法。本發(fā)明實施例所公開的基于運(yùn)動估計的多視編碼方法，提供了一種減少 碼流傳輸量的多視編碼方法，在保證運(yùn)動估計準(zhǔn)確率的前提下提高了多視編 碼的編碼效率。本發(fā)明實施例所公開的基于運(yùn)動估計的多視編碼裝置，提供了一種減少 碼流傳輸量的多視編碼裝置，在保證運(yùn)動估計準(zhǔn)確率的前提下提高了多視編 碼的編碼效率。本發(fā)明實施例所公開的基于運(yùn)動估計的多視解碼方法，提供了 一種根據(jù) 部分幀的運(yùn)動矢量進(jìn)行多枧解碼的方法，并保證了多視解碼的準(zhǔn)確率。本發(fā)明實施例所公開的基于運(yùn)動估計的多視解碼裝置，提供了一種根椐 部分幀的運(yùn)動矢量進(jìn)行多視解碼的裝置，并保證了多視解碼的準(zhǔn)確率。本發(fā)明實施例所公開的另一種多視運(yùn)動估計方法，提供了一種能夠提高 運(yùn)動估計準(zhǔn)確率的多視運(yùn)動估計方法。為達(dá)到上述目的，本發(fā)明實施例的技術(shù)方案具體是這樣實現(xiàn)的 一種多視運(yùn)動估計方法，該方法包括以下步驟 將視頻序列中的幀分為直接估算幀和間接估算幀； 計算直接估算幀的運(yùn)動矢量；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算幀的運(yùn) 動矢量計算間接估算幀的運(yùn)動矢量。一種基于運(yùn)動估計的多視編碼方法，該方法包括以下步驟 將視頻序列中的幀分為直接估算幀和間接估算幀； 計算直接估算幀的運(yùn)動矢量；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的枧差圖像和直接估算幀的運(yùn) 動矢量計算間接估算幀的運(yùn)動矢量；根據(jù)所得到的運(yùn)動矢量，對各視的視頻段做基于運(yùn)動補(bǔ)償?shù)膸g預(yù)測， 得到各幀的預(yù)測圖像，再由所述各幀的預(yù)測圖像與各幀的實際圖像得到各幀的殘差圖像；將所述各幀的殘差圖像、直接估算幀的運(yùn)動矢量、相鄰視攝像機(jī)的相對 位置信息和相鄰視間的視差圖像寫入編碼碼流。一種基于運(yùn)動估計的多視解碼方法，該方法包括以下步驟 將視頻序列中的幀分為直接估算幀和間接估算幀；解析接收到的編碼碼流，得到各幀的殘差圖像、直接估算幀的運(yùn)動矢量、 相鄰視攝像機(jī)的相對位置信息和相鄰視間的視差圖像；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算楨的運(yùn) 動矢量計算間接估算楨的運(yùn)動矢量；根據(jù)所得到的直接估算幀的運(yùn)動矢量和間接估算幀的運(yùn)動矢量以及各 幀的殘差圖像，得到各幀的預(yù)測圖像；由各幀的殘差圖像及其相對應(yīng)的預(yù)測圖像重建各幀的實際圖像。一種多視運(yùn)動估計方法，該方法包括以下步驟將視頻序列中的幀分為直接估算幀和間接估算幀；計算各幀的運(yùn)動矢量初算值；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量參考值；根據(jù)計算所得到的每個間接估算幀的運(yùn)動矢量初算值和運(yùn)動矢量參考值計算間接估算幀的運(yùn)動矢量。一種基于運(yùn)動估計的多視編碼裝置，該裝置包括編碼端運(yùn)動矢量計算 模塊和幀間預(yù)測模塊，所述編碼端運(yùn)動矢量計算模塊，用于計算直接估算幀 的運(yùn)動矢量，并根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接 估算幀的運(yùn)動矢量計算間接估算楨的運(yùn)動矢量，并將所述間接估算幀的運(yùn)動矢量和直接估算幀的運(yùn)動矢量發(fā)送給所述幀間預(yù)測模塊；所述幀間預(yù)測模塊，用于根據(jù)來自于所述編碼端運(yùn)動矢量計算模塊的間接估算幀的運(yùn)動矢量和直接估算幀的運(yùn)動矢量對各幀做基于運(yùn)動補(bǔ)償?shù)膸?間預(yù)測，得到各幀的殘差圖像。一種基于運(yùn)動估計的多視解碼裝置，該裝置包括解析模塊、解碼端運(yùn) 動矢量計算模塊和預(yù)測重建模塊，所述解析模塊，用于解析接收到的編碼碼 流，并將解析得到的直接估算幀的運(yùn)動矢量、相鄰視間的視差圖像和相鄰視 攝像機(jī)的相對位置信息發(fā)送給所述解碼端運(yùn)動矢量計算模塊，將直接估算幀 的運(yùn)動矢量和各幀的殘差圖像發(fā)送給所述預(yù)測重建模塊；所述解碼端運(yùn)動矢量計算模塊，用于根據(jù)相鄰視攝像機(jī)的相對位置、相 鄰視間的視差圖像和直接估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量，并 將所述間接估算幀的運(yùn)動矢量發(fā)送給所述預(yù)測重建模塊；所述預(yù)測重建模塊，用于根據(jù)所述間接估算幀的運(yùn)動矢量、直接估算幀 的運(yùn)動矢量和各楨的殘差圖像重建各幀的實際圖像。由上述技術(shù)方案可見，本發(fā)明實施例的技術(shù)方案根據(jù)多視編碼中相鄰視 之間圖像的相似性，充分考慮多視時空框架下的攝像機(jī)位置和視間的視差圖 像，由參考直接估算幀的運(yùn)動矢量預(yù)測當(dāng)前間接估算幀的運(yùn)動矢量，如此， 可以在保證運(yùn)動估計的準(zhǔn)確性的前提下提高多視編碼效率，并使得解碼端可 以根據(jù)部分幀的運(yùn)動矢量進(jìn)行較為準(zhǔn)確的多視解碼。本發(fā)明實施例所提供的方案符合多視時空框架下的編解碼順序，并且通 過對間接估算幀運(yùn)動矢量的估計，可以減少多#見時空編碼框架中楨間視間的 冗余度。對冗余度的減少體現(xiàn)在在編碼時利用現(xiàn)有多視碼流中諸如相鄰視 攝像機(jī)的相對位置、相鄰視間的視差圖像和某些已知幀(即本發(fā)明所述直接 估算幀)的運(yùn)動矢量來計算某些未知特定幀(即本發(fā)明所述間接估算幀)的 運(yùn)動矢量，從而無需將間接估算幀的運(yùn)動矢量寫入碼流，減少了冗余度和碼 流傳輸量；而在解碼時根據(jù)相鄰的直接估算幀的運(yùn)動矢量可以計算出編碼時 所采用的運(yùn)動矢量，如此，有效地減少了多視編碼中編碼碼流的比特數(shù)，從 而使得編碼效率得以提高，解碼準(zhǔn)確率得到保證，存儲和網(wǎng)絡(luò)資源得以充分 利用。


圖1為現(xiàn)有JVT中提出的多視時空編碼框架示意圖。圖2本發(fā)明實施例一中多視運(yùn)動估計方法的流程示意圖。圖3為本發(fā)明實施例一中直接估算幀與間接估算幀的運(yùn)動矢量關(guān)系示意圖。圖4為本發(fā)明實施例二中基于運(yùn)動估計的多^L編碼方法的流程示意圖。 圖5為本發(fā)明實施例二中基于運(yùn)動估計的多視編碼裝置的組成結(jié)構(gòu)示意圖。圖6為本發(fā)明實施例三中基于運(yùn)動估計的多視解碼方法的流程示意圖， 圖7為本發(fā)明實施例三中基于運(yùn)動估計的多視解碼裝置的組成結(jié)構(gòu)示 意圖。圖8為本發(fā)明實施例四中多視運(yùn)動估計方法的流程示意圖。
具體實施方式
為使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下參照附困并舉 實施例，對本發(fā)明作進(jìn)一步詳細(xì)說明。在多視視頻編碼領(lǐng)域，采用多個攝像機(jī)對同一個場景進(jìn)行拍攝時，所拍 攝到的多個視頻序列的圖像之間存在較大的相關(guān)性，尤其是在較短時間內(nèi)、 多個攝像機(jī)位置相隔較近時，多個攝像機(jī)所拍攝到的圖像之間的相關(guān)性就更 強(qiáng)，有效利用這種相關(guān)性進(jìn)行預(yù)測編碼，可以降低對多個視頻序列同時編碼 所需要的碼率，從而提高編碼效率。本發(fā)明實施例所提供的多枧編碼中的運(yùn)動估計方案和基于運(yùn)動估計的 多視解碼方案均基于圖1所示JVT多視時空編碼框架，并且，對于該多視 時空編碼框架中的不同幀，本發(fā)明實施例采取了不同的運(yùn)動矢量估計方法。具體而言，由于圖1所示S0、 S2、 S4、 S6和S7視的編解碼先于其相 鄰視，對于這些視中的所有幀，本發(fā)明實施例中均采取背景技術(shù)中的第二種 預(yù)測方法，即傳統(tǒng)多視編碼運(yùn)動估計算法對其進(jìn)行運(yùn)動估計，得到其對應(yīng)的運(yùn)動矢量；對于S1、 S3和S5視中TO時刻和T8時刻的幀，也采用傳統(tǒng)多 視編碼運(yùn)動估計算法計算其運(yùn)動矢量；對于Sl、 S3和S5視中T1 T7時刻 的幀，由于其編解碼均后于其相鄰視，本發(fā)明利用相鄰視的運(yùn)動矢量、其與 相鄰視的視差矢量以及其與相鄰視的位置關(guān)系計算其對應(yīng)的運(yùn)動矢量。在下 面的描述中，將采用傳統(tǒng)多視編碼運(yùn)動估計算法進(jìn)行運(yùn)動估計的幀稱為直接 估算幀，如SO、 S2、 S4、 S6和S7視中的幀，以及S1、 S3和S5視中T0時 刻和T8時刻的幀；將利用相鄰視的運(yùn)動矢量及其與相鄰視的位置關(guān)系進(jìn)行 運(yùn)動估計的幀稱為間接估算幀，如S1、 S3和S5^L中T1 T7時刻的幀。由圖1可知，每個間接估算幀在該幀所在時刻均存在兩個相鄰的直接估 算幀，在本發(fā)明的后續(xù)描述中，將當(dāng)前待編碼或待解碼的間接估算幀稱為當(dāng) 前間接估算幀，將該間接估算幀的兩個相鄰直接估算幀稱為參考直接估算 幀。下面通過四個實施例對本發(fā)明技術(shù)方案進(jìn)行詳細(xì)說明。在下面的實施例中，假設(shè)圖1所示T4時刻Sl視為當(dāng)前待編碼或解碼的 視，將S1視稱為當(dāng)前編碼視或解碼視，則T4時刻Sl視所對應(yīng)的幀為當(dāng)前 間接估算幀；T4時刻SO視和S2視為當(dāng)前編碼視或解碼視的參考視，T4時 刻SO視和S2視所對應(yīng)的幀為參考直接估算幀。由于在視頻圖像處理領(lǐng)域，幀相對于像素點或塊來說是一個宏觀的概 念，因此，本發(fā)明在進(jìn)行具體的運(yùn)動估計時，可以使用視差圖像或深度圖像 進(jìn)行更為微觀的、對應(yīng)像素點或塊的匹配，即利用與當(dāng)前間接估算幀相鄰的 直接估算幀中某個像素點或某個塊的運(yùn)動矢量來估算當(dāng)前間接估算幀中對 應(yīng)像素點或?qū)?yīng)塊的運(yùn)動矢量。在本發(fā)明的后續(xù)描述中，對T4時刻Sl視的圖像的編解碼以塊為單位進(jìn) 行，塊的大小為MxN，其中M的取值可以為16, 8， 4等，N的取值可以為 16， 8， 4等，將T4時刻Sl視閨像中塊的個數(shù)記為R,編解碼順序從左至 右，由上至下。并且，假設(shè)T4時刻，SO視的第r (r=l，2,..R)塊的運(yùn)動矢量 為MO, S2視的第r (r=l,2，..R)塊的運(yùn)動矢量為M2; T4時刻，SO與Sl視的第r (r=l，2，..R)塊的視差圖像為D0， S2與Sl視的第r (r=l，2，..R)塊的 視差圖像為D2。 實施例一本實施例結(jié)合

本發(fā)明運(yùn)動估計方法的具體實施方式
。圖2為本發(fā)明實施例一多視運(yùn)動估計方法的流程示意圖。參見圖2，該方法包括以下步驟步驟201:將^L頻序列中的幀分為直接估算幀和間接估算幀 本步驟中，可以按照上述關(guān)于直接估算幀和間接估算幀的定義將視頻序列中的幀分為直接估算幀和間接估算幀。 步驟202:計算直接估算幀的運(yùn)動矢量。本步驟中，可以按照背景技術(shù)中所介紹的傳統(tǒng)多視編碼運(yùn)動估計算法或者 現(xiàn)有技術(shù)中的其他運(yùn)動估計算法對直接估算幀進(jìn)行運(yùn)動估計，得到其對應(yīng)的運(yùn) 動矢量。步驟203:根據(jù)相鄰禍JH象機(jī)的相對位置、相鄰視間的視差圖像和直接估 算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量。本發(fā)明實施例中，視頻序列由各視攝像機(jī)拍攝得到，且各視攝像機(jī)的光學(xué) 成像中心為同 一平面。假設(shè)當(dāng)前間接估算幀的攝像機(jī)中心在世界坐標(biāo)系中的坐 標(biāo)為原點，兩個參考直接估算幀的攝像機(jī)中心的坐標(biāo)分別為(-xl，-yl)和(x2，y2), 攝像機(jī)中心坐標(biāo)為(-xl，-yl)的參考直接估算幀的運(yùn)動矢量為OT，F(xiàn)),攝像機(jī)中心 坐標(biāo)為(x2,y2)的參考直接估算幀的運(yùn)動矢量為(iT',f'),以S"表示當(dāng)前間接估算 幀運(yùn)動矢量的X軸分量，以f表示當(dāng)前間接估算幀運(yùn)動矢量的Y軸分量，則可 以按照如下關(guān)系計算當(dāng)前間接估算幀的運(yùn)動矢量<formula>formula see original document page 16</formula>至此，結(jié)束本實施例的多視運(yùn)動估計方法，得到直接估算幀和間接估算幀 的運(yùn)動矢量。由于在多視編碼中，時間軸上的幀間圖像相關(guān)性大于空間軸上的視間圖 像相關(guān)性，而空間軸上視間的運(yùn)動矢量相關(guān)性大于時間軸上的幀間運(yùn)動矢量 相關(guān)性，因此，在本發(fā)明上述實施例中充分利用了各視之間的空間運(yùn)動矢量 相關(guān)性和視間圖像相關(guān)性，使用相鄰視攝像機(jī)的相對位置、相鄰視間的視差 圖像和直接估算幀的運(yùn)動矢量來計算間接估算幀的運(yùn)動矢量，從而無需將間 接估算幀的運(yùn)動矢量寫入編碼碼流，減少了冗余度和運(yùn)動矢量的傳輸量，并 且保證了運(yùn)動估計的準(zhǔn)確率。下面對上述步驟203中根據(jù)相鄰視攝像機(jī)的相對位置和直接估算幀的 運(yùn)動矢量計算間接估算楨的運(yùn)動矢量的方法進(jìn)行詳細(xì)說明。由于在攝像機(jī)位 置固定的情況下，同一時刻、不同視之間對應(yīng)像素的運(yùn)動矢量只取決于以攝 像機(jī)為視點該象素在物體可見外表面上對應(yīng)點的深度和攝像機(jī)之間的位置 關(guān)系。這里，以攝像機(jī)為視點物體可見外表面上點的深度即在世界坐標(biāo)下該 點與攝像機(jī)中心的歐式距離。因此，如圖2所示，在步驟203中用左右攝像 機(jī)作為參考，找到物體上所有點的共性 一 一只與攝像機(jī)位置有關(guān)而跟點的深 度值無關(guān)，最后計算同一時刻不同視中各圖像之間的運(yùn)動矢量。圖3為本發(fā)明實施例一中直接估算幀與間接估算幀的運(yùn)動矢量關(guān)系示 意圖。參見圖3, A、 B和C為多視中的任意三個攝像機(jī)的位置，假設(shè)A對 應(yīng)于T4時刻Sl視中的當(dāng)前間接估算幀，B和C分別對應(yīng)于T4時刻SO視 和S2視中的兩個參考直接估算幀。令攝像機(jī)A、 B、 C所對應(yīng)的成像平面與 世界坐標(biāo)系中的x-y平面重合，并且A攝像機(jī)的中心為世界坐標(biāo)系的原點， B和C的坐標(biāo)分別為(-xl,-yl)和(x2,y2)。在當(dāng)前多視視頻拍攝的情況下，各攝像機(jī)之間的間距都很小，所以可以 認(rèn)為每個枧都是用等焦距的攝像機(jī)所拍攝的。P(x，y，z)為3個攝像機(jī)所拍攝 的同 一個空間物體。x-y平面為成像面，(u,v)表示攝像機(jī)A所拍攝的物體P 中的某個像素點I, (u，,v，)表示攝像機(jī)B所拍攝的物體P中與像素點I對應(yīng)的像素點，記為r， (u",v，，)表示攝像機(jī)c所拍攝的物體p中與像素點i對應(yīng) 的像素點，記為r，， (i7W)表示B攝像機(jī)所拍攝像素點r的運(yùn)動矢量，(iT,v") 表示c攝像機(jī)所拍攝像素點r的運(yùn)動矢量。(g，"表示攝像機(jī)a所拍攝像素 點i的運(yùn)動矢量?；谏鲜龈鱾€視的攝像機(jī)都是等焦距的假設(shè)，可以認(rèn)為三個攝像機(jī)的內(nèi)參矩陣K是一樣的，即為0y0 (2) 00 1(2)式中，Sx, 3y分別為攝^L在成像平面中x， y軸的焦距；s為攝像機(jī)的成像失真度，xo， y。為光學(xué)中心與成像平面原點的位移。因此，由攝像機(jī)A的中心坐標(biāo)(0， 0， 0),可得到A的投影矩陣PO為P0 = K[I|0] (3)由攝像機(jī)B的中心坐標(biāo)(-xl, -yl, 0),可得到B的投影矩陣P1為K =1 0 0 -xl P闊0 1 0 -y2 0 0 1 0(4)同理，由攝像機(jī)C的中心坐標(biāo)(x2， y2， 0),可得到C的投影矩陣P2為:(5)P2 = X1 0 0 ;c2 0 1 0 j;2 0 0 10P(x，y，z)在攝像機(jī)A和B的成像分別為(失真s可視為0 ):<formula>formula see original document page 18</formula><formula>formula see original document page 19</formula>由(6)式和(7)式可以計算得出A視和B視的運(yùn)動矢量:<formula>formula see original document page 19</formula>同理可以得到C視的運(yùn)動矢量:<formula>formula see original document page 19</formula>由公式(8-10),得到A視的運(yùn)動矢量:<formula>formula see original document page 19</formula>按照上述運(yùn)動估計方法得到的運(yùn)動矢量可以應(yīng)用于多視編碼和多視解 碼中，以減少碼流的傳輸量，并在保證運(yùn)動估計準(zhǔn)確率的前提下提高多視編 碼的編碼效率。下面通過兩個實施例對本發(fā)明基于運(yùn)動估計的多枧編解碼方 法及裝置進(jìn)行說明。實施例二本實施例結(jié)合

本發(fā)明基于運(yùn)動估計的多視編碼方法的具體實施方式
。圖4為本發(fā)明實施例二中基于運(yùn)動估計的多視編碼方法的流程示意圖。參見圖4，該方法包括以下步驟步驟401:將視頻序列中的幀分為直接估算幀和間接估算幀。 步驟402:計算直接估算幀的運(yùn)動矢量。本步驟中，可以按照背景技術(shù)中所介紹的傳統(tǒng)多視編碼運(yùn)動估計算法或 者現(xiàn)有技術(shù)中的其他運(yùn)動估計算法對直接估算幀進(jìn)行運(yùn)動估計，得到其對應(yīng) 的運(yùn)動矢量。步驟403:根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接 估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量。本步驟中，計算間接估算幀的方法與實施例一步驟203所述方法相同， 請參照上述方法進(jìn)行，在此不再贅述。步驟404:根據(jù)所得到的運(yùn)動矢量，對各視的視頻段做基于運(yùn)動補(bǔ)償?shù)?幀間預(yù)測，得到各幀的預(yù)測圖像，再由所述各幀的預(yù)測圖像與各幀的實際圖 像得到各幀的殘差圖像。本步驟中，得到各幀的運(yùn)動矢量之后，可以按照與現(xiàn)有技術(shù)相同的方式 對各視的視頻段做基于運(yùn)動補(bǔ)償?shù)膸g預(yù)測，得到各幀的預(yù)測圖像，再由所 述各幀的預(yù)測圖像與各幀的實際圖像得到各幀的殘差圖像，在此不再贅述。步驟405:將所述各幀的殘差圖像、直接估算幀的運(yùn)動矢量、相鄰視攝 像機(jī)的相對位置和相鄰視間的視差圖像寫入編碼碼流。至此，結(jié)束本實施例基于運(yùn)動估計的多視編碼方法。在得到本實施例步 驟405所述的各幀的殘差圖像、直接估算幀的運(yùn)動矢量、相鄰視撮像機(jī)的相 對位置和相鄰視間的視差圖像之后，可以將其寫入編碼碼流，或者將其作為 下一步視頻編碼處理的輸入數(shù)據(jù)，繼續(xù)進(jìn)行下一步的編碼處理。關(guān)于如何采 用運(yùn)動估計結(jié)果進(jìn)行下一步的編碼處理請參見現(xiàn)有技術(shù)的有關(guān)方法進(jìn)行，在 此不再贅述。下面介紹與圖4所示方法相對應(yīng)的基于運(yùn)動估計的多視編碼裝置。圖5為本發(fā)明實施例二中基于運(yùn)動估計的多視編碼裝置的組成結(jié)構(gòu)示意圖。參見圖5，該裝置包括編碼端運(yùn)動矢量計算模塊501和幀間預(yù)測模塊502。 其中，編碼端運(yùn)動矢量計算模塊501,用于計算直接估算幀的運(yùn)動矢量，并根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的^L差圖像和直接估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量，并將所述間接估算幀的運(yùn)動矢量和直接估算幀的運(yùn)動矢量發(fā)送給幀間預(yù)測模塊502;幀間預(yù)測模塊502，用于根據(jù)來自于編碼端運(yùn)動矢量計算模塊501的間接估算幀的運(yùn)動矢量和直接估算幀的運(yùn)動矢量對各幀做基于運(yùn)動補(bǔ)償?shù)膸g預(yù)測，得到各幀的殘差圖像。其中，編碼端運(yùn)動矢量計算;f莫塊501可以進(jìn)一步包括X軸分量計算子模塊和Y軸分量計算子^l塊；X軸分量計算子模塊，用于根據(jù)^i^計算當(dāng)前間接估算幀運(yùn)動矢量的X軸分量；Y軸分量計算子模塊，用于根據(jù)^2"，計算當(dāng)前間接估算幀運(yùn)動矢量 的Y軸分量；其中，(iT，。表示攝像機(jī)中心坐標(biāo)為(-xl，-yl)的參考直接估算幀的運(yùn)動 矢量，(JT，r)表示攝像機(jī)中心坐標(biāo)為(x:2，y2)的參考直接估算幀的運(yùn)動矢量。由上述實施例可見，本發(fā)明實施例二充分利用了各視之間的空間運(yùn)動矢 量相關(guān)性和視間圖像相關(guān)性來計算當(dāng)前視的運(yùn)動矢量，然后再將計算得到的 運(yùn)動矢量運(yùn)用于現(xiàn)有編碼算法中，進(jìn)行基于運(yùn)動補(bǔ)償?shù)膸g預(yù)測，從而減少 了編碼碼流的傳輸量，并在保證運(yùn)動估計準(zhǔn)確率的前提下實現(xiàn)了編碼效率的提高。實施例三本實施例結(jié)合附團(tuán)說明本發(fā)明基于運(yùn)動估計的多視解碼方法及裝置的具體實施方式
。本實施例中，與實施例一相同，將S1視對應(yīng)于圖3所示攝像機(jī)A所拍 攝的視頻序列，S0視對應(yīng)于圖3所示攝像機(jī)B所拍攝的視頻序列，S2視對 應(yīng)于圖3所示攝像機(jī)C所拍攝的視頻序列，因此，圖3所述攝像機(jī)之間的相 對位置關(guān)系以及各攝像機(jī)的坐標(biāo)同樣適用于本實施例。圖6為本發(fā)明實施例三中基于運(yùn)動估計的多視解碼方法的流程示意圖。 參見圖6，該方法包括以下步驟步驟601:將視頻序列中的幀分為直接估算幀和間接估算幀。步驟602:解析接收到的編碼碼流，得到各幀的殘差圖像、直接估算幀 的運(yùn)動矢量、相鄰視攝像機(jī)的相對位置信息和相鄰視間的視差圖像。由前述可知，塊由多個像素點組成，塊的運(yùn)動矢量與像素點的運(yùn)動矢量 是——對應(yīng)的，可以根據(jù)一定的規(guī)律進(jìn)行相互轉(zhuǎn)換，因此，所述解析得到的 直接估算幀的運(yùn)動矢量可以是像素點的運(yùn)動矢量，也可以是塊的運(yùn)動矢量。步驟603:根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接 估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量。本步驟中，首先可以根據(jù)步驟601解析得到的相鄰視攝像機(jī)的相對位置 計算SO視和S2視相對于Sl視的位置關(guān)系，即S0視對應(yīng)攝像機(jī)的坐標(biāo)為 C-x 1 ，-y 1) ， S2視對應(yīng)攝像機(jī)的坐標(biāo)為(x2，y2);然后根據(jù)S0視的塊運(yùn)動矢量M0和S2視的塊運(yùn)動矢量M2，以及Sl 視與SO視之間的視差圖像和Sl視與S2視之間的視差圖像得出與Sl視中 像素點I所對應(yīng)的像素點的運(yùn)動矢量，即(W)和(iT，f');最后，根據(jù)兩個參考直接估算幀的運(yùn)動矢量以及攝像機(jī)之間的相對位置 信息，對當(dāng)前間接估算幀的運(yùn)動矢量^，"進(jìn)行計算，得到<formula>formula see original document page 22</formula>步驟604:根據(jù)所得到的直接估算幀的運(yùn)動矢量和間接估算幀的運(yùn)動矢量 以及各幀的殘差圖像，得到各幀的預(yù)測圖像。步驟605:由各幀的殘差圖像及其相對應(yīng)的預(yù)測圖像重建各幀的實際圖像。至此，結(jié)束本實施例基于運(yùn)動估計的多視解碼方法。在得到當(dāng)前間接估 算幀的運(yùn)動矢量之后，可以按照現(xiàn)有技術(shù)的有關(guān)方法由殘差圖像、與參考視 之間的視差圖像重建相應(yīng)的實際圖像，在此不再贅述。下面介紹與圖6所示方法相對應(yīng)的基于運(yùn)動估計的多視解碼裝置。圖7 為本發(fā)明實施例三中基于運(yùn)動估計的多視解碼裝置的組成結(jié)構(gòu)示意圖。參見 圖7,該裝置包括解析模塊701、解碼端運(yùn)動矢量計算模塊702和預(yù)測重 建模塊703。其中，解析模塊701，用于解析接收到的編碼碼流，并將解析得到的直 接估算幀的運(yùn)動矢量、相鄰視間的視差圖像和相鄰視攝像機(jī)的相對位置信息 發(fā)送給解碼端運(yùn)動矢量計算模塊702，將直接估算幀的運(yùn)動矢量和各幀的殘 差圖像發(fā)送給預(yù)測重建模塊703;解碼端運(yùn)動矢量計算模塊702，用于根據(jù)相鄰視攝像機(jī)的相對位置、相 鄰視間的視差圖像和直接估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量，并 將間接估算幀的運(yùn)動矢量發(fā)送給預(yù)測重建模塊703;預(yù)測重建模塊703,用于根據(jù)間接估算幀的運(yùn)動矢量、直接估算幀的運(yùn) 動矢量和各幀的殘差圖像重建各幀的實際圖像。其中，解碼端運(yùn)動矢量計算模塊702可以進(jìn)一步包括X軸分量計算子模 塊和Y軸分量計算子^^莫塊；X軸分量計算子模塊，用于根據(jù)^^^計算當(dāng)前間接估算幀運(yùn)動矢量:d + ;c2的X軸分量；Y軸分量計算子模塊，用于根據(jù)O2"""計算當(dāng)前間接估算幀運(yùn)動矢量的Y軸分量；其中，(iT,i7')表示攝像機(jī)中心坐標(biāo)為(-xl,-yl)的參考直接估算幀的運(yùn)動 矢量，(iT,i7")表示攝像機(jī)中心坐標(biāo)為(x2^2)的參考直接估算幀的運(yùn)動矢量。 由上述實施例可見，本發(fā)明技術(shù)方案利用各攝像機(jī)之間的相對位置信息、相 鄰直接估算幀的運(yùn)動矢量來計算當(dāng)前間接估算幀的運(yùn)動矢量，并結(jié)合相鄰直 接估算幀與當(dāng)前間接估算幀的視差圖像來預(yù)測、重建當(dāng)前間接估算幀的實際 圖像，使得解碼端根據(jù)直接估算幀的運(yùn)動矢量即可計算出間接估算幀的運(yùn)動 矢量，在減少碼流傳輸量的同時，保證了多視解碼的準(zhǔn)確率。以上通過兩個實施例對相鄰攝像機(jī)之間的位置非常靠近的多視拍攝情 況下，本發(fā)明編碼、解碼方案進(jìn)行了詳細(xì)說明。在這種情況下，相鄰視的運(yùn) 動矢量差異很小，可以通過上述方案中的視間運(yùn)動矢量計算方法來計算當(dāng)前 視的運(yùn)動矢量。然而在各攝像機(jī)之間間隔比較大的應(yīng)用場合下，視差圖像就 會因為遮擋等關(guān)系變得不完整。下面通過一個實施例說明本發(fā)明為各攝像機(jī) 之間間隔比較大的應(yīng)用場合所提供的多視運(yùn)動估計解決方案。實施例四對于各攝像機(jī)之間間隔比較大的情況，本實施例采取僅在編碼端用視間 運(yùn)動矢量計算方法來優(yōu)化各視的運(yùn)動矢量。圖8為本發(fā)明實施例四中多視運(yùn) 動估計方法的流程示意圖。參見圖8，該方法包括以下步驟步驟801:將視頻序列中的幀分為直接估算幀和間接估算幀。 步驟802:計算各幀的運(yùn)動矢量，得到運(yùn)動矢量初算值。 本步驟中，可以采取背景技術(shù)中介紹的單視編碼算法、傳統(tǒng)多視編碼運(yùn) 動估計算法或其他編碼算法計算各視中各幀的運(yùn)動矢量，將所得到的運(yùn)動矢 量稱為運(yùn)動矢量初算值，記為(So，^)。步驟803:根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接 估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量參考值。本步驟中，按照與實施例一步驟203相同的方法計算間接估算幀運(yùn)動矢24量，得到如下所示當(dāng)前間接估算幀的運(yùn)動矢量問，巧)<formula>formula see original document page 25</formula>(11) 將所得到的運(yùn)動矢量問，巧)稱為運(yùn)動矢量參考值。 步驟804:根據(jù)計算所得到的每個間接估算幀的運(yùn)動矢量初算值和運(yùn)動 矢量參考值計算間接估算幀的運(yùn)動矢量。本步驟中，可以運(yùn)用如下公式對間接估算幀的運(yùn)動矢量進(jìn)行優(yōu)化計算<formula>formula see original document page 25</formula> (12)式(12)中，Y為優(yōu)化系數(shù)，取值范圍為0到l之間，且包括O和1。至此，結(jié)束本發(fā)明實施例四的多視運(yùn)動估計方法。實施例四所述多視運(yùn)動估計方法與傳統(tǒng)單視編碼中基于運(yùn)動補(bǔ)償?shù)膸?間預(yù)測方法相比，加入了使用運(yùn)動矢量初算值和運(yùn)動矢量參考值進(jìn)行運(yùn)動矢 量優(yōu)化計算的操作，該操作能夠提升運(yùn)動矢量估算的準(zhǔn)確性，從而能夠進(jìn)行 更為準(zhǔn)確的預(yù)測。以上所述僅為本發(fā)明的較佳實施例而已，并非用于限定本發(fā)明的保護(hù)范 圍。凡在本發(fā)明的精神和原則之內(nèi)所作的任何修改、等同替換、改進(jìn)等，均 應(yīng)包含在本發(fā)明的保護(hù)范圍之內(nèi)。
權(quán)利要求
1. 一種多視運(yùn)動估計方法，其特征在于，該方法包括以下步驟將視頻序列中的幀分為直接估算幀和間接估算幀；計算直接估算幀的運(yùn)動矢量；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量。
2、 根據(jù)權(quán)利要求l所述的方法，其特征在于，所述視頻序列由各視攝像機(jī) 拍攝得到，所述各4!U聶像機(jī)的光學(xué)成像中心為同一平面。
3、 根據(jù)權(quán)利要求2所述的方法，其特征在于，設(shè)當(dāng)前間接估算幀的攝像機(jī) 中心在世界坐標(biāo)系中的坐標(biāo)為原點，與所述當(dāng)前間接估算幀相鄰的兩個參考直 接估算幀的攝像機(jī)中心的坐標(biāo)分別為(-xl，-yl)和(x2,y2)，所述攝像機(jī)中心坐標(biāo)為 (-xl，-yl)的參考直接估算幀的運(yùn)動矢量為0T，7'),所述攝像機(jī)中心坐標(biāo)為(x2，y2) 的參考直接估算幀的運(yùn)動矢量為(iT，i7")，則所述計算間接估算幀的運(yùn)動矢量 為..當(dāng)前間接估算楨運(yùn)動矢量的Z軸分量=^2"""當(dāng)前間接估算幀運(yùn)動矢量的y軸分量=v'力v，1
4、 根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，所述運(yùn)動矢量為 各幀中對應(yīng)像素點的運(yùn)動矢量；所述各幀中對應(yīng)像素點才,所迷相鄰視間的視差圖像確定。
5、 根據(jù)權(quán)利要求1至3任一項所述的方法，其特征在于，所述運(yùn)動矢量為 各幀中對應(yīng)塊的運(yùn)動矢量；所述各幀中對應(yīng)塊才艮據(jù)所迷相鄰視間的視差困像確定。
6、 一種基于運(yùn)動估計的多視編碼方法，其特征在于，該方法包括以下步驟: 將視頻序列中的幀分為直接估算幀和間接估算幀；計算直接估算幀的運(yùn)動矢量；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量；根據(jù)所得到的運(yùn)動矢量，對各視的視頻段做基于運(yùn)動補(bǔ)償?shù)膸g預(yù)測，得 到各幀的預(yù)測圖像，再由所述各幀的預(yù)測圖像與各幀的實際圖像得到各幀的殘 差圖像；將所述各幀的殘差圖像、直接估算幀的運(yùn)動矢量、相鄰視攝^J機(jī)的相對位 置信息和相鄰視間的視差圖像寫入編碼碼流。
7、 根據(jù)權(quán)利要求6所述的方法，其特征在于，所述視頻序列由各4見攝像機(jī) 拍攝得到，所述各^!4聶像機(jī)的光學(xué)成像中心為同一平面。
8、 根據(jù)權(quán)利要求7所述的方法，其特征在于，設(shè)當(dāng)前間接估算幀的攝像機(jī) 中心在世界坐標(biāo)系中的坐標(biāo)為原點，與所述當(dāng)前間接估算幀相鄰的兩個參考直 接估算幀的攝像機(jī)中心的坐標(biāo)分別為(-xl,-yl)和(x2，y2)，所述攝像機(jī)中心坐標(biāo)為 (-xl，-yl)的參考直接估算幀的運(yùn)動矢量為(iT,i7'),所述攝像機(jī)中心坐標(biāo)為(x2,y2) 的參考直接估算幀的運(yùn)動矢量為0T，i7")，則所述計算間接估算幀的運(yùn)動矢量 為當(dāng)前間接估算幀運(yùn)動矢量的義軸分量=^2 +『"當(dāng)前間接估算幀運(yùn)動矢量的r軸分量二^i^ 、 yi+W
9、 根據(jù)權(quán)利要求6至8任一項所述的方法，其特征在于，所述運(yùn)動矢量為 各幀中對應(yīng)像素點的運(yùn)動矢量；所述各幀中對應(yīng)像素點根據(jù)所述相鄰視間的視差圖像確定。
10、 根據(jù)權(quán)利要求6至8任一項所述的方法，其特征在于，所述運(yùn)動矢量 為各幀中對應(yīng)塊的運(yùn)動矢量；所述各幀中對應(yīng)塊根據(jù)所述相鄰視間的視差圖像確定。
11、 一種基于運(yùn)動估計的多視解碼方法，其特征在于，該方法包括以下步驟將視頻序列中的幀分為直接估算幀和間接估算幀；解析接收到的編碼碼流，得到各幀的殘差圖像、直接估算幀的運(yùn)動矢量、 相鄰視攝像機(jī)的相對位置信息和相鄰視間的視差圖像；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算幀的運(yùn)動 矢量計算間接估算幀的運(yùn)動矢量；根據(jù)所得到的直接估算幀的運(yùn)動矢量和間接估算幀的運(yùn)動矢量以及各幀的 殘差圖像，得到各幀的預(yù)測圖像；由各幀的殘差圖《象及其相對應(yīng)的預(yù)測圖像重建各幀的實際圖像。
12、 根據(jù)權(quán)利要求ll所迷的方法，其特征在于，所迷視頻序列由各視攝像 機(jī)拍攝得到，各視攝像機(jī)的光學(xué)成像中心為同一平面。
13、 根據(jù)權(quán)利要求12所述的方法，其特征在于，設(shè)當(dāng)前間接估算幀的攝像 機(jī)中心在世界坐標(biāo)系中的坐標(biāo)為原點，與所述當(dāng)前間接估算幀相鄰的兩個參考 直接估算幀攝#^幾中心的坐標(biāo)分別為(-xl,-yl)和(x2，y2),所述攝像機(jī)中心坐標(biāo)為 (-xl，-yl)的參考直接估算幀的運(yùn)動矢量為OT,F),所述攝像機(jī)中心坐標(biāo)為(x2，y2) 的參考直接估算幀的運(yùn)動矢量為(i7"，i7")，則所述計算間接估算幀的運(yùn)動矢量 為<formula>formula see original document page 4</formula>
14、 根據(jù)權(quán)利要求11至13任一項所述的方法，其特征在于，所述運(yùn)動矢 量為各幀中對應(yīng)像素點的運(yùn)動矢量；所述各幀中對應(yīng)像素點根椐所述相鄰視間的視差圖像確定。
15、 根椐權(quán)利要求11至13任一項所述的方法，其特征在于，所述運(yùn)動矢量為各幀中對應(yīng)塊的運(yùn)動矢量；所述各幀中對應(yīng)塊根據(jù)所述相鄰視間的視差圖像確定。
16、 一種多視運(yùn)動估計方法，其特征在于，該方法包括以下步驟 將視頻序列中的幀分為直接估算幀和間接估算幀； 計算各幀的運(yùn)動矢量初算值；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算幀的運(yùn)動 矢量計算間接估算幀的運(yùn)動矢量參考值；根據(jù)計算所得到的每個間接估算幀的運(yùn)動矢量初算值和運(yùn)動矢量參考值計 算間接估算幀的運(yùn)動矢量。
17、 根據(jù)權(quán)利要求16所述的方法，其特征在于，所述視頻序列由各視攝像 機(jī)拍攝得到，所述各視攝^^幾的光學(xué)成像中心為同一平面。
18、 根據(jù)權(quán)利要求17所述的方法，其特征在于，設(shè)當(dāng)前間接估算幀的攝像 機(jī)中心在世界坐標(biāo)系中的坐標(biāo)為原點，與所述當(dāng)前間接估算楨相鄰的兩個參考 直接估算幀的攝像機(jī)中心的坐標(biāo)分別為(-xl，-y 1 )和(x2，y2)，所述攝像機(jī)中心坐標(biāo)為(-xl，-yl)的參考直接估算幀的運(yùn)動矢量為(iT，7'),所述攝像機(jī)中心坐標(biāo)為 (x2，y2)的參考直接估算幀的運(yùn)動矢量為(iT',7"),則所述計算間接估算幀的運(yùn)動矢量參考值為當(dāng)前間接估算幀運(yùn)動矢量參考值的X軸分量=^w'"xl十當(dāng)前間接估算幀運(yùn)動矢量參考值的r軸分量=
19、 4瞎權(quán)利要求16至18任一項所述的方法，其特征在于，設(shè)置優(yōu)化系 數(shù)Y，所述計算間接估算幀的運(yùn)動矢量為將優(yōu)化系數(shù)Y與間接估算幀運(yùn)動矢量初算值之積和1減優(yōu)化系數(shù)Y之差與 間接估算幀運(yùn)動矢量參考值之積相加，得到所述計算間接估算幀的運(yùn)動矢量。
20、 4艮椐權(quán)利要求16至18任一項所述的方法，其特征在于，所述運(yùn)動矢量為各幀中對應(yīng)像素點的運(yùn)動矢量；所述各幀中對應(yīng)像素點根據(jù)所述相鄰視間的視差圖像確定。
21、 根椐權(quán)利要求16至18任一項所述的方法，其特征在于，所述運(yùn)動矢 量為各幀中對應(yīng)塊的運(yùn)動矢量；所述各幀中對應(yīng)塊根據(jù)所述相鄰視間的視差圖像確定。
22、 一種基于運(yùn)動估計的多視編碼裝置，其特征在于，該裝置包括編碼 端運(yùn)動矢量計算模塊和幀間預(yù)測模塊；所述編碼端運(yùn)動矢量計算模塊，用于計算直接估算幀的運(yùn)動矢量，并根據(jù) 相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算幀的運(yùn)動矢量計算 間接估算幀的運(yùn)動矢量，并將所述間接估算幀的運(yùn)動矢量和直接估算幀的運(yùn)動 矢量發(fā)送給所述幀間預(yù)測模塊；所述幀間預(yù)測模塊，用于根據(jù)來自于所述編碼端運(yùn)動矢量計算模塊的間接 估算幀的運(yùn)動矢量和直接估算幀的運(yùn)動矢量對各幀做基于運(yùn)動補(bǔ)償?shù)膸g預(yù) 測，得到各幀的殘差圖像。
23、 根據(jù)權(quán)利要求22所迷的裝置，其特征在于，所述編碼端運(yùn)動矢量計算 模塊進(jìn)一步包括X軸分量計算子模塊和Y軸分量計算子模塊；所述x軸分量計算子模塊，用于根據(jù)+^xl計算當(dāng)前間接估算幀運(yùn)動矢量的X軸分量；所述Y軸分量計算子模塊，用于根據(jù)^i^計算當(dāng)前間接估算幀運(yùn)動 矢量的Y軸分量；其中，(iT，"表示攝像機(jī)中心坐標(biāo)為(-xl，-yl)的參考直接估算幀的運(yùn)動矢 量，(iT',i7")表示攝像機(jī)中心坐標(biāo)為(x2,y2)的參考直接估算幀的運(yùn)動矢量。
24、 一種基于運(yùn)動估計的多視解碼裝置，其特征在于，該裝置包括解析 模塊、解碼端運(yùn)動矢量計算模塊和預(yù)測重建模塊；所述解析模塊，用于解析接收到的編碼碼流，并將解析得到的直接估算幀的運(yùn)動矢量、相鄰視間的視差圖像和相鄰視攝像機(jī)的相對位置信息發(fā)送給所述 解碼端運(yùn)動矢量計算沖莫塊，將直接估算幀的運(yùn)動矢量和各幀的殘差圖像發(fā)送給所述預(yù)測重建纟莫塊；所述解碼端運(yùn)動矢量計算模塊，用于根據(jù)相鄰視攝像機(jī)的相對位置、相鄰 視間的視差圖像和直接估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量，并將所 述間接估算幀的運(yùn)動矢量發(fā)送給所述預(yù)測重建模塊；所述預(yù)測重建模塊，用于根據(jù)所述間接估算幀的運(yùn)動矢量、直接估算幀的 運(yùn)動矢量和各幀的殘差圖像重建各幀的實際圖像。
25、根據(jù)權(quán)利要求24所述的裝置，其特征在于，所述解碼端運(yùn)動矢量計算 模塊進(jìn)一步包括X軸分量計算子模塊和Y軸分量計算子模塊；所述X軸分量計算子模塊，用于根據(jù)h2"""計算當(dāng)前間接估算幀運(yùn)動 矢量的X軸分量；所述Y軸分量計算子模塊，用于根據(jù)^^^計算當(dāng)前間接估算幀運(yùn)動 矢量的Y軸分量；其中，(P，"表示攝像機(jī)中心坐標(biāo)為(-xl,-yl)的參考直接估算幀的運(yùn)動矢 量，(i7"J")表示攝像機(jī)中心坐標(biāo)為(x2，y2)的參考直接估算幀的運(yùn)動矢量。
全文摘要
本發(fā)明實施例中公開了一種多視運(yùn)動估計方法。該方法包括以下步驟將視頻序列中的幀分為直接估算幀和間接估算幀；計算直接估算幀的運(yùn)動矢量；根據(jù)相鄰視攝像機(jī)的相對位置、相鄰視間的視差圖像和直接估算幀的運(yùn)動矢量計算間接估算幀的運(yùn)動矢量。本發(fā)明實施例中還公開了另一種運(yùn)動估計方法，以及基于上述運(yùn)動估計方法進(jìn)行多視編碼的方法和裝置、進(jìn)行多視解碼方法和裝置。應(yīng)用本發(fā)明能夠保證運(yùn)動估計準(zhǔn)確率的前提下，充分利用多視視頻中相鄰視之間的時間相關(guān)性和空間相關(guān)性，減少碼流傳輸量，提高多視編碼的效率。
文檔編號H04N7/50GK101242530SQ20071000757
公開日2008年8月13日 申請日期2007年2月8日 優(yōu)先權(quán)日2007年2月8日
發(fā)明者史舒娟, 海 陳 申請人:華為技術(shù)有限公司