專利名稱：：深度自適應(yīng)視頻拼接的方法、裝置和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及計(jì)算機(jī)視覺領(lǐng)域，更具體地，涉及深度自適應(yīng)視頻拼接的方法、裝置和系統(tǒng)。
背景技術(shù)：
：將圖像對(duì)準(zhǔn)并拼接為無縫照片拼接圖的技術(shù)是計(jì)算機(jī)視覺領(lǐng)域最早且最廣泛使用的技術(shù)。這種技術(shù)生成高分辨率照片，這些高分辨率照片已經(jīng)用于產(chǎn)生數(shù)字地圖和衛(wèi)星照片。圖像拼接技術(shù)當(dāng)前也被實(shí)現(xiàn)并嵌入到數(shù)碼相機(jī)中，以獲得超廣角照片。視頻拼接技術(shù)是一種從不同視頻源提供廣角、高分辨率幀拼接圖的特殊圖像拼接技術(shù)。隨著顯示器產(chǎn)業(yè)的迅速發(fā)展，極高分辨率顯示器正在走進(jìn)人們的日常生活。消費(fèi)電子產(chǎn)品中存在對(duì)于高分辨率和廣角視頻的需求。視頻拼接技術(shù)可以是針對(duì)不同高清晰度需求來建立高分辨率和廣角視頻的一種解決方案。另外，視頻拼接技術(shù)是例如超市、長街、大型建筑物等大范圍、大覆蓋視覺監(jiān)控的強(qiáng)大工具。這些地方通常具有較大的監(jiān)控區(qū)域，且不能通過單一攝像機(jī)來監(jiān)視。另外，在視頻會(huì)議中人們可能更希望看到廣角視頻，這符合人類的日常感覺。雖然當(dāng)前的圖像拼接技術(shù)能夠逐幀產(chǎn)生全景視頻，但是這種技術(shù)通常需要較高的計(jì)算負(fù)擔(dān)，并且不適于實(shí)時(shí)視頻拼接應(yīng)用。視頻拼接技術(shù)將若干源視頻流實(shí)時(shí)組合為一個(gè)高分辨率廣角全景視頻。由于視覺質(zhì)量和計(jì)算負(fù)擔(dān)是一個(gè)問題的兩個(gè)方面，視頻拼接技術(shù)需要提供良好的視頻質(zhì)量以及迅捷的速度。視覺質(zhì)量差的全景視頻在其幀中具有虛影，例如明顯的接縫、重影效應(yīng)、錯(cuò)誤的圖像對(duì)準(zhǔn)等。某些虛影是由于不準(zhǔn)確的圖像對(duì)準(zhǔn)、色彩不一致、運(yùn)動(dòng)模糊造成的。其他一些虛影是由視差問題造成的。更為準(zhǔn)確的計(jì)算算法以及合適的預(yù)處理可以改進(jìn)與不準(zhǔn)確的圖像對(duì)準(zhǔn)及色彩不一致問題有關(guān)的視覺質(zhì)量。準(zhǔn)確的幾何結(jié)構(gòu)估計(jì)可以減少由視差問題所引起的虛影。但是，這種策略通常需要更多的計(jì)算。一般而言，視頻拼接算法可以視為重復(fù)的圖像拼接過程(參見參考文獻(xiàn)[l])。該算法通常有兩個(gè)步驟。在第一步驟中，從不同源視頻流提取視頻幀，并存儲(chǔ)于存儲(chǔ)器中。在第二步驟中，將所存儲(chǔ)的幀輸入圖像拼接單元中，以產(chǎn)生幀拼接圖。圖像拼接單元首先進(jìn)行幀對(duì)準(zhǔn)。根據(jù)基于像素的對(duì)準(zhǔn)技術(shù)或基于特征的對(duì)準(zhǔn)技術(shù)，估計(jì)每一幀的投影變換。根據(jù)所估計(jì)的投影變換，可以將圖像像素映射到參考圖像平面上。這種參考圖像平面也是最終幀拼接圖的圖像平面。最后，在將源視頻幀像素映射向參考平面時(shí)完成拼接。如果幀拼接圖中的像素具有若干對(duì)應(yīng)像素，則需要進(jìn)行像素混合處理。然而，在視頻拼接算法中簡單采用圖像拼接技術(shù)并非有效的策略。因?yàn)閳D像對(duì)準(zhǔn)處理是極為耗時(shí)的，所以這種視頻拼接算法不能達(dá)到實(shí)時(shí)或近實(shí)時(shí)工作。加速視頻拼接算法的一種簡單方式是使用歷史信息(參見參考文獻(xiàn)[2])。在開始時(shí)一次性計(jì)算圖像對(duì)準(zhǔn)參數(shù)。在接下來的拼接中，后續(xù)幀的幀拼接可以使用先前計(jì)算的圖像對(duì)準(zhǔn)參數(shù)。這種策略減少了連續(xù)幀的圖像對(duì)準(zhǔn)計(jì)算時(shí)間，并且能夠保證視頻拼接算法實(shí)時(shí)工作。這種算法適于遠(yuǎn)景或不變景深的固定位置攝像機(jī)。由于許多視頻是壓縮過的，因此視頻拼接算法可以使用運(yùn)動(dòng)補(bǔ)償信息(參見參考文獻(xiàn)[3])。宏塊的運(yùn)動(dòng)向量通常具有基于塊的匹配信息。這種信息能夠提供粗略信息，并且可以用于迭代更新幾何變換計(jì)算結(jié)果。為了改進(jìn)幾何變換估計(jì)的精度，仍然需要額外的匹配和全局運(yùn)動(dòng)估計(jì)。這種算法減少了圖像對(duì)準(zhǔn)期間特征匹配的計(jì)算時(shí)間。
發(fā)明內(nèi)容視頻拼接技術(shù)當(dāng)前解決方案存在的問題在于不能在速度和視覺質(zhì)量之間找到一個(gè)好的平衡點(diǎn)。基于圖像拼接技術(shù)的視頻拼接技術(shù)視覺質(zhì)量最好，但計(jì)算時(shí)間最多。此外，投影變換估計(jì)通常由一些概率優(yōu)化技術(shù)實(shí)現(xiàn)，不易于獲得穩(wěn)定的估計(jì)結(jié)果。基于歷史信息的視頻拼接技術(shù)速度快捷，對(duì)于某些特定場景具有良好的視覺質(zhì)量。該技術(shù)適用于攝像機(jī)固定，且景深不變的場合。然而，一旦景深改變，例如，前景對(duì)象移遠(yuǎn)或移近，將出現(xiàn)虛影。虛影可以表現(xiàn)為重復(fù)的區(qū)域或部分對(duì)象。虛影主要是由視差問題造成的?；陬A(yù)先計(jì)算的匹配信息的視頻拼接技術(shù)工作迅速，能夠具有可接受的視覺質(zhì)量。這是因?yàn)樗捎玫膱D像對(duì)準(zhǔn)技術(shù)通常不夠準(zhǔn)確。從壓縮視頻流提取的運(yùn)動(dòng)向量帶有很多噪聲，并且匹配精度有限。雖然這種技術(shù)可以采用一些細(xì)化處理，但由于通常以半像素的精度來匹配塊，對(duì)準(zhǔn)不夠準(zhǔn)確。此外，塊匹配和運(yùn)動(dòng)估計(jì)的細(xì)化將花費(fèi)額外的計(jì)算時(shí)間。本發(fā)明提供了一種快速、高視覺質(zhì)量視頻拼接的技術(shù)。本發(fā)明旨在提供一種使用簡單深度補(bǔ)償策略的快速幾何結(jié)構(gòu)估計(jì)。本發(fā)明的拼接方法首先在攝像機(jī)位置校準(zhǔn)步驟中針對(duì)每一對(duì)源視頻計(jì)算投影變換。然后，根據(jù)簡單深度補(bǔ)償處理，獲得每一源視頻的準(zhǔn)確投影變換。此外，設(shè)計(jì)并采用像素索引方案，加速像素投影。使用以上優(yōu)化策略，本發(fā)明的技術(shù)可以快速工作，并大大減少由視差問題造成的虛影。本發(fā)明的基本思想在于基于簡單景深估計(jì)處理，估計(jì)投影變換。這樣，圖像對(duì)準(zhǔn)不再基于特征匹配和參數(shù)估計(jì)處理。另一方面，本發(fā)明可以容易地對(duì)像素的投影變換進(jìn)行索引，這也加速了圖像混合處理。根據(jù)本發(fā)明的第一方面，提供了一種在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的方法，包括如下步驟針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值；對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；以及通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算深度補(bǔ)償項(xiàng)。優(yōu)選地，該在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的方法在偏移值計(jì)算步驟之前還包括如下步驟生成對(duì)極變換參數(shù)和投影變換參數(shù)。優(yōu)選地，該在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的方法在偏移值計(jì)算步驟之前還包括如下步驟通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘，生成所需對(duì)極投影變換乘積。優(yōu)選地，深度補(bǔ)償項(xiàng)通過如下方式計(jì)算將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘。優(yōu)選地，接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值通過如下方式計(jì)算-對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。根據(jù)本發(fā)明的第二方面，提供了一種在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的設(shè)備，包括用于針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值的裝置；用于對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值的裝置；以及用于通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算深度補(bǔ)償項(xiàng)的裝置。根據(jù)本發(fā)明的第三方面，提供了一種視頻拼接裝置，包括偏移值計(jì)算器，用于針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值，并對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；補(bǔ)償計(jì)算器，用于通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及偏移值計(jì)算器所生成的所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素索引表的補(bǔ)償項(xiàng)；以及索引更新器，用于以補(bǔ)償計(jì)算器所計(jì)算的補(bǔ)償項(xiàng)，更新像素索引表中的像素對(duì)應(yīng)關(guān)系及其權(quán)重，以獲得更新像素索引表。優(yōu)選地，在外部使用更新像素索引表，以根據(jù)所述多個(gè)源視頻生成全景視頻。優(yōu)選地，對(duì)極變換參數(shù)、投影變換參數(shù)以及像素索引表在外部生成，然后通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘在外部生成所需對(duì)極投影變換乘積。優(yōu)選地，補(bǔ)償計(jì)算器通過將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘，來計(jì)算像素索引表的補(bǔ)償項(xiàng)。優(yōu)選地，偏移值計(jì)算器通過如下方式計(jì)算接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。優(yōu)選地，索引表包括像素位置對(duì)應(yīng)關(guān)系和權(quán)重。根據(jù)本發(fā)明的第四方面，提供了一種視頻拼接系統(tǒng)，包括根據(jù)本發(fā)明第三方面的視頻拼接裝置；以及像素插值器和混合器，用于通過使用來自視頻拼接裝置的更新像素索引表，根據(jù)所述多個(gè)源視頻生成全景視頻。優(yōu)選地，該視頻拼接系統(tǒng)還包括校準(zhǔn)裝置，用于生成對(duì)極變換參數(shù)、投影變換參數(shù)、像素索引表和所需對(duì)極投影變換乘積。優(yōu)選地，校準(zhǔn)裝置包括對(duì)極校準(zhǔn)器，用于計(jì)算并存儲(chǔ)對(duì)極變換參數(shù)；攝像機(jī)位置校準(zhǔn)器，用于計(jì)算并存儲(chǔ)投影變換參數(shù)；乘法器，用于將對(duì)極變換參數(shù)與投影變換參數(shù)相乘，以生成所需對(duì)極投影變換乘積；接縫確定器，用于基于分別來自對(duì)極校準(zhǔn)器和攝像機(jī)位置校準(zhǔn)器的對(duì)極變換參數(shù)和投影參數(shù)，確定接縫區(qū)域以及接縫區(qū)域處像素的權(quán)重；以及索引產(chǎn)生器，用于基于來自位置校準(zhǔn)器的投影變換參數(shù)以及來自接縫確定器的接縫區(qū)域和像素權(quán)重，生成像素索引表。優(yōu)選地，該視頻拼接系統(tǒng)還包括攝像機(jī)陣列，用于生成所述多個(gè)源視頻，其中，攝像機(jī)陣列中至少兩個(gè)攝像機(jī)在空間上排列為具有交迭視場。根據(jù)本發(fā)明的第五方面，提供了一種視頻拼接方法，包括如下步驟針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值；對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素索引表的補(bǔ)償項(xiàng)；以及以所計(jì)算的補(bǔ)償項(xiàng)，更新像素索引表中的像素對(duì)應(yīng)關(guān)系及其權(quán)重，以獲得更新像素索引表。優(yōu)選地，該視頻拼接方法還包括如下步驟使用更新像素索引表，以根據(jù)所述多個(gè)源視頻生成全景視頻。優(yōu)選地，該視頻拼接方法在偏移值計(jì)算步驟之前還包括如下步驟:生成對(duì)極變換參數(shù)、投影變換參數(shù)以及像素索引表；以及通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘在外部生成所需對(duì)極投影變換乘積。優(yōu)選地，通過將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘，來計(jì)算像素索引表的補(bǔ)償項(xiàng)。優(yōu)選地，通過如下方式計(jì)算接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。優(yōu)選地，索引表包括像素位置對(duì)應(yīng)關(guān)系和權(quán)重。根據(jù)本發(fā)明的第六方面，提供了一種視頻拼接裝置，包括偏移值計(jì)算器，用于針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值，并對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；補(bǔ)償計(jì)算器，用于通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及偏移值計(jì)算器所生成的所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素變換的補(bǔ)償項(xiàng)；以及對(duì)應(yīng)關(guān)系計(jì)算器，用于通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及補(bǔ)償計(jì)算器所計(jì)算的補(bǔ)償項(xiàng)，計(jì)算所述兩個(gè)空間相鄰圖像內(nèi)的點(diǎn)與其對(duì)應(yīng)目標(biāo)點(diǎn)之間的位置對(duì)應(yīng)關(guān)系，以生成像素變換對(duì)應(yīng)關(guān)系，所述像素變換對(duì)應(yīng)關(guān)系包括所計(jì)算的位置對(duì)應(yīng)關(guān)系以及外部提供的權(quán)重。優(yōu)選地，所生成的像素變換對(duì)應(yīng)關(guān)系在外部用于根據(jù)所述多個(gè)源視頻生成全景視頻。優(yōu)選地，對(duì)極變換參數(shù)和投影變換參數(shù)在外部生成。優(yōu)選地，補(bǔ)償計(jì)算器通過如下方式來計(jì)算像素的補(bǔ)償項(xiàng)通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘，生成所需對(duì)極投影變換乘積；以及將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘。優(yōu)選地，偏移值計(jì)算器通過如下方式計(jì)算接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。根據(jù)本發(fā)明的第七方面，提供了一種視頻拼接系統(tǒng)，包括根據(jù)本發(fā)明第六方面的視頻拼接裝置；以及像素插值器和混合器，用于通過使用來自視頻拼接裝置的所計(jì)算的像素變換對(duì)應(yīng)關(guān)系，根據(jù)所述多個(gè)源視頻生成全景視頻。優(yōu)選地，該視頻拼接系統(tǒng)還包括校準(zhǔn)裝置，用于生成對(duì)極變換參數(shù)、投影變換參數(shù)、接縫區(qū)域以及接縫區(qū)域處像素的權(quán)重。優(yōu)選地，校準(zhǔn)裝置包括對(duì)極校準(zhǔn)器，用于計(jì)算并存儲(chǔ)對(duì)極變換參數(shù)；攝像機(jī)位置校準(zhǔn)器，用于計(jì)算并存儲(chǔ)投影變換參數(shù)；以及接縫確定器，用于基于分別來自對(duì)極校準(zhǔn)器和攝像機(jī)位置校準(zhǔn)器的對(duì)極變換參數(shù)和投影參數(shù)，確定接縫區(qū)域以及接縫區(qū)域處像素的權(quán)重。優(yōu)選地，該視頻拼接系統(tǒng)還包括攝像機(jī)陣列，用于生成所述多個(gè)源視頻，其中，攝像機(jī)陣列中至少兩個(gè)攝像機(jī)在空間上排列為具有交迭視場。根據(jù)本發(fā)明的第八方面，提供了一種視頻拼接方法，包括如下步驟針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值；對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素變換的補(bǔ)償項(xiàng)；以及通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所計(jì)算的補(bǔ)償項(xiàng)，計(jì)算所述兩個(gè)空間相鄰圖像內(nèi)的點(diǎn)與其對(duì)應(yīng)目標(biāo)點(diǎn)之間的位置對(duì)應(yīng)關(guān)系，以生成像素變換對(duì)應(yīng)關(guān)系，所述像素變換對(duì)應(yīng)關(guān)系包括所計(jì)算的位置對(duì)應(yīng)關(guān)系以及外部提供的權(quán)重。優(yōu)選地，該視頻拼接方法還包括如下步驟使用所生成的像素變換對(duì)應(yīng)關(guān)系來根據(jù)所述多個(gè)源視頻生成全景視頻。優(yōu)選地，該視頻拼接方法在偏移值計(jì)算步驟之前還包括如下步驟:生成對(duì)極變換參數(shù)、投影變換參數(shù)，接縫區(qū)域以及接縫區(qū)域處像素的權(quán)重。優(yōu)選地，通過如下方式計(jì)算像素變換的補(bǔ)償項(xiàng)通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘，生成所需對(duì)極投影變換乘積；以及將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘。優(yōu)選地，通過如下方式計(jì)算接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。本發(fā)明有兩個(gè)貢獻(xiàn)。第一貢獻(xiàn)是快速圖像對(duì)準(zhǔn)技術(shù)，該技術(shù)使用簡單景深補(bǔ)償來估計(jì)當(dāng)前投影變換。第二貢獻(xiàn)是對(duì)投影變換進(jìn)行索引。本發(fā)明的視頻拼接方法包括如下步驟攝像機(jī)位置校準(zhǔn)、攝像機(jī)對(duì)極校準(zhǔn)、簡單深度估計(jì)、投影變換更新、以及像素插值和混合。根據(jù)本發(fā)明的視頻拼接系統(tǒng)相應(yīng)地包括攝像機(jī)位置校準(zhǔn)單元、攝像機(jī)對(duì)極校準(zhǔn)單元、簡單深度估計(jì)單元、投影變換更新單元、以及像素插值和混合單元。攝像機(jī)位置校準(zhǔn)單元和攝像機(jī)對(duì)極校準(zhǔn)單元在開始時(shí)執(zhí)行系統(tǒng)初始化。由兩個(gè)相應(yīng)單元執(zhí)行的這兩個(gè)處理獲得了將在連續(xù)幀拼接時(shí)使用的投影變換。在初始化之后，對(duì)連續(xù)視頻幀進(jìn)行拼接。首先，通過使用在簡單深度估計(jì)單元中估計(jì)的對(duì)極變換，校準(zhǔn)源視頻幀。然后，通過塊匹配處理，得到兩個(gè)校準(zhǔn)幀的交迭區(qū)域中接縫附近的平均偏移值?；谒烙?jì)的偏移值，由投影變換更新單元相應(yīng)更新預(yù)先計(jì)算的投影變換參數(shù)。像素索引單元將用于拼接的新投影變換變換為像素索引。同時(shí)計(jì)算混合權(quán)重。最后，由像素插值和混合單元，從源視頻像素插值和/或混合幀拼接圖中的像素。本發(fā)明具有兩個(gè)優(yōu)點(diǎn)。第一優(yōu)點(diǎn)是全景視頻的視覺質(zhì)量良好。本發(fā)明的技術(shù)可以逐幀獲得準(zhǔn)確的投影變換。通過本發(fā)明的深度補(bǔ)償策略，減少了景深改變導(dǎo)致的虛影。第二優(yōu)點(diǎn)是本發(fā)明的方案是快速的，且適于實(shí)時(shí)應(yīng)用。本發(fā)明的投影變換更新方法簡單而有效。變換索引方法也是有效的，且可以節(jié)省大量的浮點(diǎn)計(jì)算時(shí)間。根據(jù)如下結(jié)合附圖對(duì)本發(fā)明非限制性實(shí)施例的詳細(xì)描述，本發(fā)明的上述以及其他目的、特征和優(yōu)點(diǎn)將更加清楚，附圖中圖1是根據(jù)本發(fā)明第一實(shí)施例的視頻拼接系統(tǒng)的方框圖；圖2(a)、2(b)和2(c)是圖示投影變換示例的示意圖；圖3是解釋空間相鄰圖像對(duì)的變換的示意圖；圖4是圖示三個(gè)空間相鄰圖像的拓?fù)涞氖疽鈭D；圖5是根據(jù)本發(fā)明第一實(shí)施例的視頻拼接方法的流程圖；圖6是根據(jù)本發(fā)明第二實(shí)施例的視頻拼接系統(tǒng)的方框圖；圖7是根據(jù)本發(fā)明第二實(shí)施例的視頻拼接方法的流程圖；圖8(a)和8(b)示出了兩個(gè)圖像空間相鄰的原始圖像對(duì)；圖9示出了圖8(a)和8(b)所示出的這兩個(gè)圖像的現(xiàn)有技術(shù)拼接全景結(jié)果；以及圖10示出了圖8(a)和8(b)所示出的這兩個(gè)圖像的本發(fā)明拼接全景結(jié)果。具體實(shí)施例方式下文將根據(jù)附圖描述本發(fā)明。在以下描述中，一些具體實(shí)施例只是用于描述的目的，而不應(yīng)理解為對(duì)本發(fā)明的任何限制，它們只不過是本發(fā)明的示例。盡管有可能模糊對(duì)于本發(fā)明的理解，但是將省略常規(guī)結(jié)構(gòu)或構(gòu)造。本發(fā)明將若干輸入源視頻流實(shí)時(shí)組合為一個(gè)高分辨率、廣角視頻流。本發(fā)明的視頻拼接系統(tǒng)具有兩個(gè)裝置。第一裝置是校準(zhǔn)裝置200，該校準(zhǔn)裝置200在開始時(shí)計(jì)算投影變換。第二裝置是拼接裝置300，該拼接裝置300將不同源視頻幀逐幀拼接為幀拼接圖。圖l示出了所述系統(tǒng)的方框圖。1.校準(zhǔn)校準(zhǔn)的任務(wù)是獲得投影變換、確定接縫、以及生成索引表。由于該處理在系統(tǒng)初始化時(shí)進(jìn)行，對(duì)于時(shí)間限制并無特別要求。通過該處理，獲得三種投影變換。今第一種投影變換是兩個(gè)相鄰源視頻幀之間的幾何變換。在這種變換下，一個(gè)圖像中的像素能夠利用其圖像坐標(biāo)而映射到另一圖像。今第二種變換是對(duì)極校準(zhǔn)變換，該變換將兩個(gè)相鄰圖像分別校正到同極線水平的方向。今第三種變換是每個(gè)源視頻幀與參考平面之間的幾何變換。參考平面是全景視頻幀的圖像平面。這種參考平面可以是任意平面，且通常由指定為所有源視頻的幾何中心附近的圖像平面。以上三種投影變換分別稱作相鄰?fù)队白儞Q、對(duì)極校準(zhǔn)變換和參考投影變換。圖2(a)2(c)示出了這三種變換的圖示。圖2(a)示出了將圖像y映射到圖像z'的相鄰變換/^。圖2(b)分別示出了對(duì)極校準(zhǔn)變換/^和///。O,和Q是校準(zhǔn)后圖像的圖像中心。圖2(c)示出了參考投影變換。如果選擇某圖像平面作為參考平面，則根據(jù)源視頻的拓?fù)洌瑥南噜徸儞Q得到參考投影變換。為了得到上述變換，可以采用基于特征的圖像對(duì)準(zhǔn)技術(shù)。首先，使用特征點(diǎn)檢測器，如SIFT檢測器、Haris檢測器(參見參考文獻(xiàn)[4]和[5])，為每一幀檢測特征點(diǎn)。然后，通過特征點(diǎn)描述子(SIFT描述子)，根據(jù)其局部紋理將每個(gè)特征點(diǎn)表示為特征向量?；谔卣飨蛄?，在兩幀之間執(zhí)行特征匹配，以計(jì)算圖像對(duì)應(yīng)關(guān)系。一旦獲得了足夠的匹配特征點(diǎn)對(duì)，使用所有匹配特征點(diǎn)的位置來估計(jì)相鄰?fù)队白儞Q。如果沒有足夠的匹配特征點(diǎn)對(duì)，將這兩幀標(biāo)記為非相鄰幀對(duì)。另一方面，還可基于匹配特征點(diǎn)來估計(jì)基本矩陣。這種變換參數(shù)估計(jì)可以通過諸如RANSAC算法(參見參考文獻(xiàn)[6])之類的參數(shù)估計(jì)技術(shù)來得到?；诨揪仃?，通過重采樣算法(參見參考文獻(xiàn)[6])可以容易地得到對(duì)極校準(zhǔn)變換。通常，根據(jù)所獲得的相鄰圖像對(duì)的連接關(guān)系，選擇中心圖像的圖像平面作為參考平面。因此，通過相鄰?fù)队白儞Q相應(yīng)相乘，可得到參考投影變換。在變換估計(jì)之后，將獲得的變換參數(shù)存儲(chǔ)于存儲(chǔ)器中，并存儲(chǔ)源視頻的拓?fù)洌糜谙乱徊降氖褂?。由于初始化不影響連續(xù)幀拼接的計(jì)算負(fù)擔(dān)，所以變換估計(jì)處理可以選擇耗時(shí)算法以保證精度。參考圖3,該圖給出了相鄰?fù)队白儞Q/^以及對(duì)極校準(zhǔn)變換//,禾口H/的示例，對(duì)于一對(duì)圖像，一旦估計(jì)了相鄰?fù)队白儞Q和對(duì)極變換參數(shù)，容易確定這兩個(gè)圖像的接縫。首先，將一個(gè)圖像中心(G)投影到圖像中心為(9,的另一圖像。然后，使用另一圖像的對(duì)極變換，對(duì)新圖像中心進(jìn)行再投影。^的再投影圖像中心標(biāo)記為0/。另一圖像中心0,利用相同的對(duì)極變換投影到(9/。在另一圖像的校準(zhǔn)圖像平面中，接縫是校準(zhǔn)圖像中心o,'與o/之間的中間區(qū)域，且接縫區(qū)域?qū)挾葁由用戶或系統(tǒng)預(yù)先指定。根據(jù)校準(zhǔn)圖像坐標(biāo)中每個(gè)接縫像素與其對(duì)應(yīng)圖像中心之間的距離，得到接縫像素的混合權(quán)重。對(duì)于接縫像素t混合權(quán)重如下計(jì)算番1-(1)其中，是接縫像素A與其對(duì)應(yīng)的圖像z'的中心之間的距離。分母是像素A與其對(duì)應(yīng)圖像中心之間距離的總和。一旦估計(jì)了不同變換參數(shù)，可以通過如下方式計(jì)算目標(biāo)像素位置(x',/)與源像素位置(u)之間的位置對(duì)應(yīng)，并建立投影索引表<formula>formulaseeoriginaldocumentpage19</formula>其中，2"，a",a73,a3;,a32，a"，(322'<323」是投影變換參數(shù)。索引表具有四列，將參照下表l進(jìn)行描述。第一列是幀拼接圖中的像素位置。第二列是源視頻幀中的對(duì)應(yīng)像素位置。第三列是源像素的源視頻號(hào)。最后一列是混合時(shí)使用的像素權(quán)重。2.拼接拼接的任務(wù)是逐幀建立全景視頻。眾所周知，典型的圖像拼接包括圖像對(duì)準(zhǔn)和圖像混合。本發(fā)明的視頻拼接方案提供了一種快速投影變換更新方法和一種像素索引技術(shù)，以加速高視覺質(zhì)量拼接處理。本發(fā)明的方案首先使用簡單深度估計(jì)方法來估計(jì)景深?；谒烙?jì)的深度，相應(yīng)修改參考投影。利用新的參考投影，更新相關(guān)像素索引。最后，采用像素插值和混合處理，以產(chǎn)生幀拼接圖。在如下的小節(jié)中，將詳細(xì)描述深度估計(jì)、投影變換更新、變換索引更新、以及像素插值和混合處理。2.1深度估計(jì)深度估計(jì)的目標(biāo)是獲得景深信息。另外，本發(fā)明的方案僅著重于相鄰圖像對(duì)的交迭區(qū)域中的深度改變。這是因?yàn)槿绻?dāng)前景深與初始化的景深不同時(shí)，景深變化將導(dǎo)致虛影。由于景深不同，相鄰?fù)队白儞Q和參考投影變換改變。因此，視頻拼接方案需要估計(jì)當(dāng)前景深并補(bǔ)償偏移值。從計(jì)算的觀點(diǎn)出發(fā)，像素偏移值與深度同義，因?yàn)樵谑澜缱鴺?biāo)中像素偏移值與物體深度成正比。使用對(duì)極投影變換，源視頻幀可以與對(duì)極線對(duì)平對(duì)齊。像素的偏移值在校準(zhǔn)圖像坐標(biāo)中只有x值。偏移值的估計(jì)受到光照改變、遮擋和孔徑問題的影響。因此，不可能獲得每一像素的準(zhǔn)確偏移值。另一方面，獲得每一像素的偏移值是一項(xiàng)耗時(shí)的任務(wù)。因此，本發(fā)明的方案只選擇接縫區(qū)域附近的一些特征點(diǎn)進(jìn)行深度估計(jì)。在該實(shí)施方式中，選擇接縫附近的一列像素作為特征點(diǎn)來估計(jì)它們的偏移值。一旦對(duì)這列像素完成了偏移值計(jì)算，計(jì)算偏移值的平均值作為所估計(jì)的圖像偏移值。這種策略的思想在于僅計(jì)算域偏移值以表示景深。本發(fā)明的策略是簡單而有效的，因?yàn)橹饕獙?duì)象通常吸引人們的注意力，而虛影僅出現(xiàn)在交迭圖像區(qū)域，尤其是接縫區(qū)域。對(duì)列像素的偏移值估計(jì)是利用基于塊匹配的平方差測度方法。下面描述場景偏移值估計(jì)方法對(duì)每一對(duì)校準(zhǔn)后的相鄰圖像/;，'和/,"，下標(biāo)Z表示時(shí)刻，上標(biāo)C表示已經(jīng)執(zhí)行了對(duì)極校準(zhǔn)，上標(biāo)!'和乂表示(空間相鄰)圖像位置1)基于初始信息，確定/,"中A處以及/,"中^處的接縫位置。2)對(duì)于/,"中列s,-!處的每個(gè)像素k，其中W表示接縫的寬度，2(1)從-Z)到+Z)改變變量A其中Z)由系統(tǒng)的用戶預(yù)先指定，作為預(yù)定偏移值范圍。如下計(jì)算其平方亮度差之和一<formula>formulaseeoriginaldocumentpage21</formula>(2)像素k的偏移值是<formula>formulaseeoriginaldocumentpage21</formula>3)計(jì)算該圖像對(duì)的偏移值<formula>formulaseeoriginaldocumentpage21</formula>其中W是圖像列中的像素?cái)?shù)目。2.2投影變換更新一旦本發(fā)明的方案獲得了一對(duì)相鄰圖像的偏移值^，可以容易地計(jì)算新的相鄰?fù)队白儞Q。在本發(fā)明中，選擇利用3x3浮點(diǎn)矩陣的單應(yīng)變換，來表示投影變換。再參考圖3，該圖給出了相鄰?fù)队白儞Q/^以及對(duì)極校準(zhǔn)變換///和///的示例，假設(shè)向量X,"x,力表示源圖像/中的像素位置。^、《和《'表示源圖像y以及校準(zhǔn)圖像z'和y中的像素位置。在相鄰?fù)队白儞Q/^下，圖像7中的像素可以變換到圖像/中，具有新位置《。圖2還給出了參考平面中接縫的位置以及圖像/的對(duì)極校準(zhǔn)圖像坐標(biāo)。這表明相同接縫在不同圖像坐標(biāo)中具有不同的位置表示。如果選擇圖像/的平面作為參考平面，則相鄰?fù)队白儞Q的位置變換可以表示如下-<formula>formulaseeoriginaldocumentpage21</formula>其中，？表示源視頻的時(shí)間。同時(shí)，圖像/和y可以通過對(duì)極校準(zhǔn)變換進(jìn)行校準(zhǔn)。這種變換也可以對(duì)A々)進(jìn)行。由于相同接縫可以表示在圖像/及其校準(zhǔn)圖像的圖像坐標(biāo)中，所以校準(zhǔn)圖像坐標(biāo)中的接縫是垂直的。圖像y的校準(zhǔn)圖像位置表示如下-結(jié)合等式3和4，得到(5)該等式意味著圖像/首先投影到圖像/的平面上。然后，將其投影到圖像/的校準(zhǔn)圖像平面上。如果景深在f+7時(shí)刻改變，則可以通過前述深度估計(jì)處理來估計(jì)偏移值^W1)。因?yàn)?(0)可以設(shè)為0，所以偏移值可以表示為;(,+l)=CX(0)(6)根據(jù)等式6，可以得到如下偏移值表示-j(f+1)=(,+—y仏(o)z,(7)如果具有/^的矩陣逆，則等式7可以表示為//',+l)A=//,(0)&+(//:)-'^+l)(8)根據(jù)等式8，可以清楚看到圖像y'向參考平面的像素投影可以分為兩部分。第一部分是利用/Z/,的投影變換，這在校準(zhǔn)裝置中得到。另一部分是補(bǔ)償項(xiàng)，由估計(jì)偏移值和對(duì)極校準(zhǔn)變換確定。然而，本發(fā)明的目標(biāo)是得到當(dāng)前參考投影變換。圖4示出了三個(gè)圖像的拓?fù)潢P(guān)系圖?；诘仁?，可以如下將圖像/t投影到圖像y:&=/^("1)&=&(0)&+(/^)-'《(,+l)(9)因此，可以首先將圖像A投影到圖像y。然后，如下將變換后的圖像A投影到圖像/:=//"0)^+(//;)-(io)=(o)&(o)a+//;,(0)(//;)-'《(/+1)+(//,T15(,+1)根據(jù)等式io，可以清楚看到通過之前的計(jì)算已經(jīng)得到了所有使用的變換。在等式io中，/^(0)A(o)是參考投影變換，與《("i)和《(r+i)相關(guān)的另兩項(xiàng)是補(bǔ)償項(xiàng)。等式io可以容易地?cái)U(kuò)展到如下鏈模式(11)A=//,,(0)…//,,(,,_')(o艮(o)a+(o)...//("-,)(o)(//:)—X("1)根據(jù)等式ll，//(0)的乘積可以迭代計(jì)算并重復(fù)使用。補(bǔ)償項(xiàng)的數(shù)目與投影鏈長度相同。2.3變換索引更新對(duì)于視頻拼接技術(shù)，不同投影變換下的位置變換常常采用浮點(diǎn)計(jì)算。例如，給定投影矩陣好，目標(biāo)像素位置(;c',/)與源像素位置(;c,力之間的投影變換表示為上述等式2。好是具有8個(gè)變量的單應(yīng)矩陣<formula>formulaseeoriginaldocumentpage23</formula>根據(jù)等式2，位置計(jì)算需要8次浮點(diǎn)相乘以及6次浮點(diǎn)相加。一幅640x480的圖像具有307,200個(gè)像素。這意味著它需要大約2百萬次浮點(diǎn)相乘和相加。然而，拼接視頻幀通常具有極高分辨率。因此，減少這種計(jì)算負(fù)擔(dān)對(duì)于視頻拼接方案而言是必要的。幸運(yùn)的是，根據(jù)等式ll，本發(fā)明的方案可以不加改變地利用校準(zhǔn)階段獲得的變換。因此，可以預(yù)先計(jì)算位置變換，并對(duì)它們進(jìn)行索引。在投影變換更新時(shí)，可以通過較少的計(jì)算來修改這種索引。表1示出了索引示例。表l像素索引表<table>tableseeoriginaldocumentpage23</column></row><table>表1的第一列是幀拼接圖中的像素位置。第二列是源視頻幀中對(duì)應(yīng)的像素位置。第三列是源像素的源視頻號(hào)。最后一列是混合是使用的權(quán)重，其中像素權(quán)重可以通過多種方法來確定，例如，可以如等式l根據(jù)像素與其對(duì)應(yīng)圖像中心之間的距離來確定。第三和第四行表示拼接圖像素位置相同而源像素位置不同的接縫像素。在等式11中，本發(fā)明的方案需要計(jì)算與S相關(guān)的補(bǔ)償項(xiàng)。在補(bǔ)償項(xiàng)中，相鄰?fù)队白儞Q的乘積可以預(yù)先計(jì)算，并表示為-//,,(0)—//(—,),,(0)(//:)—'=cuc12c13C21&22C23C3，C321補(bǔ)償項(xiàng)可以如下計(jì)算:c31of+1c31d+l(13)(14)其中，^是S的X值，并且其齊次坐標(biāo)表示如下;AT0山(15)根據(jù)等式14，投影更新需要5次相乘和3次相加。值得指出的是，這種補(bǔ)償項(xiàng)僅計(jì)算一次，且適用于源視頻幀內(nèi)的所有像素。因此，一幀的補(bǔ)償項(xiàng)的計(jì)算時(shí)間可忽略不計(jì)。最終的計(jì)算用于每個(gè)像素的2次相加。2.4像素插值和混合一旦確定了參考投影變換，可以將來自源視頻幀的像素映射到全景視頻的幀拼接圖上。如果幀拼接圖中的像素只有一個(gè)對(duì)應(yīng)源視頻幀像素，可以使用像素插值來獲得像素值。另一方面，幀拼接圖中的像素可以具有若干對(duì)應(yīng)源視頻幀像素，該像素可以通過像素混合得到。像素混合是加權(quán)像素混合處理。權(quán)重由參考平面中距其圖像中心的像素距離確定。這種權(quán)重也可以像素索引步驟中預(yù)先計(jì)算。對(duì)于像素插值和混合處理，在此可以引用參考文獻(xiàn)[7]作為參考。第一實(shí)施例下文將參考圖l和5進(jìn)一步詳細(xì)描述本發(fā)明的第一實(shí)施例。圖1示出了根據(jù)本發(fā)明第一實(shí)施例的視頻拼接系統(tǒng)的方框圖。如圖1所示，該視頻拼接系統(tǒng)包括攝像機(jī)陣列100、校準(zhǔn)裝置200、拼接裝置300以及像素插值器和混合器400。攝像機(jī)陣列100具有至少兩部攝像機(jī)，并從攝像機(jī)向校準(zhǔn)裝置200、拼接裝置300以及像素插值器和混合器400提供源視頻。使用時(shí)，用戶可以選擇攝像機(jī)陣列100中的任意攝像機(jī)，還可以指定所選攝像機(jī)中任何一部作為關(guān)注攝像機(jī)(即，該攝像機(jī)獲得的圖像處于視場中央)。攝像機(jī)陣列100中的至少兩部攝像機(jī)具有交迭的視場。校準(zhǔn)裝置200用于基于從攝像機(jī)陣列IOO傳送來的源視頻，執(zhí)行初始校準(zhǔn)處理(包括對(duì)極校準(zhǔn)和投影變換)，并且包括對(duì)極校準(zhǔn)器210、攝像機(jī)位置校準(zhǔn)器230、接縫確定器250、索引產(chǎn)生器260以及乘法器270。對(duì)極校準(zhǔn)器210用于為每一相鄰幀對(duì)計(jì)算對(duì)極變換參數(shù)，并將計(jì)算的參數(shù)存儲(chǔ)于其中。將所存儲(chǔ)的變換參數(shù)發(fā)送到接縫確定器250、乘法器270以及拼接裝置300的偏移值計(jì)算器320。攝像機(jī)位置校準(zhǔn)器230用于計(jì)算相鄰?fù)队白儞Q和參考投影變換參數(shù)，并將它們存儲(chǔ)于其中。將所存儲(chǔ)的變換參數(shù)發(fā)送到接縫確定器250、索引產(chǎn)生器260以及乘法器270。接縫確定器250用于基于來自對(duì)極校準(zhǔn)器210和攝像機(jī)位置校準(zhǔn)器230的每一相鄰幀對(duì)的對(duì)極和相鄰?fù)队白儞Q參數(shù)，計(jì)算接縫像素位置及其權(quán)重。將接縫區(qū)域信息發(fā)送到拼接裝置300的偏移值計(jì)算器320以進(jìn)行偏移值計(jì)算，并且還發(fā)送到索引產(chǎn)生器260。索引產(chǎn)生器260基于來自攝像機(jī)位置校準(zhǔn)器230的參考投影變換參數(shù)以及來自接縫確定器250的接縫區(qū)域信息和接縫像素權(quán)重，生成像素索引表。乘法器270對(duì)分別來自對(duì)極校準(zhǔn)器210和攝像機(jī)位置校準(zhǔn)器230的對(duì)極變換參數(shù)和投影變換參數(shù)進(jìn)行相乘，以生成并存儲(chǔ)所需對(duì)極投影變換乘積，該乘積將由拼接裝置300的補(bǔ)償計(jì)算器330使用。拼接裝置300用于通過利用估計(jì)深度信息(偏移值)快速更新從源圖像(視頻)到拼接圖像(視頻)的投影變換，并且包括偏移值計(jì)算器320、補(bǔ)償計(jì)算器330和索引更新器340。偏移值計(jì)算器320用于基于來自對(duì)極校準(zhǔn)器210的對(duì)極變換參數(shù)以及來自接縫確定器250的接縫區(qū)域信息，計(jì)算當(dāng)前幀的偏移值。將計(jì)算的偏移值發(fā)送到補(bǔ)償計(jì)算器330。補(bǔ)償計(jì)算器330用于基于乘法器270中存儲(chǔ)的對(duì)極投影變換乘積以及來自偏移值計(jì)算器320的偏移值，為已經(jīng)存儲(chǔ)在索引產(chǎn)生器260生成的像素索引表中的參考投影變換參數(shù)計(jì)算補(bǔ)償項(xiàng)。具體地，根據(jù)等式14計(jì)算補(bǔ)償項(xiàng)。將計(jì)算的補(bǔ)償項(xiàng)發(fā)送到索引更新器340。索引更新器340用于更新新參考投影變換參數(shù)下的像素對(duì)應(yīng)關(guān)系。將更新的像素索引發(fā)送到像素插值器和混合器400，以產(chǎn)生拼接圖。像素插值器和混合器400用于基于拼接裝置300的索引更新器340所生成的更新像素索引，執(zhí)行像素插值和混合處理，以根據(jù)從攝像機(jī)陣列IOO傳送來的源視頻建立全景視頻。接下來將參考圖5詳細(xì)描述根據(jù)本發(fā)明第一實(shí)施例的視頻拼接系統(tǒng)(圖1)的操作流程。圖5示出了根據(jù)本發(fā)明第一實(shí)施例的視頻拼接方法的流程圖。如圖5所示，在步驟S400中，校準(zhǔn)裝置200執(zhí)行初始化(校準(zhǔn)步驟)，獲得對(duì)極變換參數(shù)、相鄰?fù)队白儞Q參數(shù)、參考投影變換參數(shù)、接縫像素位置及其權(quán)重、以及像素索引表。此后，在步驟S510中，拼接裝置300的偏移值計(jì)算器320計(jì)算攝像機(jī)陣列100所提供的多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)由接縫確定器250所確定的接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值，并且在步驟S515中，拼接裝置300的偏移值計(jì)算器320將兩個(gè)空間相鄰圖像中接縫區(qū)域處所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得這對(duì)空間相鄰圖像的平均偏移值。在步驟S520中，偏移值計(jì)算器320確定用戶所選擇的圖像中是否存在任何其他空間相鄰圖像對(duì)。如果是這樣的話(步驟S520中"是")，對(duì)于下一對(duì)空間相鄰圖像，拼接裝置300的偏移值計(jì)算器320重復(fù)步驟S510S515，以計(jì)算每對(duì)空間相鄰圖像的平均偏移值。如果用戶所選擇的圖像中不存在其他空間相鄰圖像對(duì)(步驟S520中"否")，則在步驟S525中，拼接裝置300的補(bǔ)償計(jì)算器330通過使用來自校準(zhǔn)裝置200的乘法器270的所需對(duì)極投影變換乘積以及由偏移值計(jì)算器320所生成的所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素索引表的補(bǔ)償項(xiàng)(遵循等式14)。接著，在步驟S530中，拼接裝置300的索引更新器340以拼接裝置300的補(bǔ)償計(jì)算器340計(jì)算的補(bǔ)償項(xiàng)來更新來自校準(zhǔn)裝置200的投影變換器240的像素索引，以獲得更新像素索引表。此后，在步驟S600中，像素插值器和混合器400通過使用更新像素索引，對(duì)來自攝像機(jī)陣列100的源視頻進(jìn)行像素插值和混合，從而以實(shí)時(shí)或近實(shí)時(shí)方式逐幀獲得全景視頻。第二實(shí)施例下文將參考圖6和7進(jìn)一步詳細(xì)描述本發(fā)明的第二實(shí)施例。圖6示出了根據(jù)本發(fā)明第二實(shí)施例的視頻拼接系統(tǒng)的方框圖。與圖1所示的第一實(shí)施例相比，校準(zhǔn)裝置200中的索引產(chǎn)生器260以及拼接裝置300中的索引更新器340由稱作對(duì)應(yīng)關(guān)系計(jì)算器340'的單一單元代替；省略乘法器270，從而對(duì)極校準(zhǔn)器210和攝像機(jī)位置校準(zhǔn)器230的輸出直接連接到補(bǔ)償計(jì)算器330。第二實(shí)施例的其他部件與第一實(shí)施例中相似，因而為清楚和簡單起見省略對(duì)它們的詳細(xì)描述。由于省略了乘法器270，校準(zhǔn)裝置200不再輸出所需對(duì)極投影變換乘積。因此，補(bǔ)償計(jì)算器330需要根據(jù)直接輸入的對(duì)極變換參數(shù)和投影變換參數(shù)，計(jì)算所需對(duì)極投影變換乘積(遵循等式13)。對(duì)應(yīng)關(guān)系計(jì)算器340'用于生成兩個(gè)原始圖像中的原始像素與拼接圖像中的對(duì)應(yīng)目標(biāo)像素之間的像素變換對(duì)應(yīng)關(guān)系。對(duì)應(yīng)關(guān)系計(jì)算器340'的輸入包括來自攝像機(jī)位置校準(zhǔn)器230的參考投影變換參數(shù)、來自接縫確定器250的像素權(quán)重、來自攝像機(jī)位置校準(zhǔn)器230的每一相鄰幀對(duì)的相鄰?fù)队白儞Q參數(shù)、以及來自補(bǔ)償計(jì)算器330的像素變換的補(bǔ)償項(xiàng)。具體地，原始像素與目標(biāo)像素之間的像素變換對(duì)應(yīng)關(guān)系包括位置對(duì)應(yīng)關(guān)系和權(quán)重(權(quán)重直接從校準(zhǔn)裝置200的接縫確定器250獲得)。對(duì)應(yīng)關(guān)系計(jì)算器340'根據(jù)上述等式11計(jì)算位置對(duì)應(yīng)關(guān)系，以便結(jié)合直接輸入的權(quán)重來生成像素變換對(duì)應(yīng)關(guān)系。相應(yīng)地，像素插值器和混合器400基于拼接裝置300的對(duì)應(yīng)關(guān)系計(jì)算器340'所生成的對(duì)應(yīng)關(guān)系，執(zhí)行像素插值和混合處理，以根據(jù)從攝像機(jī)陣列ioo傳送來的源視頻建立全景視頻。接下來，將參考圖7詳細(xì)描述根據(jù)本發(fā)明第二實(shí)施例的視頻拼接系統(tǒng)(圖6)的操作流程。圖7示出了根據(jù)本發(fā)明第二實(shí)施例的視頻拼接方法的流程圖。與圖5相比，圖5中的步驟525和530分別由步驟525'和530'代替。圖7中的其他步驟與圖5中相似，因而為了清楚和簡單起見將省略對(duì)它們的詳細(xì)描述。在步驟525'中，拼接裝置300的補(bǔ)償計(jì)算器330通過使用來自校準(zhǔn)裝置200的對(duì)極變換器220的對(duì)極變換參數(shù)、來自240的投影變換參數(shù)以及由偏移值計(jì)算器320生成的所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素變換的補(bǔ)償項(xiàng)。具體地，根據(jù)等式13和等式14計(jì)算補(bǔ)償項(xiàng)。接著，在步驟S530'中，拼接裝置的對(duì)應(yīng)關(guān)系計(jì)算器340'通過考慮由拼接裝置300的補(bǔ)償計(jì)算器所計(jì)算的補(bǔ)償項(xiàng)，根據(jù)等式11生成兩個(gè)原始圖像中的原始像素與拼接圖像中對(duì)應(yīng)的目標(biāo)像素之間的像素變換關(guān)系。此后，在步驟S600中，像素插值器和混合器400基于由拼接裝置300的對(duì)應(yīng)關(guān)系計(jì)算器340'生成的對(duì)應(yīng)關(guān)系，對(duì)來自攝像機(jī)陣列100的源視頻進(jìn)行像素插值和容易，從而以實(shí)時(shí)或近實(shí)時(shí)方式逐幀獲得全、比較第一實(shí)施例與第二實(shí)施例，可以發(fā)現(xiàn)第一實(shí)施例會(huì)提供較快的計(jì)算速度且需要更多存儲(chǔ)空間。在第一實(shí)施例中，在初始化校準(zhǔn)步驟中還預(yù)先生成并存儲(chǔ)對(duì)極投影變換乘積；原始和目標(biāo)像素之間的對(duì)應(yīng)關(guān)系反映在初始化校準(zhǔn)步驟中預(yù)先生成的像素索引表中。然而，在第二實(shí)施例中，對(duì)每一幀對(duì)重復(fù)計(jì)算對(duì)極校準(zhǔn)變換乘積和對(duì)應(yīng)關(guān)系。另外，發(fā)明人還發(fā)現(xiàn)，一對(duì)圖像的補(bǔ)償項(xiàng)對(duì)于其中所有像素都是相同的，因而在第一實(shí)施例中，索引更新步驟將耗費(fèi)甚至更少的計(jì)算負(fù)擔(dān)和時(shí)間。然而，在第二實(shí)施例中，如第一實(shí)施例對(duì)這種補(bǔ)償項(xiàng)計(jì)算一次，但是在對(duì)應(yīng)關(guān)系計(jì)算中重復(fù)使用。根據(jù)等式ll，可知這種對(duì)應(yīng)關(guān)系計(jì)算毫無疑問將引入比簡單更新索引表更多的計(jì)算負(fù)擔(dān)。第二實(shí)施例盡管帶來更多計(jì)算負(fù)擔(dān)，但是將耗費(fèi)較少的存儲(chǔ)空間。因此，第一和第二實(shí)施例之間的選擇是存儲(chǔ)空間與計(jì)算負(fù)擔(dān)之間的折中。盡管在第一和第二實(shí)施例中，本發(fā)明以多個(gè)部件來實(shí)現(xiàn)。但是，這種構(gòu)造不應(yīng)理解為對(duì)本發(fā)明的限制。具體地，本發(fā)明可以更多或更少的部件來實(shí)現(xiàn)，或者通過將上述部件之一分割為若干部件來實(shí)現(xiàn)，或者通過將某些上述部件組合為單一部件來實(shí)現(xiàn)。因此，本發(fā)明的具體硬件結(jié)構(gòu)僅有所附權(quán)利要求限定，而不是由以上實(shí)施例限制。此外，如本領(lǐng)域技術(shù)人員所知，本發(fā)明也可以通過軟件、硬件、固件或其組合來實(shí)現(xiàn)。比較結(jié)果圖8(a)和8(b)示出了原始圖像對(duì)，其中兩個(gè)圖像空間相鄰。作為比較，圖9示出了圖8(a)和8(b)所示這兩個(gè)圖像的現(xiàn)有技術(shù)拼接結(jié)果(參考文獻(xiàn)[2p，圖IO示出了圖8(a)和8(b)所示這兩個(gè)圖像的本發(fā)明拼接結(jié)果?？梢郧宄闯觯景l(fā)明的拼接結(jié)果表現(xiàn)出良好的視覺質(zhì)量，具有較少虛影，尤其在兩個(gè)原始圖像的接縫區(qū)域。前面的描述只是給出了本發(fā)明的優(yōu)選實(shí)施例，而決不是要限制本發(fā)明。因此，在本發(fā)明的精神和原理之內(nèi)作出的任何修改、替換、改進(jìn)等都應(yīng)落在本發(fā)明的范圍內(nèi)。參考文獻(xiàn)列表RichardSzeliski,/mage^4//g"me"f)SV"c/z/wgz」T^on'a/,FoundationsandTrendsinComputerVision,Vol.2，No.1，pp.1-104，2006,USPatentApplicationPublication,No.US2007/0211934A1,PatrickPan,TatsumiMitsushita,ChristineLin，BenjaminKuo,(9,>m!z^附eoi5V/to^一Me//w<i，September,2007.TomoyukiShimizu,AkioYoneyama,YasuhiroTakishima,爿C畫pre應(yīng)(iWdeo浙eams，ProceedingofInternationalConferenceonConsumerElectronics,pp.173-174,2006.[4]ChrisHarrisandMikeStephens.y4Com6/"ec/Cor"er￡<ige/Sector.ProceedingsofTheFourtlrAlveyVisionConference,Manchester,pp147-151.1988[5]DavidG.Lowe.D&""cWve/mage々o附Sca/e-T^var/aWInternationalJournalofComputerVision,Vol,60,No.2,pp.91-110,2004.[6]HartleyR，ZissermanA.Mw/印,eGeowe^yCo呼z^er版.on.Cambridge:UniversityPress,2000.[7]MatthewAlunBrown.Mw/d-TwageAf"/c/2/wgL^/wg/"van'awfFeCwmy.Ph.D.Dissertation,theUniversityofBritishColumbia,2005.權(quán)利要求1.一種在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的方法，包括如下步驟針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值；對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；以及通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算深度補(bǔ)償項(xiàng)。2.根據(jù)權(quán)利要求l所述的在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的方法，在偏移值計(jì)算步驟之前還包括如下步驟-生成對(duì)極變換參數(shù)和投影變換參數(shù)。3.根據(jù)權(quán)利要求2所述的在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的方法，在偏移值計(jì)算步驟之前還包括如下步驟通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘，生成所需對(duì)極投影變換乘積。4.根據(jù)權(quán)利要求3所述的在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的方法，其中，深度補(bǔ)償項(xiàng)通過如下方式計(jì)算將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘。5.根據(jù)權(quán)利要求1所述的在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的方法，其中，接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值通過如下方式計(jì)算-對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。6.—種在視頻拼接應(yīng)用中確定深度補(bǔ)償項(xiàng)的設(shè)備，包括用于針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值的裝置；用于對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值的裝置；以及用于通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算深度補(bǔ)償項(xiàng)的裝置。7.—種視頻拼接裝置，包括偏移值計(jì)算器，用于針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值，并對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；補(bǔ)償計(jì)算器，用于通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及偏移值計(jì)算器所生成的所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素索引表的補(bǔ)償項(xiàng)；以及索引更新器，用于以補(bǔ)償計(jì)算器所計(jì)算的補(bǔ)償項(xiàng)，更新像素索引表中的像素對(duì)應(yīng)關(guān)系及其權(quán)重，以獲得更新像素索引表。8.根據(jù)權(quán)利要求7所述的視頻拼接裝置，其中，在外部使用更新像素索引表，以根據(jù)所述多個(gè)源視頻生成全景視頻。9.根據(jù)權(quán)利要求7所述的視頻拼接裝置，其中，對(duì)極變換參數(shù)、投影變換參數(shù)以及像素索引表在外部生成，然后通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘在外部生成所需對(duì)極投影變換乘積。10.根據(jù)權(quán)利要求9所述的視頻拼接裝置，其中，補(bǔ)償計(jì)算器通過將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘，來計(jì)算像素索引表的補(bǔ)償項(xiàng)。11.根據(jù)權(quán)利要求7所述的視頻拼接裝置，其中，偏移值計(jì)算器通過如下方式計(jì)算接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。12.根據(jù)權(quán)利要求711中任一項(xiàng)所述的視頻拼接裝置，其中，索引表包括像素位置對(duì)應(yīng)關(guān)系和權(quán)重。13.—種視頻拼接系統(tǒng)，包括根據(jù)權(quán)利要求712中任一項(xiàng)所述的視頻拼接裝置；以及像素插值器和混合器，用于通過使用來自視頻拼接裝置的更新像素索引表，根據(jù)所述多個(gè)源視頻生成全景視頻。14.根據(jù)權(quán)利要求13所述的視頻拼接系統(tǒng)，還包括校準(zhǔn)裝置，用于生成對(duì)極變換參數(shù)、投影變換參數(shù)、像素索引表和所需對(duì)極投影變換乘積。15.根據(jù)權(quán)利要求14所述的視頻拼接系統(tǒng)，其中，校準(zhǔn)裝置包括對(duì)極校準(zhǔn)器，用于計(jì)算并存儲(chǔ)對(duì)極變換參數(shù)；攝像機(jī)位置校準(zhǔn)器，用于計(jì)算并存儲(chǔ)投影變換參數(shù)；乘法器，用于將對(duì)極變換參數(shù)與投影變換參數(shù)相乘，以生成所需對(duì)極投影變換乘積；接縫確定器，用于基于分別來自對(duì)極校準(zhǔn)器和攝像機(jī)位置校準(zhǔn)器的對(duì)極變換參數(shù)和投影參數(shù)，確定接縫區(qū)域以及接縫區(qū)域處像素的權(quán)重；以及索引產(chǎn)生器，用于基于來自位置校準(zhǔn)器的投影變換參數(shù)以及來自接縫確定器的接縫區(qū)域和像素權(quán)重，生成像素索引表。16.根據(jù)權(quán)利要求1315中任一項(xiàng)所述的視頻拼接系統(tǒng)，還包括攝像機(jī)陣列，用于生成所述多個(gè)源視頻，其中，攝像機(jī)陣列中至少兩個(gè)攝像機(jī)在空間上排列為具有交迭視場。17.—種視頻拼接方法，包括如下步驟針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值；對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素索引表的補(bǔ)償項(xiàng)；以及以所計(jì)算的補(bǔ)償項(xiàng)，更新像素索引表中的像素對(duì)應(yīng)關(guān)系及其權(quán)重，以獲得更新像素索引表。18.根據(jù)權(quán)利要求17所述的視頻拼接方法，還包括如下步驟使用更新像素索引表，以根據(jù)所述多個(gè)源視頻生成全景視頻。19.根據(jù)權(quán)利要求17所述的視頻拼接方法，在偏移值計(jì)算步驟之前還包括如下步驟生成對(duì)極變換參數(shù)、投影變換參數(shù)以及像素索引表；以及通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘在外部生成所需對(duì)極投影變換乘積。20.根據(jù)權(quán)利要求19所述的視頻拼接方法，其中，通過將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘，來計(jì)算像素索引表的補(bǔ)償項(xiàng)。21.根據(jù)權(quán)利要求17所述的視頻拼接方法，其中，通過如下方式計(jì)算接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。22.根據(jù)權(quán)利要求1721中任一項(xiàng)所述的視頻拼接方法，其中，索引表包括位置對(duì)應(yīng)關(guān)系和權(quán)重。23.—種視頻拼接裝置，包括偏移值計(jì)算器，用于對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值，并對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；補(bǔ)償計(jì)算器，用于通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及偏移值計(jì)算器所生成的所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素變換的補(bǔ)償項(xiàng)；以及像素對(duì)應(yīng)關(guān)系計(jì)算器，用于通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及補(bǔ)償計(jì)算器所計(jì)算的補(bǔ)償項(xiàng)，計(jì)算所述兩個(gè)空間相鄰圖像內(nèi)的點(diǎn)與其對(duì)應(yīng)目標(biāo)點(diǎn)之間的位置對(duì)應(yīng)關(guān)系，以生成像素變換對(duì)應(yīng)關(guān)系，所述像素變換對(duì)應(yīng)關(guān)系包括所計(jì)算的位置對(duì)應(yīng)關(guān)系以及外部提供的權(quán)重。24.根據(jù)權(quán)利要求23所述的視頻拼接裝置，其中，所生成的像素變換對(duì)應(yīng)關(guān)系在外部用于根據(jù)所述多個(gè)源視頻生成全景視頻。25.根據(jù)權(quán)利要求23所述的視頻拼接裝置，其中，對(duì)極變換參數(shù)和投影變換參數(shù)在外部生成。26.根據(jù)權(quán)利要求23所述的視頻拼接裝置，其中，補(bǔ)償計(jì)算器通過如下方式來計(jì)算像素的補(bǔ)償項(xiàng)通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘，生成所需對(duì)極投影變換乘積；以及將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘。27.根據(jù)權(quán)利要求23所述的視頻拼接裝置，其中，偏移值計(jì)算器通過如下方式計(jì)算接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。28.—種視頻拼接系統(tǒng)，包括根據(jù)權(quán)利要求2327中任一項(xiàng)所述的視頻拼接裝置；以及像素插值器和混合器，用于通過使用來自視頻拼接裝置的所計(jì)算的像素變換對(duì)應(yīng)關(guān)系，根據(jù)所述多個(gè)源視頻生成全景視頻。29.根據(jù)權(quán)利要求28所述的視頻拼接系統(tǒng)，還包括校準(zhǔn)裝置，用于生成對(duì)極變換參數(shù)、投影變換參數(shù)、接縫區(qū)域以及接縫區(qū)域處像素的權(quán)重。30.根據(jù)權(quán)利要求29所述的視頻拼接系統(tǒng)，其中，校準(zhǔn)裝置包括對(duì)極校準(zhǔn)器，用于計(jì)算并存儲(chǔ)對(duì)極變換參數(shù)；攝像機(jī)位置校準(zhǔn)器，用于計(jì)算并存儲(chǔ)投影變換參數(shù)；以及接縫確定器，用于基于分別來自對(duì)極校準(zhǔn)器和攝像機(jī)位置校準(zhǔn)器的對(duì)極變換參數(shù)和投影參數(shù)，確定接縫區(qū)域以及接縫區(qū)域處像素的權(quán)重。31.根據(jù)權(quán)利要求2830中任一項(xiàng)所述的視頻拼接系統(tǒng)，還包括攝像機(jī)陣列，用于生成所述多個(gè)源視頻，其中，攝像機(jī)陣列中至少兩個(gè)攝像機(jī)在空間上排列為具有交迭視場。32.—種視頻拼接方法，包括如下步驟-針對(duì)多個(gè)源視頻中兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的每一對(duì)應(yīng)點(diǎn)對(duì)，計(jì)算偏移值；對(duì)所述兩個(gè)空間相鄰圖像內(nèi)的接縫區(qū)域處的所有對(duì)應(yīng)點(diǎn)對(duì)的偏移值進(jìn)行平均，以獲得該空間相鄰圖像對(duì)的平均偏移值；通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所有空間相鄰圖像對(duì)的平均偏移值，計(jì)算像素變換的補(bǔ)償項(xiàng)；以及通過使用對(duì)極變換參數(shù)、投影變換參數(shù)以及所計(jì)算的補(bǔ)償項(xiàng)，計(jì)算所述兩個(gè)空間相鄰圖像內(nèi)的點(diǎn)與其對(duì)應(yīng)目標(biāo)點(diǎn)之間的位置對(duì)應(yīng)關(guān)系，以生成像素變換對(duì)應(yīng)關(guān)系，所述像素變換對(duì)應(yīng)關(guān)系包括所計(jì)算的位置對(duì)應(yīng)關(guān)系以及外部提供的權(quán)重。33.根據(jù)權(quán)利要求32所述的視頻拼接方法，還包括如下步驟使用所生成的像素變換對(duì)應(yīng)關(guān)系來根據(jù)所述多個(gè)源視頻生成全景視頻。34.根據(jù)權(quán)利要求32所述的視頻拼接方法，在偏移值計(jì)算步驟之前還包括如下步驟生成對(duì)極變換參數(shù)、投影變換參數(shù)，接縫區(qū)域以及接縫區(qū)域處像素的權(quán)重。35.根據(jù)權(quán)利要求32所述的視頻拼接方法，其中，通過如下方式計(jì)算像素變換的補(bǔ)償項(xiàng)通過將對(duì)極變換參數(shù)與投影變換參數(shù)相乘，生成所需對(duì)極投影變換乘積；以及將所需對(duì)極投影變換乘積與所有空間相鄰圖像對(duì)的平均偏移值相乘。36.根據(jù)權(quán)利要求32所述的視頻拼接方法，其中，通過如下方式計(jì)算接縫區(qū)域處每一對(duì)應(yīng)點(diǎn)對(duì)的偏移值-對(duì)預(yù)定偏移值范圍中的每一偏移值，計(jì)算與之相對(duì)應(yīng)的圖像平方亮度差之和；在所計(jì)算的與所述預(yù)定偏移值范圍中所有偏移值相對(duì)應(yīng)的亮度差中搜索最小平方亮度差之和；以及將與最小平方亮度差之和相對(duì)應(yīng)的偏移值確定為該對(duì)應(yīng)點(diǎn)對(duì)的偏移值。全文摘要本發(fā)明涉及一種深度自適應(yīng)視頻拼接的方法、裝置和系統(tǒng)。根據(jù)本發(fā)明的視頻拼接系統(tǒng)包括攝像機(jī)陣列、校準(zhǔn)裝置、視頻拼接裝置以及像素插值器和混合器。攝像機(jī)陣列生成多個(gè)源視頻。校準(zhǔn)裝置執(zhí)行對(duì)極校準(zhǔn)和攝像機(jī)位置校準(zhǔn)，確定多個(gè)源視頻中每一空間相鄰圖像對(duì)的接縫區(qū)域，并生成像素索引表。視頻拼接裝置計(jì)算深度對(duì)應(yīng)的平均像素偏移值，基于平均偏移值形成像素索引表的補(bǔ)償項(xiàng)，并以補(bǔ)償項(xiàng)更新像素索引表。像素插值器和混合器通過使用更新后的像素索引表，根據(jù)多個(gè)源視頻生成全景視頻。文檔編號(hào)G06T7/00GK101593350SQ20081009987公開日2009年12月2日申請(qǐng)日期2008年5月30日優(yōu)先權(quán)日2008年5月30日發(fā)明者張洪明,煒曾申請(qǐng)人:日電(中國)有限公司