處理全景畫面的制作方法
【專利摘要】本發(fā)明涉及處理畫面。在一種具體的實(shí)現(xiàn)方式中,存取被裁剪的畫面。被裁剪的畫面是使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的?;谔摂M攝像機(jī)窗口的運(yùn)動(dòng)和特征的運(yùn)動(dòng)產(chǎn)生被裁剪的畫面中的特征的運(yùn)動(dòng)模糊。向被裁剪的畫面中的特征添加所產(chǎn)生的運(yùn)動(dòng)模糊。在另一具體的實(shí)現(xiàn)方式中,一種信號(hào)或信號(hào)結(jié)構(gòu)包括關(guān)于使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面的畫面部分。該信號(hào)或信號(hào)結(jié)構(gòu)還包括關(guān)于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)的指示的運(yùn)動(dòng)部分。
【專利說明】處理全景畫面
[0001]對(duì)相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求享有于2012年5月18日提交的標(biāo)題為“Method to Create RealisticPan and Scanned Virtual Images from Panoramic, Fixed Posit1n Image CaptureDevices”的第61/688,658號(hào)美國(guó)臨時(shí)申請(qǐng)的權(quán)益,出于所有目的通過引用將其內(nèi)容并入本文。
【技術(shù)領(lǐng)域】
[0003]描述了涉及數(shù)字畫面的實(shí)現(xiàn)方式。各種具體的實(shí)現(xiàn)方式涉及處理全景數(shù)字畫面。
【背景技術(shù)】
[0004]經(jīng)常期望提取全景數(shù)字畫面的一部分。然而,得到的畫面常常觀看質(zhì)量很差。
【發(fā)明內(nèi)容】
[0005]根據(jù)一般方面,存取被裁剪的畫面。被裁剪的畫面使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪。針對(duì)被裁剪的畫面中的特征,基于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)和所述特征的運(yùn)動(dòng)來產(chǎn)生運(yùn)動(dòng)模糊。向所述被裁剪的畫面中的特征添加所產(chǎn)生的運(yùn)動(dòng)模糊。
[0006]根據(jù)另外的一般方面,一種信號(hào)或信號(hào)結(jié)構(gòu)包括畫面部分,其關(guān)于使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面。所述信號(hào)或信號(hào)結(jié)構(gòu)還包括關(guān)于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)的指示的運(yùn)動(dòng)部分。
[0007]下面在附圖和說明書中闡述一種或多種實(shí)現(xiàn)方式的細(xì)節(jié)。盡管以一種具體方式進(jìn)行了描述,但是應(yīng)當(dāng)清楚的是,可以以各種方式來配置或者實(shí)施實(shí)現(xiàn)方式。例如,可以將實(shí)現(xiàn)方式作為方法來執(zhí)行,或者實(shí)施為裝置,諸如例如被配置為執(zhí)行一組操作的裝置或存儲(chǔ)用于執(zhí)行一組操作的指令的裝置等,或者實(shí)施為信號(hào)。根據(jù)結(jié)合附圖和權(quán)利要求一起考慮的下面的詳細(xì)說明,其他方面和特征將變得顯而易見。
【專利附圖】
【附圖說明】
[0008]圖1提供了示意圖,圖示覆蓋全景畫面(大畫面)并且具有由攝像機(jī)矢量指示的運(yùn)動(dòng)的虛擬攝像機(jī)窗口的示例。
[0009]圖2提供了示意圖,圖示在虛擬攝像機(jī)窗口中具有對(duì)象的圖1的虛擬攝像機(jī)窗口的示例以及具有由固定運(yùn)動(dòng)矢量指示的運(yùn)動(dòng)的對(duì)象。
[0010]圖3提供了示意圖,圖示圖2矢量的矢量相加的示例,并且示出與虛擬攝像機(jī)窗口中的對(duì)象相關(guān)聯(lián)的合成矢量。
[0011]圖4提供了示意圖,圖示在第一全景畫面中包含特定特征的虛擬攝像機(jī)窗口示例。
[0012]圖5提供了示意圖,圖示在第二全景畫面中的新位置處的圖4的虛擬攝像機(jī)窗口示例以包含特定特征。
[0013]圖6提供了示意圖,圖示包括圖4和5中的特定特征并且例示表示特定特征的運(yùn)動(dòng)的矢量的全景畫面的示例。
[0014]圖7提供了示意圖,圖示包括圖4和5中的虛擬攝像機(jī)窗口并且例示表示虛擬攝像機(jī)窗口運(yùn)動(dòng)的矢量的全景畫面的示例。
[0015]圖8提供了示意圖,圖示表示要用于確定圖5的球的運(yùn)動(dòng)模糊的合成運(yùn)動(dòng)的矢量相加的示例。
[0016]圖9提供了示意圖,圖示表示要用于確定圖5的球員的運(yùn)動(dòng)模糊的合成運(yùn)動(dòng)的矢量相加的示例。
[0017]圖10提供了流程圖,圖示用于應(yīng)用運(yùn)動(dòng)模糊的過程的示例。
[0018]圖11提供了流程圖,圖示用于應(yīng)用運(yùn)動(dòng)模糊的過程的另一示例。
[0019]圖12提供了框圖,圖示在應(yīng)用運(yùn)動(dòng)模糊中使用的傳送系統(tǒng)的示例。
[0020]圖13提供了框圖,圖示在應(yīng)用運(yùn)動(dòng)模糊中使用的接收系統(tǒng)的示例。
【具體實(shí)施方式】
[0021]本申請(qǐng)中描述的至少一種實(shí)現(xiàn)方式針對(duì)一種從全景、固定位置的圖像捕捉設(shè)備生成逼真的經(jīng)搖攝及掃描(pan and scan)的虛像的方法。一種這樣的實(shí)現(xiàn)方式確定在搖攝及掃描過程中使用的窗口的運(yùn)動(dòng),并且獨(dú)立地確定在窗口中的特征的運(yùn)動(dòng)。
[0022]為了使得對(duì)大規(guī)模事件(例如在寬闊的場(chǎng)地上進(jìn)行的運(yùn)動(dòng))的觀看更加個(gè)性化,或者減少覆蓋該事件所需的攝像機(jī)數(shù)量,若干實(shí)現(xiàn)方式使用(i)單個(gè)超廣角(very wideangle)超高分辨率的攝像機(jī),或者(ii)覆蓋超廣角視圖的攝像機(jī)陣列。來自單個(gè)攝像機(jī)的輸出圖像是極高分辨率的圖像?;蛘?,將來自攝像機(jī)陣列的輸出拼接(stitch)在一起以將超寬視圖置入單個(gè)極高分辨率的圖像中。無論來自單個(gè)攝像機(jī)的還是來自攝像機(jī)陣列被拼接在一起的單個(gè)極高分辨率的圖像都被稱為大畫面(megapicture)或全景畫面。
[0023]在創(chuàng)建該大畫面之后,執(zhí)行搖攝及掃描操作,以仿真如果真實(shí)攝像機(jī)現(xiàn)場(chǎng)執(zhí)行圖像成幀和變焦則就會(huì)獲得的視圖。
[0024]注意,在各種實(shí)現(xiàn)方式中,單個(gè)攝像機(jī)或攝像機(jī)陣列是固定的。即,一個(gè)或多個(gè)攝像機(jī)不會(huì)在任何方向上移動(dòng)。例如,一個(gè)或多個(gè)攝像機(jī)不會(huì)平移地或者旋轉(zhuǎn)地移動(dòng)。運(yùn)動(dòng)可以相對(duì)于該固定的參考點(diǎn)或視點(diǎn)來確定。例如,為了確定相鄰畫面之間的特征的運(yùn)動(dòng),在每個(gè)畫面中的特征的位置可以相對(duì)于公共(全局)坐標(biāo)系來取得。例如,這與基于特征的位置在每個(gè)相鄰畫面的VCW內(nèi)的坐標(biāo)來確定特征的位置相反。
[0025]針對(duì)如下情況進(jìn)行補(bǔ)償是有利的:與物理攝像機(jī)不同,大畫面是從固定位置創(chuàng)建的,具有移動(dòng)對(duì)象,這造成移動(dòng)對(duì)象(例如,運(yùn)動(dòng)員)中的運(yùn)動(dòng)模糊。物理攝像機(jī)將跟蹤被攝體(運(yùn)動(dòng)員),因此對(duì)于攝像機(jī),背景將是模糊的。因?yàn)槿肆?xí)慣于觀看具有清楚的被攝體和模糊背景的快速移動(dòng)圖像而不是用相反方式,所以未補(bǔ)償?shù)姆桨竿ǔ2环细哔|(zhì)量的觀看。
[0026]在至少一種實(shí)現(xiàn)方式中,極高快門速度成像系統(tǒng)(或者用于經(jīng)拼接的大畫面的多個(gè)極高快門速度系統(tǒng))創(chuàng)建源內(nèi)容,根本沒有運(yùn)動(dòng)模糊。通過平鋪(tile)或者布置來自多個(gè)通常在同一時(shí)刻拍攝畫面的攝像機(jī)的畫面,創(chuàng)建經(jīng)拼接的大畫面。在其原始形式下觀看該源內(nèi)容通常是令人痛苦的,因?yàn)闆]有運(yùn)動(dòng)模糊通常會(huì)對(duì)人眼造成明顯可感知的頻閃效應(yīng)(strobing effect)。
[0027]在創(chuàng)建源內(nèi)容之后,由用戶輸入所期望的仿真攝像機(jī)運(yùn)動(dòng),(從大畫面)創(chuàng)建具有縮放和裁剪特性的虛擬攝像機(jī)窗口(VCW,Virtual Camera Window)以及方向矢量。
[0028]這在圖1中示出,其中全景畫面100包括具有攝像機(jī)矢量120的VCW110。
[0029]在不同實(shí)現(xiàn)方式中,以各種方式輸入攝像機(jī)運(yùn)動(dòng)。例如,(i)用戶可以規(guī)定方向,(?)用戶可以識(shí)別要跟蹤的對(duì)象或者其他特征,并且方向可以基于跟蹤來自適應(yīng)地更新,或者Qii)可以自動(dòng)地選擇并跟蹤對(duì)象或者其他特征。在一種具體的實(shí)現(xiàn)方式中,自動(dòng)選擇足球作為足球比賽的要跟蹤的對(duì)象。在僅僅作為示例的不同實(shí)現(xiàn)方式中,用戶是創(chuàng)建用于廣播的內(nèi)容的操作者,或者是通過終端用戶的電視(“TV”)在終端用戶的家庭中觀看內(nèi)容的終端用戶。
[0030]對(duì)于VCW內(nèi)的任何特征,典型地有兩個(gè)運(yùn)動(dòng)矢量。一個(gè)矢量是例如通過用戶輸入給出的(如上文針對(duì)幾個(gè)示例所解釋的)攝像機(jī)矢量。另一個(gè)矢量是通過對(duì)靜態(tài)源進(jìn)行運(yùn)動(dòng)分析給出的固定運(yùn)動(dòng)矢量。圖2例示了對(duì)象的這兩個(gè)矢量。
[0031]圖2示出了具有攝像機(jī)矢量120的VCW 110。圖2還示出了 VCW 110中的對(duì)象210。對(duì)象210具有固定運(yùn)動(dòng)矢量120。例如,可以通過比較大畫面100中的對(duì)象210的位置與(在時(shí)間上)先前的大畫面中的對(duì)象210的位置來確定固定運(yùn)動(dòng)矢量220。固定運(yùn)動(dòng)矢量220不考慮VCW 110的運(yùn)動(dòng)。
[0032]通過將攝像機(jī)矢量和固定運(yùn)動(dòng)矢量?jī)烧呦嗉咏o出在圖像中的任何特征的組合運(yùn)動(dòng)矢量。組合運(yùn)動(dòng)矢量提供了在針對(duì)VCW內(nèi)的該特征進(jìn)行運(yùn)動(dòng)模糊計(jì)算時(shí)應(yīng)當(dāng)應(yīng)用的方向和強(qiáng)度。圖3例示了組合運(yùn)動(dòng)矢量。
[0033]圖3示出了對(duì)攝像機(jī)矢量120和固定運(yùn)動(dòng)矢量220進(jìn)行矢量相加來生成組合運(yùn)動(dòng)矢量310。圖3還示出了與VCW 110中的對(duì)象210相關(guān)聯(lián)的組合運(yùn)動(dòng)矢量310。
[0034]在處理能力有限的情況下,或者為了使觀看更加舒適,還可以在攝像機(jī)矢量上添加速度限制和速度改變緩沖器,以防止攝像機(jī)運(yùn)動(dòng)超過運(yùn)動(dòng)模糊計(jì)算能力或舒適水平。
[0035]針對(duì)一個(gè)或多個(gè)特征獲得VCW和組合矢量之后,可以計(jì)算運(yùn)動(dòng)模糊(這一點(diǎn)在本領(lǐng)域中是公知的)并且將其添加(這一點(diǎn)在本領(lǐng)域中是公知的)到VCW中的那些特征。可以通過各種方式計(jì)算出最終的圖像。
[0036]如果速度是主要因素(例如,對(duì)于考慮實(shí)時(shí)或近實(shí)時(shí)應(yīng)用的應(yīng)用),同一種實(shí)現(xiàn)方式常常是適合的。在這種情況下,首先將虛擬攝像機(jī)圖像裁剪到VCW,然后將其縮放到目標(biāo)裝置的分辨率。在縮放之后,應(yīng)用關(guān)于運(yùn)動(dòng)模糊的計(jì)算和應(yīng)用。與運(yùn)動(dòng)模糊相關(guān)聯(lián)的計(jì)算通常是密集的,并且典型地將在目標(biāo)分辨率下執(zhí)行得更快。
[0037]如果質(zhì)量是主要因素(例如,對(duì)于像電影拍攝這樣的非實(shí)時(shí)應(yīng)用),另一種實(shí)現(xiàn)方式常常是適合的。在這種情況下,首先在VCW上應(yīng)用運(yùn)動(dòng)模糊,如此,運(yùn)動(dòng)模糊化算法能夠受益于最高的可能分辨率。隨后,調(diào)整圖像尺寸(縮放)以滿足目標(biāo)分辨率。
[0038]在本申請(qǐng)中,“裁剪”一般是指選擇更大畫面的有限部分進(jìn)行顯示。所選擇的部分(而不是未選擇的部分)通常被稱為被裁剪的畫面。在裁剪之后,通常基于顯示裝置的分辨率使用縮放操作轉(zhuǎn)換被裁剪的畫面(即,所選擇的部分),使得所裁剪的部分具有不同的分辨率和不同的縱橫比。雖然某些實(shí)現(xiàn)方式可以使用“裁剪”表示選擇和縮放操作的組合,但是如在本申請(qǐng)中所使用的那樣,通常認(rèn)為裁剪獨(dú)立于縮放操作。
[0039]現(xiàn)在參照?qǐng)D4至9來描述另一種實(shí)現(xiàn)方式。參照?qǐng)D4,針對(duì)特定時(shí)間點(diǎn)示出了全景畫面400。畫面400包括球410和球員420。VCff 430中包括球410和球員420。
[0040]圖5示出了在得到全景畫面400之后的短時(shí)間內(nèi)得到的全景畫面500。畫面500包括在不同位置處的球410和球員420。此外,與圖4相比,還在不同位置示出了 VCW 430,使得VCW 430仍然既包括球410和球員420這兩者。
[0041]在這種實(shí)現(xiàn)方式中,調(diào)整VCW 430,使得在VCW 430中,球410在水平方向上大致居中。其他實(shí)現(xiàn)方式嘗試,例如(i)垂直且水平地將球410置于中心,或者(ii)確定感興趣對(duì)象的集合(例如,球410和球員420)的重心(也稱為質(zhì)心),并垂直且水平地將該重心置于VCW 430的中心。
[0042]圖6示出了畫面400以及畫面500中的球410和球員420的重疊。這是對(duì)說明球410和球員420的運(yùn)動(dòng)有用的構(gòu)造。圖6還包括示出球410從畫面400到畫面500的運(yùn)動(dòng)的球矢量610 (也用“B”來標(biāo)記)。圖6還包括示出球員420從畫面400到畫面500的運(yùn)動(dòng)的球員矢量620 (也用“P”來標(biāo)記)。
[0043]圖7與圖6類似,示出了畫面400以及畫面500中的VCW 430的重疊。這是對(duì)說明VCW 430的運(yùn)動(dòng)有用的構(gòu)造。圖7還包括示出VCW 430從畫面400到畫面500的運(yùn)動(dòng)的VCff矢量730 (也用“W”來標(biāo)記)。VCW矢量730的方向與球矢量610和球員矢量620相反,因?yàn)榭梢钥紤]VCW矢量730來捕捉可歸因于攝像機(jī)運(yùn)動(dòng)的特征的運(yùn)動(dòng)。
[0044]圖8示出了產(chǎn)生球410的組合運(yùn)動(dòng)矢量的矢量相加。圖8包括球410、球矢量610和VCW矢量730,矢量610和730這兩者都具有適當(dāng)?shù)姆较蚝土恐怠T趫D8的頂部部分,球矢量610和VCW矢量730源自球410,示出了這些矢量的獨(dú)立運(yùn)動(dòng)。在圖8的底部部分中,球矢量610源自球410,但是VCW矢量730源自球矢量610的終點(diǎn)端,以例示兩個(gè)矢量610和730的相加。矢量相加的結(jié)果是沒有量值和方向的零矢量。該結(jié)果是由于該實(shí)現(xiàn)方式中的VCW 430從圖4到圖5完美地跟蹤球410。由球410出現(xiàn)在圖4和圖5的VCW 430中相同的相對(duì)位置處這一事實(shí)可以看出該結(jié)果的正確性。得到的零矢量是確定圖5的球410的運(yùn)動(dòng)模糊時(shí)要使用的合成運(yùn)動(dòng)。
[0045]圖9示出了要產(chǎn)生球員420的組合運(yùn)動(dòng)矢量的矢量相加。圖9包括球員420、球員矢量620和VCW矢量730,矢量620和730這兩者都具有適當(dāng)?shù)姆较蚝土恐?。在圖9的頂部部分,球員矢量620和VCW矢量730都源自球員420,示出了這些矢量的獨(dú)立運(yùn)動(dòng)。在圖9的底部部分中,球員矢量620源自球員420,但是VCW矢量730源自球員矢量620的終點(diǎn)端,以例示兩個(gè)矢量620和730的相加。矢量相加的結(jié)果是具有如圖9所示的量值和方向的組合球員矢量910。該結(jié)果是由于該實(shí)現(xiàn)方式中的VCW 430跟蹤球410而不是球員420而造成的。因此,球員420出現(xiàn)在圖4和圖5中不同的相對(duì)位置處。組合球員矢量910在確定圖5的球員420的運(yùn)動(dòng)模糊時(shí)要使用的合成運(yùn)動(dòng)。
[0046]參照?qǐng)D10,提供了流程圖。該流程圖示提供了用于應(yīng)用運(yùn)動(dòng)模糊的過程示例的過程 1000。
[0047]該過程1000包括拍攝包括多個(gè)全景畫面的全景視頻(1010)。在各種實(shí)現(xiàn)方式中,使用單個(gè)攝像機(jī)或者使用多個(gè)攝像機(jī)來捕捉全景視頻。在使用多個(gè)攝像機(jī)時(shí),將來自攝像機(jī)的輸出拼接或平鋪在一起以形成單個(gè)全景視頻。
[0048]過程1000包括識(shí)別一個(gè)或多個(gè)感興趣的特征(1020)。在各種實(shí)現(xiàn)方式中,通過選擇對(duì)象或面部自動(dòng)識(shí)別一個(gè)或多個(gè)感興趣的特征。在一個(gè)這樣的示例中,自動(dòng)選擇足球作為在視頻上正在被捕捉的足球比賽中的感興趣的特征。在各種實(shí)現(xiàn)方式中,基于人的輸入(例如,諸如由操作者或終端用戶選擇等)來選擇一個(gè)或多個(gè)感興趣的特征。
[0049]在各種實(shí)現(xiàn)方式中,由操作者或用戶進(jìn)行的選擇包括從一組可用特征或者從一組可用VCW進(jìn)行選擇。在這樣的實(shí)現(xiàn)方式中,該系統(tǒng)通常接收輸入,然后響應(yīng)于該選擇來提供適當(dāng)?shù)妮敵鲆曨l序列。在一個(gè)這樣的實(shí)現(xiàn)方式中,用戶能夠通過選擇不同的經(jīng)預(yù)編程的VCW來觀看足球比賽的不同方面。
[0050]在各種實(shí)現(xiàn)方式中,準(zhǔn)備不同的VCW以跟蹤不同的特征。然而,不同的特征可能具有不同的出現(xiàn)頻率,因此相應(yīng)的VCW并非始終可用。一些感興趣的特征(例如,足球比賽中的足球)在視頻中絕大多數(shù)的畫面中。其他感興趣的特征(例如,電影中的次要人物)在視頻中大部分(而不是絕大多數(shù))的畫面中。其他感興趣的特征(例如,著名演員在電影中的特寫出現(xiàn))僅在視頻中相對(duì)很小部分的畫面中。
[0051]在各種實(shí)現(xiàn)方式中,針對(duì)整個(gè)視頻一次確定(多個(gè))感興趣的特征。例如,在捕捉足球比賽的某些實(shí)現(xiàn)方式中,將感興趣的特征確定為足球。在其他實(shí)現(xiàn)方式中,隨著視頻進(jìn)展,(多個(gè))感興趣的特征改變或者至少更新。例如,在一種實(shí)現(xiàn)方式中,將正在講話的任何角色確定為在該人物講話的拍攝期間的感興趣的特征。
[0052]過程1000包括執(zhí)行搖攝及掃描以形成VCW畫面(1030)。在典型的實(shí)現(xiàn)方式中,所形成的VCW將包括所有感興趣的特征,并且VCW將被用于執(zhí)行對(duì)全景視頻中的多個(gè)畫面的裁剪。那些多個(gè)畫面例如是視頻中的所有畫面、場(chǎng)景中的所有畫面或者鏡頭中的所有畫面(鏡頭例如是從同一攝像機(jī)得到的視頻中所有連續(xù)的畫面)。搖攝及掃描操作一般導(dǎo)致選擇每個(gè)全景畫面的有限部分,并且被稱為裁剪。
[0053]該過程1000包括確定攝像機(jī)矢量(1040)。攝像機(jī)矢量俘獲虛擬攝像機(jī)的運(yùn)動(dòng),這與俘獲VCW的運(yùn)動(dòng)相同。因此,圖4至9的實(shí)現(xiàn)方式的攝像機(jī)矢量與VCW矢量730相同。如圖4至9所示,在各種實(shí)現(xiàn)方式中,通過向后看一個(gè)畫面來確定攝像機(jī)矢量。在其他實(shí)現(xiàn)方式中,除了在時(shí)間上向后看之外或者替代在時(shí)間上向后看,通過在時(shí)間上向前看來確定攝像機(jī)矢量。此外,在各種實(shí)現(xiàn)方式中,通過向前或向后看多于一個(gè)的畫面和/或通過過濾所指示的運(yùn)動(dòng)來確定攝像機(jī)矢量。在自動(dòng)跟蹤諸如球這樣的快速運(yùn)動(dòng)的對(duì)象時(shí),這種實(shí)現(xiàn)方式常常是有用的。使用跨越多個(gè)畫面的平均能夠阻止攝像機(jī)矢量過于劇烈地變化。攝像機(jī)的劇烈運(yùn)動(dòng)對(duì)于觀看者的觀看可能是不舒服的。
[0054]該過程1000包括確定一個(gè)或多個(gè)感興趣的特征的運(yùn)動(dòng)矢量(1050)。在各種實(shí)現(xiàn)方式中,例如在圖4至9中所解釋的那樣,相對(duì)于全景畫面確定運(yùn)動(dòng)。在各種實(shí)現(xiàn)方式中,使用光流算法來確定一個(gè)或多個(gè)特征的運(yùn)動(dòng),這一點(diǎn)是眾所周知的。
[0055]該過程1000包括組合攝像機(jī)矢量和(多個(gè))特征運(yùn)動(dòng)矢量(1060)。在典型的實(shí)現(xiàn)方式中,例如在圖4至9中所解釋的那樣,針對(duì)每個(gè)感興趣的特征確定獨(dú)立的組合矢量(例如,所組合的球員矢量910),每個(gè)特征使用攝像機(jī)矢量(在圖7至9中被稱為VCW矢量730)。
[0056]過程1000包括針對(duì)(多個(gè))感興趣的特征確定運(yùn)動(dòng)模糊并且應(yīng)用該運(yùn)動(dòng)模糊(1070)?;谠诓僮?060中確定的針對(duì)該特征的組合矢量來確定針對(duì)所指定的感興趣的特征的運(yùn)動(dòng)模糊。在各種實(shí)現(xiàn)方式中,針對(duì)畫面的所有部分確定運(yùn)動(dòng)模糊,而在其他實(shí)現(xiàn)方式中,僅針對(duì)所選擇的特征確定運(yùn)動(dòng)。
[0057]過程1000包括將VCW中的畫面縮放到目標(biāo)分辨率(1075)。在過程1000中操作的次序下,縮放VCW中的畫面(1075)涉及在對(duì)一個(gè)或多個(gè)感興趣的特征應(yīng)用運(yùn)動(dòng)模糊(1070)之后縮放VCW中的畫面。然而,預(yù)見到其他的操作次序,并且在本申請(qǐng)中的其他地方論述了各種實(shí)現(xiàn)方式。
[0058]過程1000包括傳送信息(1080)。在各種實(shí)現(xiàn)方式中,傳送的信息包括以下一種或多種:(i)全景畫面、(ii) VCW畫面、(iii)縮放后的VCW畫面、(iv)攝像機(jī)矢量、(V)縮放后的攝像機(jī)矢量、(vi)特征運(yùn)動(dòng)矢量、(vii)縮放后的特征運(yùn)動(dòng)矢量、(viii)組合矢量、(iv)縮放后的組合矢量、(X)應(yīng)用了運(yùn)動(dòng)模糊的VCW畫面和/或(xi)應(yīng)用了運(yùn)動(dòng)模糊的縮放VCW畫面。在各種實(shí)現(xiàn)方式中,傳送器例如是廣播車(broadcast truck)和/或電纜分配網(wǎng)絡(luò)的集線器。在一種實(shí)現(xiàn)方式中,廣播車向電纜分配頭端傳送信息,電纜分配頭端向集線器傳送信息,集線器向很多家庭(例如,20到25戶家庭)傳送信息。
[0059]該過程1000包括接收信息(1085)。在各種實(shí)現(xiàn)方式中,接收的信息例如是在操作1080中傳送的任何信息。
[0060]過程1000包括以目標(biāo)分辨率顯示經(jīng)運(yùn)動(dòng)模糊的VCW畫面(S卩,應(yīng)用了運(yùn)動(dòng)模糊的VCff畫面)。典型的實(shí)現(xiàn)方式涉及在家庭中的用戶接收VCW畫面,并且在TV或其他視頻觀看設(shè)備上顯示VCW畫面。接收的VCW畫面已經(jīng)被縮放到目的地分辨率并且已經(jīng)應(yīng)用了運(yùn)動(dòng)模糊。
[0061]可以在多種應(yīng)用中使用過程1000?,F(xiàn)在簡(jiǎn)要描述幾種普通的應(yīng)用。
[0062]在第一應(yīng)用中,如前所述,廣播車執(zhí)行過程1000到并包括在操作1080中的傳送信息。在這些應(yīng)用中的某些中,廣播車還能夠在例如裁判員希望回顧在場(chǎng)地的不同部分發(fā)生的比賽部分時(shí),根據(jù)需要?jiǎng)?chuàng)建不同的VCW。裁判員能夠選擇不同的感興趣的特征來跟蹤。
[0063]在第二應(yīng)用中,廣播車傳送若干不同的VCW中的畫面,每個(gè)VCW都跟蹤一個(gè)或多個(gè)不同的感興趣的特征。通過這種方式,用戶(例如,在家庭中)能夠選擇觀看哪個(gè)VCW。例如,第一 VCW可能跟蹤球,第二 VCW可能跟蹤距球最近的守門員。
[0064]在第三應(yīng)用中,電纜分配頭端或集線器接收全景視頻(例如,從廣播車或其他內(nèi)容供應(yīng)者)并執(zhí)行操作1020至1080,并且向家庭中的用戶提供(在操作1080中)一個(gè)或多個(gè)VCW。使電纜集線器執(zhí)行大量計(jì)算和處理的一個(gè)優(yōu)點(diǎn)是,針對(duì)電纜集線器的分配信道常常具有高帶寬。高帶寬允許傳送全景視頻。然而,從電纜集線器到單個(gè)家庭的分配信道(有時(shí)被稱為“最后一英里”)的帶寬常常低得多,因此從電纜集線器到單個(gè)家庭僅傳送VCW畫面是有利的。
[0065]通過以不同的次序布置過程1000的操作得到多種實(shí)現(xiàn)方式?,F(xiàn)在通過參考僅僅重新排序⑴傳送(1080)和接收(1085)操作和/或(ii)縮放(1075)操作來描述那些實(shí)現(xiàn)方式中的幾種。
[0066]通過將傳送操作1080和接收操作1085移動(dòng)到過程1000中的以下位置中的一處或多處來得到第一組替代的實(shí)現(xiàn)方式:
[0067]1.在操作1010中捕捉全景視頻之后:在這樣的實(shí)現(xiàn)方式中,通常傳送并接收整個(gè)全景視頻。典型地,過程1000的其余部分發(fā)生在接收器處(或者接收器的下游)。
[0068]2.在操作1040中確定攝像機(jī)矢量之后:在這樣的實(shí)現(xiàn)方式中,通常傳送并接收VCW畫面和攝像機(jī)矢量。典型地,過程1000的其余部分發(fā)生在接收器處(或者接收器的下游)。各種實(shí)現(xiàn)方式的一個(gè)暗示是,在操作1050中基于VCW畫面而不是基于全景視頻來確定運(yùn)動(dòng)矢量。典型地,由此確定的運(yùn)動(dòng)矢量將包括攝像機(jī)的運(yùn)動(dòng)。因此,通常不需要組合針對(duì)特征的運(yùn)動(dòng)矢量與攝像機(jī)矢量來獲得組合矢量。
[0069]一個(gè)例外是不能精確地確定運(yùn)動(dòng)但是顯然有運(yùn)動(dòng)的特征。示例是諸如草坪場(chǎng)地這樣的帶紋理的背景??赡茈y以確定與草坪的任何具體部分相關(guān)聯(lián)的確切運(yùn)動(dòng)。然而,對(duì)于這樣的特征,常常能夠確定該特征是靜態(tài)背景的一部分。這樣,可以將特征(草坪)運(yùn)動(dòng)假設(shè)為零。相應(yīng)地,可以將組合矢量取為與攝像機(jī)矢量相同。然后使用該組合矢量來確定要應(yīng)用于該特征(草坪)的適當(dāng)?shù)倪\(yùn)動(dòng)模糊。
[0070]3.在操作1050中確定(多個(gè))特征運(yùn)動(dòng)矢量之后:在這樣的實(shí)現(xiàn)方式中,通常傳送并接收VCW畫面、攝像機(jī)矢量和特征運(yùn)動(dòng)矢量。典型地,過程1000的其余部分發(fā)生在接收器處(或者接收器的下游)。這種實(shí)現(xiàn)方式允許接收器進(jìn)行組合矢量、確定并應(yīng)用運(yùn)動(dòng)模糊以及縮放結(jié)果所需的處理。
[0071]4.在操作1060中組合攝像機(jī)矢量和(多個(gè))特征運(yùn)動(dòng)矢量之后:在這樣的實(shí)現(xiàn)方式中,通常傳送并接收VCW畫面以及針對(duì)(多個(gè))特征的(多個(gè))組合運(yùn)動(dòng)矢量。典型地,過程1000的其余部分發(fā)生在接收器處(或者接收器的下游)。這種實(shí)現(xiàn)方式允許接收器進(jìn)行確定并應(yīng)用運(yùn)動(dòng)模糊以及縮放結(jié)果所需的處理。
[0072]5.在操作1070中確定針對(duì)特征的運(yùn)動(dòng)模糊并且對(duì)VCW畫面中的特征應(yīng)用運(yùn)動(dòng)模糊之后:在這樣的實(shí)現(xiàn)方式中,通常傳送并接收經(jīng)運(yùn)動(dòng)模糊的VCW畫面。典型地,過程1000的其余部分發(fā)生在接收器處(或者接收器的下游)。這樣的實(shí)現(xiàn)方式常常能夠?yàn)橛脩籼峁└叩馁|(zhì)量。如果系統(tǒng)使用有損耗的視頻編碼算法,并且如果出現(xiàn)的損耗在它們出現(xiàn)在更高分辨率的視頻(在進(jìn)行縮放之前)對(duì)于用戶不太明顯,則可以得到更高的質(zhì)量。即,如果開始于更高質(zhì)量的視頻,則丟失的信息就不那么重要了。然而,如果在應(yīng)用有損壓縮方案之前縮小視頻(假設(shè)縮放為縮小,但是一些實(shí)現(xiàn)方式使用放大),則丟失的信息常常對(duì)于用戶的主觀觀看體驗(yàn)更加重要。
[0073]通過將縮放操作1075移動(dòng)到過程1000中的不同位置來得到第二組替代的實(shí)現(xiàn)方式。注意,所有這些變型都可以與還移動(dòng)傳送和接收操作的以上變型(1080,1085)組合。例如,可以將縮放操作1075移動(dòng)到過程1000中的多個(gè)位置中的一處或多處。這樣的位置包括例如(i)在形成VCW畫面(1030)之后、(ii)在確定攝像機(jī)矢量(1040)之后、(iii)在針對(duì)一個(gè)或多個(gè)感興趣的特征確定(多個(gè))運(yùn)動(dòng)矢量(1050)之后或者(iv)在組合攝像機(jī)矢量和(多個(gè))特征矢量(1060)之后。在這樣的實(shí)現(xiàn)方式中,通常在確定和應(yīng)用運(yùn)動(dòng)模糊(1070)之前縮放矢量(攝像機(jī)矢量和特征矢量,或者僅僅組合矢量),使得組合矢量的分辨率與縮放后的VCW畫面的分辨率一致。
[0074]根據(jù)關(guān)于各種實(shí)現(xiàn)方式的論述應(yīng)當(dāng)清楚,有很多對(duì)于想要實(shí)現(xiàn)過程1000的一種版本的系統(tǒng)設(shè)計(jì)者可用的選項(xiàng)和變型。系統(tǒng)設(shè)計(jì)者可以考慮幾種系統(tǒng)度量作為用于確定實(shí)現(xiàn)過程1000的什么樣的變型的標(biāo)準(zhǔn)。這些度量中的一些及其含意如下:
[0075]1.各個(gè)通信鏈路上的帶寬:例如,全景畫面典型地需要高帶寬,而VCW畫面典型地需要相對(duì)較低的帶寬。
[0076]2.在最終顯示器處所需的質(zhì)量:例如,典型地,對(duì)全分辨率視頻執(zhí)行運(yùn)動(dòng)模糊處理比對(duì)縮小后的分辨率執(zhí)行處理提供更高的最終質(zhì)量。
[0077]3.分配鏈中各個(gè)點(diǎn)處的處理能力和速度:分配鏈中的點(diǎn)中的一些包括例如廣播者或其他內(nèi)容供應(yīng)者、分配頭端(例如電纜頭端)、分配集線器以及家庭中的終端用戶。關(guān)于處理,家庭系統(tǒng)通常將沒有執(zhí)行運(yùn)動(dòng)矢量確定(例如使用光流算法)或者運(yùn)動(dòng)模糊確定和應(yīng)用的處理能力和速度。
[0078]4.所需的終端用戶選擇/控制:例如,如果給予家庭中的終端用戶在預(yù)定節(jié)目中自由地選擇感興趣的特征的能力,則系統(tǒng)通常將需要更多的帶寬,因?yàn)槊總€(gè)家庭都能夠接收預(yù)定節(jié)目的不同VCW (以及VCW畫面的關(guān)聯(lián)流,也被稱為VCW視頻)。
[0079]這些度量還例如按照在下面的實(shí)現(xiàn)方式中所示出的那樣地相互聯(lián)系:
[0080]1.例如,在一種實(shí)現(xiàn)方式中,從電纜集線器到終端用戶家庭的帶寬低,因此系統(tǒng)設(shè)計(jì)者想要從電纜集線器向家庭傳送縮小后的視頻。
[0081]2.另外,期望高質(zhì)量,因此系統(tǒng)設(shè)計(jì)者想要在縮小(在廣播者、電纜頭端或電纜集線器處)之前執(zhí)行運(yùn)動(dòng)分析和運(yùn)動(dòng)模糊。
[0082]3.另外,給予終端用戶很多選擇/控制,從而可能導(dǎo)致電纜集線器同時(shí)傳送多個(gè)VCW視頻。這種要求增加了系統(tǒng)設(shè)計(jì)者從電纜集線器向家庭傳送縮小后的畫面的選擇。此夕卜,為了降低在廣播者或電纜頭端上的處理負(fù)荷,系統(tǒng)設(shè)計(jì)者優(yōu)選使電纜集線器為集線器下游的那些家庭產(chǎn)生所選擇的VCW視頻。
[0083]4.然而,如果處理速度和能力在電纜集線器處低,則系統(tǒng)設(shè)計(jì)者可能被迫在電纜頭端或廣播者處為分配系統(tǒng)中的所有家庭產(chǎn)生VCW視頻(例如,執(zhí)行運(yùn)動(dòng)分析和運(yùn)動(dòng)模糊)。
[0084]參照?qǐng)D11,提供了圖示出用于應(yīng)用運(yùn)動(dòng)模糊的過程1100的流程圖。過程1100包括存取使用VCW形成的被裁剪的畫面(1110)。在至少一個(gè)實(shí)現(xiàn)方式中,操作1110包括存取使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面。在某些實(shí)現(xiàn)方式中,操作1110包括存取由過程1000的操作1030形成的VCW畫面。
[0085]過程1100包括基于VCW運(yùn)動(dòng)和特征的運(yùn)動(dòng)來產(chǎn)生運(yùn)動(dòng)模糊(1120)。在至少一種實(shí)現(xiàn)方式中,操作1120包括基于虛擬攝像機(jī)窗口的運(yùn)動(dòng)和特征的運(yùn)動(dòng)產(chǎn)生被裁剪的畫面中的特征的運(yùn)動(dòng)模糊。
[0086]過程1100包括將所產(chǎn)生的運(yùn)動(dòng)模糊添加到該特征(1130)。在至少一個(gè)實(shí)現(xiàn)方式中,操作1130包括將所產(chǎn)生的運(yùn)動(dòng)模糊添加到被裁剪的畫面中的特征。在某些實(shí)現(xiàn)方式中,如在過程1000的操作1070中所述的那樣地,操作1120和1130包括針對(duì)感興趣的特征確定運(yùn)動(dòng)模糊并且應(yīng)用該運(yùn)動(dòng)模糊。
[0087]得到涉及向過程1100添加額外特征的各種實(shí)現(xiàn)方式。過程1100的若干變化包括以下實(shí)現(xiàn)方式中的特征中的一個(gè)或多個(gè)。
[0088]?在一種實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得:(i)畫面序列來自固定位置,(ii)相對(duì)于固定位置確定虛擬攝像機(jī)窗口的運(yùn)動(dòng),以及(iii)相對(duì)于固定位置確定特征的運(yùn)動(dòng)。
[0089]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得:(i)畫面序列還包括在時(shí)間上比該畫面出現(xiàn)更早的更早畫面,(ii)更早畫面包括特征,(iii)虛擬攝像機(jī)窗口在更早畫面中具有使得該特征在虛擬攝像機(jī)窗口之內(nèi)的位置,(iv)基于虛擬攝像機(jī)窗口的位置從更早畫面到該畫面的任何變化來確定虛擬攝像機(jī)窗口的運(yùn)動(dòng),以及(V)該特征的運(yùn)動(dòng)基于該特征的位置從更早畫面到畫面的任何變化。
[0090]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得:(i)將虛擬攝像機(jī)窗口的運(yùn)動(dòng)和特征的運(yùn)動(dòng)確定為組合運(yùn)動(dòng),以及(ii)組合運(yùn)動(dòng)指示被裁剪的畫面中的特征相對(duì)于使用虛擬攝像機(jī)窗口從畫面序列中的另外的畫面裁剪的另外的被裁剪的畫面的運(yùn)動(dòng)。
[0091]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得:畫面序列來自固定位置,并且該過程還包括基于被裁剪的畫面確定該特征為相對(duì)于固定位置是靜態(tài)的背景的一部分,并且指定該特征的運(yùn)動(dòng)為零。
[0092]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100以包括:(i)存取畫面,(ii)識(shí)別該畫面中的特征,(iii)產(chǎn)生包括該畫面內(nèi)的特征的虛擬攝像機(jī)窗口,以及(iv)為該特征確定作為虛擬攝像機(jī)窗口的運(yùn)動(dòng)和特征的運(yùn)動(dòng)的組合的組合特征,其中,產(chǎn)生運(yùn)動(dòng)模糊包含基于該組合運(yùn)動(dòng)來產(chǎn)生運(yùn)動(dòng)模糊。
[0093]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100以包括:(i)跨越畫面序列中的多個(gè)畫面跟蹤特征,以及(ii)基于跟蹤產(chǎn)生多個(gè)畫面中的虛擬攝像機(jī)窗口。
[0094]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義該過程1100,使得識(shí)別特征包括使用對(duì)象識(shí)別或面部識(shí)別。
[0095]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100以包括基于虛擬攝像機(jī)窗口的運(yùn)動(dòng)和第二特征的運(yùn)動(dòng)為被裁剪的畫面中的第二特征產(chǎn)生運(yùn)動(dòng)模糊。
[0096]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得被裁剪的畫面是產(chǎn)生運(yùn)動(dòng)模糊之前被縮放到顯示器分辨率的縮放后的畫面。
[0097]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100以包括在向被裁剪的畫面中的特征添加所產(chǎn)生的運(yùn)動(dòng)模糊之后將被裁剪的畫面縮放到顯示器分辨率。
[0098]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100以包括發(fā)送以下一個(gè)或多個(gè):⑴在添加所產(chǎn)生的運(yùn)動(dòng)模糊之后的被裁剪的畫面、(?)在添加所產(chǎn)生的運(yùn)動(dòng)模糊之前的被裁剪的畫面、(iii)虛擬攝像機(jī)窗口的運(yùn)動(dòng)的指示器或者(iv)特征運(yùn)動(dòng)的指示器。
[0099]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得該畫面是包括從多個(gè)攝像機(jī)取得的畫面的合成畫面。
[0100]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得該畫面是從單個(gè)攝像機(jī)取得的單個(gè)畫面。
[0101]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得該畫面沒有運(yùn)動(dòng)模糊。
[0102]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100以包括:(i)接收將該特征識(shí)別為感興趣的特征的輸入,以及(ii)基于接收的輸入來確定虛擬攝像機(jī)窗口。
[0103]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1100,使得在接收器處執(zhí)行存取、產(chǎn)生和添力口,并且過程1100還包括:(i)從接收器發(fā)送信號(hào),該信號(hào)指示第二特征是感興趣的特征,以及(ii)響應(yīng)于發(fā)送信號(hào),在接收器處接收使用第二虛擬攝像機(jī)窗口從畫面序列中的第二畫面裁剪的第二被裁剪的畫面,其中,第二虛擬攝像機(jī)窗口不同于虛擬攝像機(jī)窗口。
[0104]?在另一實(shí)現(xiàn)方式中,進(jìn)一步定義過程1000,使得(i)該畫面是全景畫面,并且(ii)畫面序列是全景畫面序列。
[0105]圖12提供了圖示在應(yīng)用運(yùn)動(dòng)模糊中使用的傳送系統(tǒng)的示例的框圖。參照?qǐng)D12,示出了可以應(yīng)用上述特征和原理的視頻傳送系統(tǒng)或裝置1600。視頻傳送系統(tǒng)或裝置1600例如可以是使用多種介質(zhì)中的任何一種(例如,諸如衛(wèi)星、電纜、電話線或陸地廣播等)傳送信號(hào)的頭端或傳送系統(tǒng)?;蛘咛娲兀曨l傳送系統(tǒng)或裝置1600也可以用于例如提供關(guān)于存儲(chǔ)的信號(hào)??梢酝ㄟ^因特網(wǎng)或某種其他網(wǎng)絡(luò)來提供傳送。視頻傳送系統(tǒng)或裝置1600能夠產(chǎn)生并交付例如視頻內(nèi)容和其他內(nèi)容(例如,諸如元數(shù)據(jù)等)。還應(yīng)當(dāng)清楚的是,圖12的框除了提供視頻傳送系統(tǒng)或裝置的框圖之外,還提供了視頻傳送過程的流程圖。
[0106]視頻傳送系統(tǒng)或裝置1600從處理器1601接收輸入的視頻。在一種實(shí)現(xiàn)方式中,處理器1601向視頻傳送系統(tǒng)或裝置1600僅僅提供視頻圖像(諸如節(jié)目中的圖像)。然而,在另一種實(shí)現(xiàn)方式中,處理器1601替代地或額外地向視頻傳送系統(tǒng)或裝置1600提供來自其他源的內(nèi)容。處理器1601還可以向視頻傳送系統(tǒng)或裝置1600提供元數(shù)據(jù),其中,元數(shù)據(jù)涉及例如一個(gè)或多個(gè)輸入的圖像,并且可以包括例如關(guān)于用于對(duì)數(shù)據(jù)進(jìn)行編碼的編碼方法的描述。
[0107]視頻傳送系統(tǒng)或裝置1600包括編碼器1602和能夠傳送經(jīng)編碼的信號(hào)的傳送器1604。編碼器1602從處理器1601接收視頻信息。視頻信息可以包括例如視頻圖像和/或其他內(nèi)容。編碼器1602基于視頻和/或其他信息產(chǎn)生(多個(gè))經(jīng)編碼的信號(hào)。在各種實(shí)現(xiàn)方式中,編碼器1602是源編碼器、信道編碼器或者源編碼器和信道編碼器的組合。在各種實(shí)現(xiàn)方式中,編碼器1602例如是AVC編碼器(在本申請(qǐng)中的別處定義)。
[0108]編碼器1602可以包括子模塊,其包括例如用于接收并將各條信息組裝成結(jié)構(gòu)化格式以便存儲(chǔ)或者傳送的組裝單元。所述各條信息可以包括例如經(jīng)編碼的或未編碼的視頻、其他內(nèi)容、元數(shù)據(jù)或信息以及例如諸如運(yùn)動(dòng)矢量、編碼模式指示器和語法元素這樣的各種元素。在一些實(shí)現(xiàn)方式中,編碼器1602包括處理器1601,并且因此執(zhí)行處理器1601的操作。
[0109]傳送器1604從編碼器1602接收(多個(gè))經(jīng)編碼的信號(hào)并以一個(gè)或多個(gè)輸出信號(hào)傳送(多個(gè))經(jīng)編碼的信號(hào)。傳送器1604例如可以適配于傳送具有代表編碼畫面和/或與其相關(guān)的信息的一個(gè)或多個(gè)比特流的節(jié)目信號(hào)。典型的傳送器執(zhí)行諸如以下功能中的一種或多種:例如,提供糾錯(cuò)編碼(可以在編碼器1602中替代地或附加地執(zhí)行)、交織信號(hào)中的數(shù)據(jù)(可以在編碼器1602中替代地或附加地執(zhí)行)、使信號(hào)中的能量隨機(jī)化以及使用調(diào)制器1606將信號(hào)調(diào)制到一個(gè)或多個(gè)載波上。傳送器1604可以包括或者連接天線(未示出)。此外,可以將傳送器1604的實(shí)現(xiàn)限于調(diào)制器1606。
[0110]視頻傳送系統(tǒng)或裝置1600還通信地耦合到存儲(chǔ)單元1608。在一種實(shí)現(xiàn)方式中,存儲(chǔ)單元1608耦合到編碼器1602,存儲(chǔ)單元1608存儲(chǔ)來自編碼器1602的編碼比特流,并且可選地向傳送器1604提供所存儲(chǔ)的比特流。在另一實(shí)現(xiàn)方式中,存儲(chǔ)單元1608耦合到傳送器1604,并且存儲(chǔ)來自傳送器1604的比特流。來自傳送器1604的比特流可以包括例如已經(jīng)被傳送器1604進(jìn)一步處理了的一個(gè)或多個(gè)經(jīng)編碼的比特流。在不同的實(shí)現(xiàn)方式中,存儲(chǔ)單元1608是標(biāo)準(zhǔn)DVD、藍(lán)光盤、硬盤驅(qū)動(dòng)器或者某種其他存儲(chǔ)裝置中的一種或多種。
[0111]圖12還包括用戶接口 1610和顯示器1620,兩者都通信地耦合到處理器1601。處理器1601通信地耦合到用于例如從操作者接受輸入的用戶接口 1610。處理器1601通信地耦合到用于顯示例如數(shù)字圖像的顯示器1620。在各種實(shí)現(xiàn)方式中,在被處理器1601處理之前、期間和/或之后顯示畫面。
[0112]在各種實(shí)現(xiàn)方式中,顯示器1620還包括用戶接口 1610。一種實(shí)現(xiàn)方式對(duì)于用戶接口 1610和顯示器1620這兩者使用觸摸屏。
[0113]圖13提供了圖示在應(yīng)用運(yùn)動(dòng)模糊中使用的接收系統(tǒng)的示例的框圖。參照?qǐng)D13,示出了可以應(yīng)用上述特征和原理的視頻接收系統(tǒng)或裝置1700。視頻接收系統(tǒng)或裝置1700可以被配置成通過多種介質(zhì)(例如,諸如衛(wèi)星、電纜、電話線或陸地廣播等)接收信號(hào)??梢酝ㄟ^因特網(wǎng)或某種其他網(wǎng)絡(luò)接收信號(hào)。還應(yīng)當(dāng)清楚的是,圖17的框除了提供視頻接收系統(tǒng)或裝置的框圖之外,還提供了視頻接收過程的流程圖。
[0114]視頻接收系統(tǒng)或裝置1700可以包括例如手機(jī)、計(jì)算機(jī)、平板、路由器、網(wǎng)關(guān)、機(jī)頂盒、電視或者其他接收經(jīng)編碼的視頻并提供例如經(jīng)解碼的視頻信號(hào)進(jìn)行顯示(例如顯示給用戶)、處理或存儲(chǔ)的裝置。因此,視頻接收系統(tǒng)或裝置1700可以將其輸出提供給例如電視的屏幕、手機(jī)的屏幕、平板的屏幕、計(jì)算機(jī)監(jiān)視器、計(jì)算機(jī)(用于存儲(chǔ)、處理或顯示)或者某種其他存儲(chǔ)、處理或顯示裝置。
[0115]視頻接收系統(tǒng)或裝置1700能夠接收和處理視頻信息。視頻信息可以包括例如視頻圖像、其他內(nèi)容和/或元數(shù)據(jù)。視頻接收系統(tǒng)或裝置1700包括接收器1702,用于接收例如諸如在本申請(qǐng)的實(shí)現(xiàn)方式中描述的信號(hào)這樣的經(jīng)編碼的信號(hào)。接收器1702可以接收例如(i)為節(jié)目中的畫面序列提供經(jīng)編碼的層的信號(hào)或者(ii)從圖12的視頻傳送系統(tǒng)1600(例如,從存儲(chǔ)單元1608或傳送器1604)輸出的信號(hào)。
[0116]接收器1702例如可以適配于接收具有代表經(jīng)編碼的畫面(例如,視頻畫面或深度畫面)的多個(gè)比特流的節(jié)目信號(hào)。典型的接收器執(zhí)行諸如以下功能中的一種或多種:例如,接收經(jīng)調(diào)制并編碼的數(shù)據(jù)信號(hào)、使用解調(diào)器1704從一個(gè)或多個(gè)載波解調(diào)數(shù)據(jù)信號(hào)、對(duì)信號(hào)中的能量去隨機(jī)化、對(duì)信號(hào)中的數(shù)據(jù)解交織(可以替代地或額外地在解碼器中執(zhí)行)以及對(duì)信號(hào)進(jìn)行糾錯(cuò)解碼(可以在解碼器中替代地或附加地執(zhí)行)。接收器1702可以包括或者連接天線(未示出)??梢詫⒔邮掌?702的實(shí)現(xiàn)限于解調(diào)器1704。
[0117]視頻接收系統(tǒng)或裝置1700包括解碼器1706。在各種實(shí)現(xiàn)方式中,解碼器1706是源解碼器、信道解碼器或者源解碼器和信道解碼器的組合。在一種實(shí)現(xiàn)方式中,解碼器1706包括圖1的信道解碼器155和源解碼器160。
[0118]接收器1702向解碼器1706提供接收的信號(hào)。接收器1702向解碼器1706提供的信號(hào)可以包括一個(gè)或多個(gè)經(jīng)編碼的比特流。解碼器1706輸出經(jīng)解碼的信號(hào),例如,諸如包括視頻信息、其他內(nèi)容或元數(shù)據(jù)的經(jīng)解碼的視頻信號(hào)。解碼器1706例如可以是AVC解碼器(在本申請(qǐng)中別處定義)。
[0119]視頻接收系統(tǒng)或裝置1700還通信地耦合到存儲(chǔ)單元1707。在一種實(shí)現(xiàn)方式中,存儲(chǔ)單元1707耦合到接收器1702,接收器1702從存儲(chǔ)單元1707存取比特流和/或向存儲(chǔ)單元1707存儲(chǔ)接收的比特流。在另一實(shí)現(xiàn)方式中,存儲(chǔ)單元1707耦合到解碼器1706,解碼器1706從存儲(chǔ)單元1707存取比特流和/或向存儲(chǔ)單元1707存儲(chǔ)經(jīng)解碼的比特流。在不同的實(shí)現(xiàn)方式中,從存儲(chǔ)單元1707存取的比特流包括一個(gè)或多個(gè)經(jīng)編碼的比特流。在不同實(shí)現(xiàn)方式中,存儲(chǔ)單元1707是標(biāo)準(zhǔn)DVD、藍(lán)光盤、硬盤驅(qū)動(dòng)器或某種其他存儲(chǔ)裝置中的一種或多種。
[0120]在一種實(shí)現(xiàn)方式中,向處理器1708提供來自解碼器1706的輸出視頻。在一種實(shí)現(xiàn)方式中,處理器1708是被配置成呈現(xiàn)經(jīng)解碼的數(shù)字畫面的處理器。在一些實(shí)現(xiàn)方式中,解碼器1706包括處理器1708,并且因此執(zhí)行處理器1708的操作。在其他實(shí)現(xiàn)方式中,處理器1708是下游設(shè)備的一部分,例如,諸如機(jī)頂盒或電視的一部分。
[0121]圖12還包括用戶接口 1710和顯示器1720,兩者都通信地耦合到處理器1708。處理器1708通信地耦合到用于例如從家庭中的用戶或電纜集線器處的操作者接收輸入的用戶接口 1710。處理器1708通信地耦合到用于顯示例如數(shù)字畫面的顯示器1720。在各種實(shí)現(xiàn)方式中,在被處理器1708處理之前、期間和/或之后顯示畫面。
[0122]在各種實(shí)現(xiàn)方式中,顯示器1720還包括用戶接口 1710。一種實(shí)現(xiàn)方式對(duì)于用戶接口 1710和顯示器1720這兩者都使用觸摸屏。另外的實(shí)現(xiàn)方式包括視頻接收系統(tǒng)1700中的用戶接口 1710和/或顯示器1720。
[0123]在各種實(shí)現(xiàn)方式中,可以使用圖12至13執(zhí)行過程1000或過程1100的全部或一部分以及參考過程1000或1100描述的任何額外特征。下面是若干這樣的實(shí)現(xiàn)方式。
[0124]?在一種實(shí)現(xiàn)方式中,處理器1601結(jié)合用戶接口 1610和顯示器1620被用于執(zhí)行操作1020至1075。傳送器1604用于執(zhí)行操作1080。接收器1702用于執(zhí)行操作1085。處理器1708結(jié)合用戶接口 1710和顯示器1720被用于執(zhí)行操作1090。
[0125]?在另一實(shí)現(xiàn)方式中,處理器1601結(jié)合用戶接口 1610和顯示器1620被用于執(zhí)行操作1110至1130。
[0126]?在另一實(shí)現(xiàn)方式中,處理器1708結(jié)合用戶接口 1710和顯示器1720被用于執(zhí)行操作1110至1130。
[0127]可以有選擇地組合圖12-13中的組件以形成其他實(shí)現(xiàn)方式。在一種實(shí)現(xiàn)方式中,電纜集線器包括繼之以視頻傳送系統(tǒng)1600(可能包括存儲(chǔ)裝置1608)的圖13的組件。在這樣的實(shí)現(xiàn)方式中,電纜集線器例如能夠使用視頻接收系統(tǒng)1700從廣播者、電纜頭端或其他內(nèi)容供應(yīng)者接收全景視頻。然后,電纜集線器能夠使用處理器1706、用戶接口 1710和顯示器1720來執(zhí)行例如過程1000的操作1020至1075 (還可以自動(dòng)地執(zhí)行這些操作1020至1075)。然后,電纜集線器能夠例如向視頻傳送系統(tǒng)1600提供從操作1075得到的視頻(以及可能的其他信息),視頻傳送系統(tǒng)1600例如執(zhí)行過程1000的操作1080。
[0128]各種實(shí)現(xiàn)方式提供了信號(hào)。在一種實(shí)現(xiàn)方式中,作為執(zhí)行過程1000的操作1080的全部或部分,傳送器1604提供包括畫面部分和運(yùn)動(dòng)部分的信號(hào)。畫面部分關(guān)于使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面。運(yùn)動(dòng)部分關(guān)于虛擬攝像機(jī)窗口運(yùn)動(dòng)的指示。在各種實(shí)現(xiàn)方式中,在信號(hào)結(jié)構(gòu)中包括畫面部分和運(yùn)動(dòng)。在幾種這樣的實(shí)現(xiàn)方式中,在處理器可讀介質(zhì)上存儲(chǔ)該信號(hào)結(jié)構(gòu)。
[0129]在各種實(shí)現(xiàn)方式中,顯示器1620和/或顯示器1720包括計(jì)算機(jī)顯示器、膝上型電腦顯示器、平板顯示器、手機(jī)顯示器、電視顯示器或者任何其他在本申請(qǐng)中提到或現(xiàn)有技術(shù)中已知的顯示器中的一種或多種,包括在諸如例如墻壁、天花板、地板或人行道這樣的任何表面上可見的投影顯示器。
[0130]在各種實(shí)現(xiàn)方式中,用戶接口 1610和/或用戶接口 1710包括鼠標(biāo)、跟蹤板、鍵盤、觸摸屏、用于接受由處理器1601和/或處理器1708解釋的聲音命令的麥克風(fēng)、遙控器、手機(jī)、遠(yuǎn)程或本地獨(dú)立的計(jì)算機(jī)或者在本申請(qǐng)中提到或現(xiàn)有技術(shù)已知的任何其他輸入設(shè)備。
[0131]在各種實(shí)現(xiàn)方式中,存儲(chǔ)裝置1608和/或存儲(chǔ)裝置1707包括在本申請(qǐng)中提到或現(xiàn)有技術(shù)中已知的任何存儲(chǔ)設(shè)備。
[0132]在各種實(shí)現(xiàn)方式中,編碼器1602包括AVC或H.264編碼器(在本申請(qǐng)中別處定義)、針對(duì)任何其他標(biāo)準(zhǔn)的編碼器或者在本申請(qǐng)中提到或現(xiàn)有技術(shù)中已知的任何其他編碼設(shè)備。
[0133]在各種實(shí)現(xiàn)方式中,傳送器1604包括任何集成電路的輸出管腳、通用異步接收器/傳送器(UART)、廣播傳送器、衛(wèi)星傳送器、電纜傳送器或者在本申請(qǐng)中提到或現(xiàn)有技術(shù)已知的任何其他傳送設(shè)備。傳送器1604例如可以適于傳送具有一個(gè)或多個(gè)表示經(jīng)編碼的畫面和/或與其相關(guān)的信息的比特流的節(jié)目信號(hào)。典型的傳送器執(zhí)行諸如以下功能中的一種或多種:例如,提供糾錯(cuò)編碼(可以在編碼器1602中替代地或附加地執(zhí)行)、交織信號(hào)中的數(shù)據(jù)(可以在編碼器1602中替代地或附加地執(zhí)行)、使信號(hào)中的能量隨機(jī)化以及使用調(diào)制器將信號(hào)調(diào)制到一個(gè)或多個(gè)載波上。傳送器1604可以包括或連接天線(未示出)。此外,傳送器1604的實(shí)現(xiàn)方式可以限于調(diào)制器。
[0134]本申請(qǐng)?zhí)峁┝硕鄠€(gè)圖,包括圖1至9的示意圖、圖10至11的流程圖以及圖12至13的框圖。這些圖的每一個(gè)都提供了對(duì)多種實(shí)現(xiàn)方式的公開,對(duì)此針對(duì)以下示例進(jìn)行簡(jiǎn)要解釋。
[0135]作為第一示例,注意,圖1至9的示意圖當(dāng)然至少部分地描述了向用戶示出的輸出屏幕或者例示了各種概念。然而,還應(yīng)當(dāng)清楚的是,示意圖描述了一個(gè)或多個(gè)過程流。例如,至少圖1至2和5至6還描述了為對(duì)象確定初始運(yùn)動(dòng)矢量的過程。此外,至少圖3和8至9還描述了為對(duì)象確定組合運(yùn)動(dòng)矢量的過程。
[0136]作為第二示例,注意,流程圖當(dāng)然描述了流程。然而,還應(yīng)當(dāng)清楚的是,流程圖提供了用于執(zhí)行流程的系統(tǒng)或裝置的功能框之間的相相互連接接。作為示例,圖11還提供了用于執(zhí)行過程1100的功能的框圖。例如,(i)參考元素1110還代表用于執(zhí)行存取被裁剪的畫面的功能的框,(ii)參考元素1120代表用于執(zhí)行產(chǎn)生運(yùn)動(dòng)模糊的功能的框,并且(iii)元素1110和1120之間的相相互連接接代表用于存取被裁剪的畫面的組件和用于產(chǎn)生運(yùn)動(dòng)模糊的組件之間的耦合。在描述該系統(tǒng)/裝置時(shí)類似地解釋圖11的其他框。
[0137]作為第三示例,注意,框圖當(dāng)然描述了裝置或系統(tǒng)的功能框的相互連接。然而,還應(yīng)當(dāng)清楚的是,框圖提供了各種過程流的描述。作為示例,圖12還呈現(xiàn)了用于執(zhí)行包括圖12的框的功能的各種過程的流程圖。例如,(i)編碼器1602的框還代表對(duì)畫面進(jìn)行編碼的操作,(ii)傳送器1604的框還代表傳送畫面的操作,并且(iii)編碼器1602和傳送器1604之間的相互連接代表對(duì)畫面進(jìn)行編碼并且然后進(jìn)行傳送的過程。在描述該流程時(shí)類似地解釋圖12的其他框。
[0138]如此,已經(jīng)提供了多種實(shí)現(xiàn)方式。應(yīng)當(dāng)指出,將想到所述實(shí)現(xiàn)方式的變型以及另外的應(yīng)用,并且認(rèn)為它們?cè)诒竟_之內(nèi)。此外,所述實(shí)現(xiàn)方式的特征和方面可以適于其他實(shí)現(xiàn)方式。
[0139]關(guān)于全景畫面描述了各種實(shí)現(xiàn)方式。然而,這樣的實(shí)現(xiàn)方式可以適用于非全景畫面的畫面。應(yīng)當(dāng)清楚的是,例如可以針對(duì)非全景畫面的畫面來構(gòu)造VCW。
[0140]實(shí)現(xiàn)方式中的幾種提到了自動(dòng)的或自動(dòng)執(zhí)行的特征。然而,這種實(shí)現(xiàn)方式的變型不是自動(dòng)的并且/或者不自動(dòng)地執(zhí)行特征的全部或部分。
[0141]此外,若干實(shí)現(xiàn)方式提到了基于兩個(gè)分開的運(yùn)動(dòng)(攝像機(jī)運(yùn)動(dòng)和獨(dú)立的特征運(yùn)動(dòng))來確定特征的組合運(yùn)動(dòng)矢量。然而,在各種實(shí)現(xiàn)方式中,基于超過兩個(gè)的成分矢量來確定組合運(yùn)動(dòng)矢量。
[0142]可以將本申請(qǐng)中描述的若干實(shí)現(xiàn)方式和特征用于AVC標(biāo)準(zhǔn)和/或具有MVC(多視圖視頻編碼)擴(kuò)展(附錄H)的AVC和/或具有SVC (可縮放的視頻編碼)擴(kuò)展(附錄G)的AVC的背景下。此外,可以將這些實(shí)現(xiàn)方式和特征用于另外的標(biāo)準(zhǔn)(現(xiàn)存的或?qū)淼?的背景下或者不涉及標(biāo)準(zhǔn)的背景下。注意,AVC是指現(xiàn)存的國(guó)際標(biāo)準(zhǔn)化組織/國(guó)際電工委員會(huì)(“IS0/IEC”)活動(dòng)畫面專家組4( “MPEG-4”)第10部分高級(jí)視頻編碼(“AVC”)標(biāo)準(zhǔn)/國(guó)際電信聯(lián)盟電信部分(“ITU-T”)H.264建議(在本文中各處以不同的方式稱其為“H.264/MPEG-4 AVC標(biāo)準(zhǔn)”或者諸如“AVC標(biāo)準(zhǔn)”、“H.264標(biāo)準(zhǔn)”或簡(jiǎn)稱為“AVC”或“H.264”這樣的其變型)。
[0143]本原理提到的“一個(gè)實(shí)施例”或“實(shí)施例”,或“一種實(shí)現(xiàn)方式”或“實(shí)現(xiàn)方式”及其其他變型表示在本原理的至少一個(gè)實(shí)施例中包括了結(jié)合實(shí)施例描述的具體特征、結(jié)構(gòu)、特性等。因此,在整個(gè)說明書中各處出現(xiàn)短語“在一個(gè)實(shí)施例中”或“在實(shí)施例中”或“在一種實(shí)現(xiàn)方式中”或“在實(shí)現(xiàn)方式中”以及任何其他變型未必都指同一個(gè)實(shí)施例。
[0144]此外,本申請(qǐng)或其權(quán)利要求可能提到“確定”各條信息。確定信息可以包括例如估計(jì)信息、計(jì)算信息、預(yù)測(cè)信息或從存儲(chǔ)器檢索信息中的一種或多種。
[0145]此外,本申請(qǐng)或其權(quán)利要求可能提到“存取”各條信息。存取信息可以包括如下一種或多種,例如:接收信息、檢索信息(例如,存儲(chǔ)器)、存儲(chǔ)信息、處理信息、傳送信息、移動(dòng)Ih息、復(fù)制?目息、擦除息、計(jì)算?目息、確定?目息、予頁測(cè)?目息或估計(jì)Ih息。
[0146]此外,本申請(qǐng)或其權(quán)利要求可能提到“接收”各條信息。與“存取”一樣,接收旨在是一個(gè)廣義的術(shù)語。接收信息可以包括例如存取信息或檢索信息(例如從存儲(chǔ)器)的一種或多種。此外,典型地,“接收”以一種方式或者另外的方式包括在諸如例如存儲(chǔ)信息、處理信息、傳送信息、移動(dòng)信息、復(fù)制信息、擦除信息、計(jì)算信息、確定信息、預(yù)測(cè)信息或估計(jì)信息等操作期間。
[0147]各種實(shí)現(xiàn)方式提到“圖像”和/或“畫面”。在本文中各處可互換地使用術(shù)語“圖像”和“畫面”,并且旨在廣義的術(shù)語?!皥D像”或“畫面”例如可以是幀或者場(chǎng)的全部或部分。術(shù)語“視頻”是指圖像(或畫面)的序列。圖像或畫面例如可以包括各種視頻成分的任一種或者其組合。這樣的成分或其組合包括例如亮度、色度、(YUV或YCbCr或YPbPr的)Y、(YUV 的)U、(YUV 的)V、(YCbCr 的)Cb、(YCbCr 的)Cr、(YPbPr 的)Pb、(YPbPr 的)Pr、(RGB)的紅、(RGB的)綠、(RGB的)藍(lán)、S視頻以及這些成分中的任何一個(gè)的負(fù)值或正值?!皥D像”或“畫面”還可以或者替代地指各種不同類型的內(nèi)容,例如包括:典型的二維視頻、用于2D視頻畫面的視差圖、對(duì)應(yīng)于2D視頻畫面的深度圖、或者邊緣圖。
[0148]此外,很多實(shí)現(xiàn)方式可能提到“幀”。然而,認(rèn)為這樣的實(shí)現(xiàn)方式同樣適用于“畫面”或“圖像”。
[0149]“深度圖”或“視差圖”或“邊緣圖”或類似術(shù)語也旨在是廣義的術(shù)語。圖一般是指例如包括特定類型的信息的畫面。然而,圖可以包括未由其名稱指示的其他類型的信息。例如,深度圖典型地包括深度信息,但是也可以包括諸如例如視頻或邊緣信息這樣的其他信肩、O
[0150]本申請(qǐng)?jiān)诙喾N實(shí)現(xiàn)方式中提到“編碼器”和“解碼器”。應(yīng)當(dāng)清楚的是,編碼器能夠包括例如一個(gè)或多個(gè)(或沒有)源編碼器和/或一個(gè)或多個(gè)(或沒有)信道編碼器以及一個(gè)或多個(gè)(或沒有)調(diào)制器。類似地,應(yīng)當(dāng)清楚的是,解碼器能夠包括例如一個(gè)或多個(gè)(或沒有)調(diào)制器,以及一個(gè)或多個(gè)(或沒有)信道編碼器和/或一個(gè)或多個(gè)(或沒有)源編碼器。
[0151]要意識(shí)到,例如在“A/B”、“A和/或B”以及“A和B中的至少一個(gè)”的情況下使用的以下和/或”和“至少一個(gè)”的任一種旨在包含僅選擇第一所列選項(xiàng)㈧或者僅選擇第二所列選項(xiàng)(B)或者選擇兩個(gè)選項(xiàng)(A和B)。作為另一示例,在“A、B和/或C”、“A、B和C中的至少一個(gè)”以及“A、B或C中的至少一個(gè)”的情況下,這樣的短語旨在包含僅選擇第一所列選項(xiàng)(A)或者僅選擇第二所列選項(xiàng)(B)或者僅選擇第三所列選項(xiàng)(C)或者僅選擇第一和第二所列選項(xiàng)(A和B)或者僅選擇第一和第三所列選項(xiàng)(A和C)或者僅選擇第二和第三所列選項(xiàng)(B和C)或者選擇所有三個(gè)選項(xiàng)(A和B和C)。如本領(lǐng)域和相關(guān)領(lǐng)域的普通技術(shù)人員容易理解的那樣,對(duì)于很多列出的項(xiàng)目,可以對(duì)此進(jìn)行擴(kuò)展。
[0152]此外,很多實(shí)現(xiàn)方式可以實(shí)現(xiàn)在諸如例如后處理器或預(yù)處理器這樣的處理器中。在各種實(shí)現(xiàn)方式中,本申請(qǐng)中所述的處理器確實(shí)包括被共同地配置為執(zhí)行例如過程、功能或操作的多個(gè)處理器(子處理器)。例如,在各種實(shí)現(xiàn)方式中,處理器1601和1708以及諸如例如編碼器1602、傳送器1604、接收器1702和解碼器1706這樣的其他處理部件由被共同地配置為執(zhí)行該組件的操作的多個(gè)子處理器構(gòu)成。
[0153]例如,本文所述的實(shí)現(xiàn)方式可以實(shí)現(xiàn)為方法或過程、裝置、軟件程序、數(shù)據(jù)流或者信號(hào)。盡管僅在單一形式的實(shí)現(xiàn)方式的背景下進(jìn)行了論述(例如,僅作為方法進(jìn)行了論述),所述特征的實(shí)現(xiàn)方式還可以以其他形式中(例如裝置或程序)來實(shí)現(xiàn)。例如,裝置可以實(shí)現(xiàn)為適當(dāng)?shù)挠布?、軟件和固件。例如,方法可以?shí)現(xiàn)在諸如例如處理器(通常被稱為處理設(shè)備,包括例如計(jì)算機(jī)、微處理器、集成電路或可編程序邏輯器件)這樣的裝置中。處理器還包括通信設(shè)備,諸如例如計(jì)算機(jī)、手機(jī)、平板、便攜/個(gè)人數(shù)字助理(“PDA”)以及便于在終端用戶之間進(jìn)行信息通信的其他設(shè)備。
[0154]可以在多種不同裝置或應(yīng)用中實(shí)施本文所述的各種過程和特征的實(shí)現(xiàn)方式。這種裝置的示例包括編碼器、解碼器、后處理器、預(yù)處理器、視頻編碼器、視頻解碼器、視頻編碼解碼器、網(wǎng)絡(luò)服務(wù)器、電視、機(jī)頂盒、路由器、網(wǎng)關(guān)、調(diào)制調(diào)解器、膝上型電腦、個(gè)人計(jì)算機(jī)、平板計(jì)算機(jī)、手機(jī)、PDA和其他通信設(shè)備。應(yīng)當(dāng)清楚的是,裝置可以是移動(dòng)的,甚至可以安裝于移動(dòng)的交通工具中。
[0155]此外,方法可以通過由處理器執(zhí)行的指令來實(shí)現(xiàn),并且這樣的指令(和/或由實(shí)現(xiàn)方式生成的數(shù)據(jù)值)可以存儲(chǔ)于處理器可讀介質(zhì)上,諸如例如集成電路、軟件載體或者諸如例如硬盤、壓縮盤(“CD”)、光盤(例如DVD,常稱為數(shù)字多功能盤或數(shù)字視頻盤或藍(lán)光盤)、隨機(jī)存取存儲(chǔ)器(“RAM”)、只讀存儲(chǔ)器(“ROM”)、USB拇指驅(qū)動(dòng)器或者一些其他存儲(chǔ)裝置這樣的其他存儲(chǔ)裝置。指令可以形成有形地實(shí)施在處理器可讀介質(zhì)上的應(yīng)用程序。例如,指令可以在硬件、固件、軟件或組合中。例如,指令可以存在于操作系統(tǒng)、單獨(dú)的應(yīng)用或者兩者的組合中。因此,例如可以將處理器表征為被配置為執(zhí)行過程的設(shè)備以及包括具有用于執(zhí)行過程的指令的處理器可讀介質(zhì)的設(shè)備(諸如存儲(chǔ)設(shè)備)。此外,除指令之外或者替代指令地,處理器可讀介質(zhì)可以存儲(chǔ)由實(shí)現(xiàn)方式生成的數(shù)據(jù)值。
[0156]對(duì)于本領(lǐng)域的技術(shù)人員顯而易見的是,實(shí)現(xiàn)方式可以產(chǎn)生被格式化以承載例如可以存儲(chǔ)或傳送的信息的多種信號(hào)。該信息可以包括例如用于執(zhí)行方法的指令或由所述實(shí)現(xiàn)方式之一產(chǎn)生的數(shù)據(jù)。例如,可以將信號(hào)格式化成承載用于寫入或讀取語法的規(guī)則作為數(shù)據(jù)或者承載使用語法規(guī)則產(chǎn)生的實(shí)際語法值作為數(shù)據(jù)。例如,可以將這樣的信號(hào)格式化為電磁波(例如,使用頻譜的射頻部分)或基帶信號(hào)。格式化可以包括例如對(duì)數(shù)據(jù)流進(jìn)行編碼并且調(diào)制具有經(jīng)編碼的數(shù)據(jù)流的載波。信號(hào)承載的信息例如可以是模擬或數(shù)字信息。如已知的那樣,可以通過多種不同的有線或無線鏈路傳送信號(hào)。信號(hào)可以存儲(chǔ)在處理器可讀介質(zhì)上。
[0157]已經(jīng)描述了若干種實(shí)現(xiàn)方式。然而,應(yīng)當(dāng)理解的是,可以做出各種修改。例如,可以組合、增補(bǔ)、修改或去除不同實(shí)現(xiàn)方式的元素以產(chǎn)生其他實(shí)現(xiàn)方式。此外,普通技術(shù)人員將理解的是,其他結(jié)構(gòu)和過程可以替代那些公開的結(jié)構(gòu)和過程,并且得到的實(shí)現(xiàn)方式將以與所公開的實(shí)現(xiàn)方式至少基本相同的方式執(zhí)行與所公開的實(shí)現(xiàn)方式至少基本相同的功能以得到與所公開的實(shí)現(xiàn)方式至少基本相同的結(jié)果。相應(yīng)地,本申請(qǐng)想到了這些以及其他實(shí)現(xiàn)方式。
【權(quán)利要求】
1.一種方法,包含: 存取使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面; 基于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)和所述特征的運(yùn)動(dòng)產(chǎn)生被裁剪的畫面中的特征的運(yùn)動(dòng)模糊;以及 向被裁剪的畫面中的特征添加所產(chǎn)生的運(yùn)動(dòng)模糊。
2.根據(jù)權(quán)利要求1所述的方法,其中: 所述畫面序列來自固定位置, 相對(duì)于所述固定位置確定所述虛擬攝像機(jī)窗口的運(yùn)動(dòng),并且 相對(duì)于所述固定位置確定所述特征的運(yùn)動(dòng)。
3.根據(jù)權(quán)利要求1或2中的任一項(xiàng)所述的方法,其中: 所述畫面序列還包括在時(shí)間上比所述畫面出現(xiàn)得更早的更早畫面, 所述更早畫面包括所述特征, 所述虛擬攝像機(jī)窗口在所述更早畫面中具有使得所述特征在所述虛擬攝像機(jī)窗口之內(nèi)的位置, 基于所述虛擬攝像機(jī)窗口的位置從所述更早畫面到所述畫面的任何變化確定所述虛擬攝像機(jī)窗口的運(yùn)動(dòng),以及 所述特征的運(yùn)動(dòng)基于所述特征的位置從所述更早畫面到所述畫面的任何變化。
4.根據(jù)權(quán)利要求1所述的方法,其中: 將所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)和所述特征的運(yùn)動(dòng)確定為組合運(yùn)動(dòng), 所述組合運(yùn)動(dòng)指示被裁剪的畫面中的特征相對(duì)于使用所述虛擬攝像機(jī)窗口從所述畫面序列中的另外的畫面裁剪的另外的被裁剪的畫面的運(yùn)動(dòng)。
5.根據(jù)權(quán)利要求1所述的方法,其中: 所述畫面序列來自固定位置,并且 所述方法還包括基于被裁剪的畫面來確定所述特征為相對(duì)于所述固定位置是靜態(tài)的背景的一部分,并且將所述特征的運(yùn)動(dòng)指定為零。
6.根據(jù)權(quán)利要求1所述的方法,還包含: 存取所述畫面; 識(shí)別所述畫面中的特征; 產(chǎn)生所述虛擬攝像機(jī)窗口,所述虛擬攝像機(jī)窗口包括所述畫面內(nèi)的特征;以及確定所述特征的組合運(yùn)動(dòng),所述特征的組合運(yùn)動(dòng)是所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)和所述特征的運(yùn)動(dòng)的組合, 其中,產(chǎn)生所述運(yùn)動(dòng)模糊包含基于所述組合運(yùn)動(dòng)來產(chǎn)生所述運(yùn)動(dòng)模糊。
7.根據(jù)權(quán)利要求1或6中的任一項(xiàng)所述的方法,還包含: 跟蹤跨越所述畫面序列中的多個(gè)畫面的特征;以及 基于所述跟蹤在所述多個(gè)畫面中產(chǎn)生所述虛擬攝像機(jī)窗口。
8.根據(jù)權(quán)利要求6所述的方法,其中,識(shí)別所述特征包含使用對(duì)象識(shí)別或面部識(shí)別。
9.根據(jù)權(quán)利要求1所述的方法,還包括: 基于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)和第二特征的運(yùn)動(dòng)產(chǎn)生被裁剪的畫面中的第二特征的運(yùn)動(dòng)模糊。
10.根據(jù)權(quán)利要求1所述的方法,其中,被裁剪的畫面是在產(chǎn)生所述運(yùn)動(dòng)模糊之前被縮放到顯示器分辨率的縮放后的畫面。
11.根據(jù)權(quán)利要求1所述的方法,還包含在向被裁剪的畫面中的特征添加所產(chǎn)生的運(yùn)動(dòng)模糊之后將被裁剪的畫面縮放到顯示器分辨率。
12.根據(jù)權(quán)利要求1所述的方法,還包含傳送以下之中的一個(gè)或多個(gè): 在添加所產(chǎn)生運(yùn)動(dòng)模糊之后的被裁剪的畫面, 在添加所產(chǎn)生運(yùn)動(dòng)模糊之前的被裁剪的畫面, 所述虛擬攝像機(jī)窗口運(yùn)動(dòng)的指示器,或者 所述特征運(yùn)動(dòng)的指示器。
13.根據(jù)權(quán)利要求1所述的方法,其中,所述畫面是包括從多個(gè)攝像機(jī)取得的畫面的合成畫面。
14.根據(jù)權(quán)利要求1所述的方法,其中,所述畫面是從單個(gè)攝像機(jī)取得的單個(gè)畫面。
15.根據(jù)權(quán)利要求1所述的方法,其中,所述畫面沒有運(yùn)動(dòng)模糊。
16.根據(jù)權(quán)利要求1所述的方法,還包含: 接收將所述特征識(shí)別為感興趣的特征的輸入;以及 基于所接收的輸入確定所述虛擬攝像機(jī)窗口。
17.根據(jù)權(quán)利要求1所述的方法,其中,在接收器處執(zhí)行所述存取、所述產(chǎn)生和所述添力口,并且所述方法還包含: 從所述接收器發(fā)送信號(hào),所述信號(hào)指示第二特征是感興趣的特征;以及響應(yīng)于發(fā)送所述信號(hào),在所述接收器處接收使用第二虛擬攝像機(jī)窗口從所述畫面序列中的第二畫面裁剪的第二被裁剪的畫面,其中,所述第二虛擬攝像機(jī)窗口與所述虛擬攝像機(jī)窗口不同。
18.根據(jù)權(quán)利要求1所述的方法,其中: 所述畫面是全景畫面,并且 所述畫面序列是全景畫面序列。
19.根據(jù)權(quán)利要求1所述的方法,其中,在廣播車、電纜頭端、電纜集線器或家庭中的一處或多處執(zhí)行所述存取、所述產(chǎn)生和所述添加。
20.一種裝置,包含: 存取使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面的部件; 基于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)和所述特征的運(yùn)動(dòng)產(chǎn)生被裁剪的畫面中的特征的運(yùn)動(dòng)模糊的部件;以及 向被裁剪的畫面中的特征添加所產(chǎn)生的運(yùn)動(dòng)模糊的部件。
21.一種包含一個(gè)或多個(gè)處理器的裝置,所述一個(gè)或多個(gè)處理器被共同地配置成執(zhí)行: 存取使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面; 基于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)和所述特征的運(yùn)動(dòng)產(chǎn)生被裁剪的畫面中的特征的運(yùn)動(dòng)模糊;以及 向被裁剪的畫面中的特征添加所產(chǎn)生的運(yùn)動(dòng)模糊。
22.—種在其上存儲(chǔ)有指令的處理器可讀介質(zhì),所述指令使一個(gè)或多個(gè)處理器共同地執(zhí)行: 存取使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面; 基于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)和所述特征的運(yùn)動(dòng)產(chǎn)生被裁剪的畫面中的特征的運(yùn)動(dòng)模糊;以及 向被裁剪的畫面中的特征添加所產(chǎn)生的運(yùn)動(dòng)模糊。
23.—種信號(hào),包括: 畫面部分,其關(guān)于使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面;以及 運(yùn)動(dòng)部分,其關(guān)于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)的指示。
24.—種信號(hào)結(jié)構(gòu),包括: 畫面部分,其關(guān)于使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面;以及 運(yùn)動(dòng)部分,其關(guān)于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)的指示。
25.一種在其上存儲(chǔ)有信號(hào)結(jié)構(gòu)的處理器可讀介質(zhì),所述信號(hào)結(jié)構(gòu)包含: 畫面部分,其關(guān)于使用虛擬攝像機(jī)窗口從畫面序列中的畫面裁剪的被裁剪的畫面;以及 運(yùn)動(dòng)部分,其關(guān)于所述虛擬攝像機(jī)窗口的運(yùn)動(dòng)的指示。
【文檔編號(hào)】G06T5/00GK104335243SQ201380022200
【公開日】2015年2月4日 申請(qǐng)日期:2013年5月17日 優(yōu)先權(quán)日:2012年5月18日
【發(fā)明者】P.H.盧提爾 申請(qǐng)人:湯姆遜許可公司