專利名稱：視頻壓縮中的幀類型的控制的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及控制用于視頻壓縮中的幀類型。
背景技術(shù)：
一種已知的運(yùn)動(dòng)圖像編碼系統(tǒng)是由通常所說的MPEG(運(yùn)動(dòng)圖像專家組)提出的，在該系統(tǒng)中GOP(圖像組)結(jié)構(gòu)由多幅圖像構(gòu)成，每幅圖像用數(shù)據(jù)格式表示。在MPEG結(jié)構(gòu)中，I圖像、P圖像和B圖像被規(guī)定為圖像編碼格式。
I圖像是內(nèi)編碼圖像并被用于表示幀內(nèi)編碼圖像。I圖像代表整個(gè)圖像平面，其被內(nèi)編碼并按照與原圖像相同的順序被編碼。P圖像是預(yù)測(cè)圖像并且是幀間前向的預(yù)測(cè)編碼幀，也就是說，它是從前面的圖像運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的圖像。在一些情況下，P圖像包括圖像平面中一小塊單元的內(nèi)編碼部分并且P圖像按照與原圖像相同的順序被編碼。雙向預(yù)測(cè)圖像(B)是雙向預(yù)測(cè)的編碼信息，也就是說，它是從前面和后面的圖像運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的圖像。B圖像可包括圖像幀中一小塊單元的內(nèi)編碼部分。在GOP中至少有一幅I圖像并且例如在MPEG1中規(guī)定GOP的開頭是比特流中的I圖像，以及在原圖像平面的順序中的GOP的結(jié)尾是I或P圖像。
因?yàn)橐韵逻@些原因雙向預(yù)測(cè)B幀改進(jìn)了編碼效率(a)有更多的編碼模式可以從B幀中選擇，因?yàn)锽幀能根據(jù)前面以及后面的幀來預(yù)測(cè)。
(b)在B幀中可能根據(jù)后面的幀預(yù)測(cè)未覆蓋的區(qū)域。
(c)組合預(yù)測(cè)的可能性，也就是說，對(duì)兩個(gè)預(yù)測(cè)取“平均”，一個(gè)來自前面的幀并且一個(gè)來自后面的幀，有助于某些類型的運(yùn)動(dòng)圖像和干擾圖像。
然而，使用B幀也引入一些缺點(diǎn)。
(i)為了能從后面的幀預(yù)測(cè)，這些后面的幀需要被首先預(yù)測(cè)。然而，由于這些預(yù)測(cè)必須跨過多幀周期作出，這些幀通常較少地相關(guān)并且預(yù)測(cè)就不太準(zhǔn)確。為了清楚起見，在本公開中每個(gè)電視幀由兩個(gè)正常隔行掃描的電視場(chǎng)組成。
(ii)如果預(yù)測(cè)從一幀到下一幀被作出，以某一速度運(yùn)動(dòng)的對(duì)象可能在搜索范圍內(nèi)，但是如果預(yù)測(cè)需要后面兩個(gè)或更多幀才能作出，該對(duì)象可能在搜索范圍外。
圖1用示意圖形式顯示了B幀預(yù)測(cè)是怎樣從前面和后面的幀作出的。它還顯示了P幀的預(yù)測(cè)必須跨過涉及的I或P幀與P幀之間的所有B幀作出。I與P幀在時(shí)間上速率的不同可能會(huì)中斷運(yùn)動(dòng)估計(jì)的搜索范圍從而降低圖像質(zhì)量。實(shí)際上，依賴于壓縮算法、搜索范圍等，圖像素材的主要部分由于有B幀而改進(jìn)，但是總有一小部分序列最好用無B幀的方式編碼。為了避免B幀的缺點(diǎn)而利用它們的優(yōu)點(diǎn)，適當(dāng)?shù)?，要求在有B幀編碼和無B幀編碼之間自適應(yīng)轉(zhuǎn)換。
圖2用示意圖形式顯示了自適應(yīng)編碼序列的一個(gè)實(shí)施例。在圖2中，編碼序列的第一部分使用B幀但在第二部分B幀沒有被使用。諸如在圖2中所示的序列中B幀有時(shí)被使用有時(shí)不被使用，這種序列可在諸如非實(shí)時(shí)編碼器的一些編碼器中可用，在該編碼器中兩部分序列被分開編碼。因此自然地，自適應(yīng)地轉(zhuǎn)換B幀使用和不使用的處理不是新穎的。然而困難在于決定何時(shí)B幀應(yīng)被使用以及何時(shí)它們不應(yīng)被使用。目前的發(fā)明者設(shè)想的一種配置是平行地編碼兩種數(shù)據(jù)流，一種有B幀，一種沒有B幀。然而，這種配置對(duì)于實(shí)時(shí)編碼器代價(jià)是非常高的，因?yàn)樵摼幋a器需要兩倍的處理能力。
視頻數(shù)字信號(hào)的自適應(yīng)和選擇性編碼被公開在美國專利5,227,878和5,828,787。

發(fā)明內(nèi)容
本發(fā)明試圖提供用于控制視頻壓縮中的幀類型，特別是B類型幀的方法和裝置，其至少部分緩和了上述缺點(diǎn)。
根據(jù)本發(fā)明最廣泛的方面，提供了控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的方法，包括如下步驟
確定具有很小空間活動(dòng)的快速運(yùn)動(dòng)場(chǎng)景并將這些場(chǎng)景和慢速運(yùn)動(dòng)場(chǎng)景或具有高空間細(xì)節(jié)的場(chǎng)景區(qū)別開，和依賴于該確定，快速運(yùn)動(dòng)場(chǎng)景被無B幀地編碼而慢速運(yùn)動(dòng)場(chǎng)景或具有高空間細(xì)節(jié)的場(chǎng)景被有B幀地編碼。
根據(jù)本發(fā)明的第一方面，提供了控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的方法，包括步驟在電視場(chǎng)內(nèi)的垂直方向(1)，在幀內(nèi)的垂直時(shí)間方向(2)，從視頻輸入信號(hào)確定活動(dòng)圖像；在沿電視掃描線的水平方向和沿電視場(chǎng)內(nèi)的掃描線的垂直方向(3)確定場(chǎng)內(nèi)空間活動(dòng)圖像；判斷(1)是否小于(2)且(3)是否小于預(yù)定的閾值，如果是，則計(jì)數(shù)器的計(jì)數(shù)值增加1，否則將計(jì)數(shù)器復(fù)位為0；如果計(jì)數(shù)器中的計(jì)數(shù)值大于預(yù)定的數(shù)N，則不使用B幀，否則使用B幀。
在本發(fā)明的一個(gè)特征中，提供了控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的方法，包括步驟提供隔行掃描視頻信號(hào)的采樣a、b、c、d、e，其中采樣a未被延遲，采樣b被延遲一條掃描線，采樣c被延遲一個(gè)電視場(chǎng)加一條掃描線，采樣d被延遲一個(gè)電視場(chǎng)加兩條掃描線，采樣e被延遲一個(gè)電視場(chǎng)加一條掃描線加沿該掃描線的進(jìn)一步延遲；將這些采樣應(yīng)用到差分裝置以確定|b-a|c-a|c-b|、|c-e|和|c-d|；累加差分裝置的合成輸出以提供(i)在一個(gè)電視場(chǎng)上的(|b-a|+|c-d|) (1)(ii)在一個(gè)電視場(chǎng)上的(|c-a|+|c-b|) (2)(iii)在一個(gè)電視場(chǎng)上的(|c-e|+|c-d|) (3)判斷
(1)是否小于(2)，(3)是否小于預(yù)定的閾值，如果是，則將計(jì)數(shù)器增加1，否則將計(jì)數(shù)器復(fù)位為0；如果計(jì)數(shù)器中的計(jì)數(shù)值大于預(yù)定的數(shù)N，則不使用B幀，否則在幀轉(zhuǎn)換信號(hào)中使用B幀。
根據(jù)本發(fā)明的第二方面，提供了控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的裝置，包括用于在電視場(chǎng)內(nèi)的垂直方向(1)，在幀內(nèi)的垂直時(shí)間方向(2)，從視頻輸入信號(hào)確定活動(dòng)圖像的裝置；用于在沿電視掃描線的水平方向和沿電視場(chǎng)內(nèi)的電視掃描線的垂直方向(3)確定場(chǎng)內(nèi)空間活動(dòng)圖像的裝置；用于判斷(1)是否小于(2)且(3)是否小于預(yù)定的閾值的裝置；然后如果上述條件被滿足，用于使計(jì)數(shù)器的計(jì)數(shù)值增加1，否則將計(jì)數(shù)器置位為0的裝置；和如果計(jì)數(shù)器中的計(jì)數(shù)值大于預(yù)定的數(shù)，則用于產(chǎn)生不使用B幀的轉(zhuǎn)換信號(hào)，否則產(chǎn)生使用B幀的轉(zhuǎn)換信號(hào)的裝置。
在本發(fā)明的一個(gè)特征中，提供了控制在具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的裝置，包括提供隔行掃描視頻信號(hào)的采樣a、b、c、d、e，其中用于提供采樣的裝置，其中a未被延遲，用于提供采樣的裝置，其中b被延遲一條掃描線，用于提供采樣的裝置，其中c被延遲一個(gè)電視場(chǎng)加一條掃描線，用于提供采樣的裝置，其中d被延遲一個(gè)電視場(chǎng)加二條掃描線，用于提供采樣的裝置，其中e被延遲一個(gè)電視場(chǎng)加一條掃描線加沿該掃描線的進(jìn)一步延遲；用于將這些采樣應(yīng)用到差分裝置以確定|b-a|、|c-a|、|c-b|、|c-e|和|c-d|的裝置，用于累加差分裝置的合成輸出以提供(i)在一個(gè)電視場(chǎng)上的(|b-a|+|c-d|) (1)(ii)在一個(gè)電視場(chǎng)上的(|c-a|+|c-b|) (2)
(iii)在一個(gè)電視場(chǎng)上的(|c-e|+|c-d|) (3)的裝置，用于判斷(1)是否小于(2)，(3)是否小于預(yù)定的閾值的裝置；如果是，則以計(jì)數(shù)器增加1，否則將計(jì)數(shù)器復(fù)位為0，和用于判斷計(jì)數(shù)器中的計(jì)數(shù)值是否大于預(yù)定的數(shù)N的裝置，如果是則該判斷裝置不使用B幀，否則在幀轉(zhuǎn)換信號(hào)中使用B幀。


本發(fā)明將被參照附圖舉例描述，其中圖1用示意圖方式顯示了B幀怎樣從前面和后面的幀預(yù)測(cè)；圖2用示意圖方式顯示了B幀被用于序列的第一部分但不用于第二部分的編碼序列。
圖3顯示了隔行掃描視頻信號(hào)的垂直時(shí)間采樣位置的圖；圖4顯示了根據(jù)本發(fā)明的裝置的框圖。
具體實(shí)施例方式
在本發(fā)明中作出是否使用B幀的決定并且該決定從通過對(duì)輸入視頻信號(hào)的分析計(jì)算出的一組參數(shù)獲得。本發(fā)明基于在垂直(也就是在一個(gè)電視場(chǎng)內(nèi))、垂直-時(shí)間(vertical-temporal)(在兩個(gè)電視場(chǎng)上的一幀內(nèi))和水平方向(沿掃描線)計(jì)算許多視頻信號(hào)的活動(dòng)圖像。
發(fā)明人已發(fā)現(xiàn)一個(gè)電視場(chǎng)內(nèi)的垂直活動(dòng)(vertical activity)小于一幀內(nèi)的垂直時(shí)間活動(dòng)(vertical-temporal activity)的視頻序列最好無B幀地編碼。然而這種具有高復(fù)雜度，即具有空間細(xì)節(jié)的序列，仍然主觀地最好有B幀地編碼。因此場(chǎng)內(nèi)空間活動(dòng)(垂直和水平)也應(yīng)該低于平均值以無B幀地編碼。在所有其它情況下B幀應(yīng)被使用。
上述內(nèi)容可簡(jiǎn)單表述為具有很小空間細(xì)節(jié)的快速運(yùn)動(dòng)場(chǎng)景應(yīng)被不使用B幀地編碼而慢速運(yùn)動(dòng)場(chǎng)景或具有高空間細(xì)節(jié)的場(chǎng)景應(yīng)被有B幀地編碼。
圖3顯示了隔行掃描視頻信號(hào)的時(shí)間空間采樣模式的圖示。視頻掃描線a和b代表電視場(chǎng)2內(nèi)的相鄰掃描線而視頻掃描線c和d為電視場(chǎng)1內(nèi)相鄰的掃描線。當(dāng)考慮視頻幀1時(shí)，視頻掃描線a和b均與視頻掃描線c垂直時(shí)間相鄰。注意到視頻采樣e未顯示在圖3中，但是和采樣c在同一視頻掃描線，但是被一個(gè)亮度時(shí)鐘周期隔開(在同一視頻掃描線上的相鄰采樣)。用于執(zhí)行本發(fā)明的裝置被顯示在圖4中，在該裝置中視頻信號(hào)采樣被應(yīng)用到輸入掃描線41，這樣采樣a被應(yīng)用到一個(gè)1掃描線延遲42和絕對(duì)值減法器43。延遲42的輸出由采樣b表示，采樣b被應(yīng)用到具有一個(gè)電視場(chǎng)加一條掃描線的延遲44，即用于625掃描線標(biāo)準(zhǔn)的321掃描線延遲或用于525掃描線標(biāo)準(zhǔn)的262掃描線延遲，采樣b還被輸入絕對(duì)值減法器43和絕對(duì)值減法器45。延遲44的輸出由采樣c表示，采樣c被輸入一個(gè)1掃描線延遲46和絕對(duì)值減法器45以及其他絕對(duì)值減法器47和48。由采樣d表示的延遲46的輸出也被作為絕對(duì)值減法器48的輸入。采樣c被應(yīng)用到一個(gè)1采樣延遲49，也就是說采樣e和采樣c在同一視頻掃描線但是被一個(gè)亮度時(shí)鐘周期延遲。采樣e被應(yīng)用到絕對(duì)值減法器50，該絕對(duì)值減法器50也接收采樣c作為輸入。來自絕對(duì)值減法器43和48的輸出被應(yīng)用到累加器51，來自絕對(duì)值減法器47和45的輸出被應(yīng)用到累加器52，并且來自絕對(duì)值減法器48和50的輸出被應(yīng)用到累加器53。累加器51，52和53的輸出被應(yīng)用到比較器54，比較器的輸出被應(yīng)用到在輸出端56產(chǎn)生B幀轉(zhuǎn)換信號(hào)的計(jì)數(shù)器55。圖4的配置累加一個(gè)電視場(chǎng)周期內(nèi)的采樣差分的絕對(duì)值|b-a|+|c-d|、|c-a|+|c-b|和|c-e|+|c-d|。通過在每幀周期后比較累加值，B幀轉(zhuǎn)換信號(hào)被推導(dǎo)如下如果 ∑場(chǎng)(|b-a|+|c-d|)＜∑場(chǎng)(|c-a|+|c-b|) (1)且∑場(chǎng)(|c-e|+|c-d|)＜閾值 (2)則用1增加計(jì)數(shù)器否則 將計(jì)數(shù)器置位為0如果 計(jì)數(shù)器＞N則不使用B幀否則 使用B幀計(jì)數(shù)器被用于防止在兩種模式間快速轉(zhuǎn)換。例如，對(duì)于N＝3，在B幀被不使用之前，最少有4幀必須顯示場(chǎng)內(nèi)活動(dòng)比幀內(nèi)活動(dòng)和低空間活動(dòng)更少。然而，場(chǎng)內(nèi)活動(dòng)大于幀內(nèi)活動(dòng)或空間活動(dòng)大于“平均”的單一幀將使B幀再一次被使用。用于空間活動(dòng)的閾值被設(shè)置為足夠大的測(cè)試序列集合的空間活動(dòng)中值。
以下表1顯示了B幀怎樣取決于累加的活動(dòng)數(shù)(數(shù))而被轉(zhuǎn)換到使用和不使用的實(shí)施例，其中N＝3且閾值等于5000。
表1

權(quán)利要求
1.一種控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的方法，包括步驟確定(41-56)具有很小空間活動(dòng)的快速運(yùn)動(dòng)場(chǎng)景并區(qū)別這樣的場(chǎng)景和慢速運(yùn)動(dòng)場(chǎng)景或具有高空間細(xì)節(jié)的場(chǎng)景；和依賴于所述確定，快速運(yùn)動(dòng)場(chǎng)景被無B幀地編碼而所述慢速運(yùn)動(dòng)場(chǎng)景或具有高空間細(xì)節(jié)的場(chǎng)景被有B幀地編碼。
2.一種控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的方法，包括步驟在電視場(chǎng)內(nèi)的垂直方向(1)，在幀內(nèi)的垂直時(shí)間方向(2)，從視頻輸入信號(hào)確定活動(dòng)圖像(41-53)；在沿電視掃描線的水平方向和在沿電視場(chǎng)中的掃描線的垂直方向(3)確定場(chǎng)內(nèi)空間活動(dòng)圖像；判斷(54)(1)是否小于(2)，且(3)是否小于預(yù)定的閾值，如果是，則計(jì)數(shù)器的計(jì)數(shù)值增加1，否則將計(jì)數(shù)器置位為0；如果所述計(jì)數(shù)器中的計(jì)數(shù)值大于預(yù)定的數(shù)N，則不使用B幀，否則使用B幀。
3.一種控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的方法，包括步驟提供隔行掃描視頻信號(hào)(41，42，44，46)的采樣a、b、c、d、e，其中采樣a未被延遲(41)，采樣b被延遲一條掃描線(42)，采樣c被延遲一個(gè)電視場(chǎng)加一條掃描線(44)，采樣d被延遲一個(gè)電視場(chǎng)加二條掃描線(46)，采樣e被延遲一個(gè)電視場(chǎng)加一條掃描線加沿所述掃描線(49)的進(jìn)一步延遲；應(yīng)用所述采樣到差分裝置(43，47，45，50，48)以確定|b-a|、|c-a|、|c-b|、|c-e|和|c-d|，累加(51，52，53)所述差分裝置的合成輸出以提供(i) 在一個(gè)電視場(chǎng)上(|b-a|+|c-d|) (1)(ii) 在一個(gè)電視場(chǎng)上(|c-a|+|c-b|) (2)(iii)在一個(gè)電視場(chǎng)上(|c-e|+|c-d|) (3)判斷(54)(1)是否小于(2)，且(3)是否小于預(yù)定的閾值，如果是，則計(jì)數(shù)器(55)加1，否則將所述計(jì)數(shù)器置位為0；如果所述計(jì)數(shù)器中的計(jì)數(shù)值大于預(yù)定的數(shù)N，則不使用B幀，否則在幀轉(zhuǎn)換信號(hào)中使用B幀。
4.一種用于控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的裝置，包括用于在電視場(chǎng)內(nèi)的垂直方向(1)，在幀內(nèi)的垂直時(shí)間方向(2)，從視頻輸入信號(hào)中確定活動(dòng)圖像的裝置(41-53)；用于在沿電視掃描線的水平方向和在沿電視場(chǎng)中的所述電視掃描線的垂直方向(3)確定場(chǎng)內(nèi)空間活動(dòng)圖像的裝置；用于判斷(1)是否小于(2)且(3)是否小于預(yù)定的閾值的裝置；用于在上述條件被滿足的情況下，使計(jì)數(shù)器的計(jì)數(shù)值增加1，否則將所述計(jì)數(shù)器置位為0的裝置；和用于在所述計(jì)數(shù)器中的計(jì)數(shù)值大于預(yù)定的數(shù)的情況下，產(chǎn)生不使用B幀的轉(zhuǎn)換信號(hào)，否則產(chǎn)生使用B幀轉(zhuǎn)換信號(hào)的裝置。
5.一種用于控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的裝置，包括提供隔行掃描視頻信號(hào)(41，42，44，46)的采樣a、b、c、d、e，其中用于提供采樣的裝置(41)其中a未被延遲，用于提供采樣的裝置(42)其中b被延遲一條掃描線，用于提供采樣的裝置(44)其中c被延遲一個(gè)電視場(chǎng)加一條掃描線，用于提供采樣的裝置(46)其中d被延遲一個(gè)電視場(chǎng)加二條掃描線，用于提供采樣的裝置(49)其中e被延遲一個(gè)電視場(chǎng)加一條掃描線加沿所述掃描線的進(jìn)一步延遲，用于將所述采樣應(yīng)用到差分裝置以確定|b-a|、|c-a|、|c-b|、|c-e|和|c-d|的裝置(43，47，45，50，48)；用于累加所述差分裝置的合成輸出以提供(i)在一個(gè)電視場(chǎng)上(|b-a|+|c-d|) (1)(ii) 在一個(gè)電視場(chǎng)上(|c-a|+|c-b|) (2)(iii) 在一個(gè)電視場(chǎng)上(|c-e|+|c-d|) (3)的裝置(51，52，53)；用于判斷(1)是否小于(2)且(3)是否小于預(yù)定的閾值的裝置如果是，則計(jì)數(shù)器(55)增加1，否則將所述計(jì)數(shù)器置位為0，和用于判斷所述計(jì)數(shù)器的計(jì)數(shù)值是否大于預(yù)定的數(shù)N的裝置，如果是則上述判斷裝置不使用B幀，否則在幀轉(zhuǎn)換信號(hào)中使用B幀。
全文摘要
本發(fā)明公開一種控制具有I、P和B幀的視頻壓縮系統(tǒng)中的幀類型的方法在垂直、垂直時(shí)間和水平方向計(jì)算視頻信號(hào)的活動(dòng)圖像。通過使用本發(fā)明，在一電視場(chǎng)內(nèi)的垂直活動(dòng)小于在一幀內(nèi)的垂直時(shí)間活動(dòng)的具有低復(fù)雜度的視頻序列被無使用B幀地編碼而具有高復(fù)雜度也就是高空間細(xì)節(jié)的序列被使用B幀地編碼。與B幀相關(guān)聯(lián)的缺點(diǎn)通過選擇性的使用B幀被減小。
文檔編號(hào)H04N7/26GK1741615SQ20051009355
公開日2006年3月1日 申請(qǐng)日期2005年8月26日 優(yōu)先權(quán)日2004年8月27日
發(fā)明者A·M·博克, R·梅 申請(qǐng)人:泰德廣播電視公司