專利名稱：對多個視象物面作顯示時間標(biāo)記和同步的方法
本申請是題為《對視頻序列進(jìn)行局部時基編碼的方法》的CN01115941.3的分案申請；申請人為“松下電器產(chǎn)業(yè)株式會社”。
而所稱CN01115941.3申請又系申請日為1997.7.3，題為《對多個視象物面作顯示時間標(biāo)記和同步的方法》的CN97190851.6的分案申請，該在先申請的優(yōu)先權(quán)日為1996.7.5，并且在先申請?zhí)枮?76430/96(JP)。
本發(fā)明對于為表現(xiàn)一個以上獨立編碼的視聽物需進(jìn)行同步的視聽資料數(shù)字編碼是有用的。尤其在對非同一視聽資料進(jìn)行短暫取樣時特別適用。
在MPEG-1和MPEG-2的標(biāo)準(zhǔn)中，輸入的視象是按標(biāo)準(zhǔn)時間間隔取樣的象幀組成的。它代表輸入的最精細(xì)的短暫分辯率。

圖1示出按照標(biāo)準(zhǔn)時間間隔取樣象幀的固定幀速率的一個視象序列。在用MPEG-1和MPEG-2標(biāo)準(zhǔn)編碼表示的視象序列中，編碼幀的顯示次序是用短暫基準(zhǔn)表示的。這一參數(shù)出現(xiàn)在位流體系的畫首。這一參數(shù)值在檢查顯示次序時每譯一次幀碼要增加一。
在H.263標(biāo)準(zhǔn)中有可能跳幀，因而就可能對可變幀速率的視象序列進(jìn)行譯碼。但對象幀的取樣仍然固定不變。這樣只需將一級增加1改成一級增加1再加上按幀速率未傳送的圖象數(shù)，就能使MEPG-1和MEPG-2標(biāo)準(zhǔn)中所用的短暫基準(zhǔn)法仍然合適。
目前的工作正進(jìn)行在對多重視象物面中的分別象物進(jìn)行視象編碼的領(lǐng)域中。這代表著對相應(yīng)視象物譯碼與同步的新的方向。預(yù)期這些不同的視象物面可以來自若干源并可以具有不同的幀速率。某些視象物可被復(fù)制并具有幾乎連續(xù)的短暫取樣速率。這些視象物面組合成顯示的合成圖象。因而需要有某些種類的合成的同步。有可能顯示的幀速率不同于任何視象物面的幀速率。圖2示出一例具有相互不同而且變動的幀速率的兩個視象物面。即若在兩個視象物面之間能夠建立共同的幀速率，也不會自動使此幀速率成為與合成圖象輸出相同的幀速率。
此后我們將把這一問題歸入視象領(lǐng)域。但本發(fā)明的同一原理能夠擴(kuò)展到音響領(lǐng)域以及兩者的組合中。
上述情況清楚說明現(xiàn)有技術(shù)不能滿足對視象物面的同步。當(dāng)不同的視象物面具有互相不成倍數(shù)的不同幀速率時，現(xiàn)有技術(shù)也不能提供共同的短暫基準(zhǔn)。
首先的問題是如何為每一視象物面提供一個共用的局部時基機(jī)構(gòu)。這一時基將有可能提供非常精細(xì)的短暫粒度并與此同時能夠適應(yīng)可能在兩個連續(xù)視象物面之間出現(xiàn)很長間隙的情形。
第二個問題是如何提供對不同幀速率的視象物面進(jìn)行同步的機(jī)構(gòu)。
以上問題可以通過為所有的局部時基實現(xiàn)使用共同的短暫解象而獲解決。為了滿足寬廣范圍的短暫粒度，將局部時基劃分成兩個不同的部分。第一部分包含提供短時基的細(xì)粒度短暫解象。第二部分包含提供長時基的粗粒度短暫解象。短時基包含在每一視象物面上為視象物提供短暫基準(zhǔn)。而后使短時基與所有視象物面共用的長時基同步。用它將所有不同的視象物面同步到由主時鐘建立的共用時基上。
按照本發(fā)明的第一種方式，對壓縮數(shù)據(jù)中的視象音響序列的局部時基進(jìn)行編碼的方法包括有步驟經(jīng)短暫取樣獲取視象音響序列的實例；確定所述實例的局部時基編成壓縮數(shù)據(jù)碼；將所述局部時基編成兩部分碼，它包括標(biāo)記在局部時基的特定間隙上出現(xiàn)一組均勻間隔時間基準(zhǔn)的模數(shù)時基和相對于所述均勻間隔時間基準(zhǔn)的時基增量；每當(dāng)特定間隙消逝就將模數(shù)時基插入壓縮數(shù)據(jù)；以及將時基增量插入所述視象音響序列實例的壓縮數(shù)據(jù)中。
按照本發(fā)明的第二種方式，對壓縮數(shù)據(jù)中的視象音響序列的局部時基進(jìn)行編碼的方法包括有步驟經(jīng)短暫取樣獲取視象音響序列的實例；確定所述實例的局部時基編成壓縮數(shù)據(jù)碼；
按照兩種方法中的一種對所述實例進(jìn)行編碼，這兩種方法包括不參考任何未來情況的第一壓縮方法和參考未來重新組建情況的第二壓縮方法；將所述局部時基編成兩部分碼，它包括標(biāo)記在局部時基的特定間隙上出現(xiàn)一組均勻間隔時間基準(zhǔn)的模數(shù)時基和時基增量；對用第一壓縮方法壓縮的實例作為以所述均勻間隔時間為基準(zhǔn)的絕對值進(jìn)行時基增量編碼；對用第二壓縮方法壓縮的實例作為曾用所述第一方法壓縮過的實例的局部時基的相對值進(jìn)行時基增量編碼；每當(dāng)特定間隙消逝就將模數(shù)時基插入壓縮數(shù)據(jù)；以及將時基增量插入所述視象音響序列實例的壓縮數(shù)據(jù)中。
按照本發(fā)明的第三種方式，一種本發(fā)明第一種或第二種方式的方法，基中包含編入局部時基信息碼的多個壓縮位流經(jīng)過倍增，它還包括進(jìn)行倍增的步驟；通過在倍增的位流中補(bǔ)償編插時基碼使各個壓縮位流的局部時基與共用時基同步；為了接著要將壓縮實例放進(jìn)倍增的位流中對每一壓縮位流進(jìn)行檢查，直至所有的壓縮位流均達(dá)到模數(shù)時基；向倍增位流中插入共用的模數(shù)時基并跳過壓縮位流的模數(shù)時基；以及重復(fù)進(jìn)行以上兩步驟，直至所有的壓縮位流流出為止。
按照本發(fā)明的第四種方式，一種本發(fā)明第一種或第二種方式的方法，基中包含編入局部時基信息碼的多個壓縮位流經(jīng)過倍增和解除倍增，它還包括解除倍增的步驟對各個壓縮位流補(bǔ)償?shù)臅r基進(jìn)引譯碼；檢查下一個壓縮實例的倍增位流并將所述實例放進(jìn)合適的壓縮位流中，直至在倍增的位流中碰到一個模數(shù)時基為止；將模數(shù)時基插到每個壓縮位流中；以及重復(fù)進(jìn)和以上兩步驟，直至倍增的位流流出為止。
按照本發(fā)明的第五種方式，一種由按本發(fā)明節(jié)一種方式編碼的壓縮數(shù)據(jù)時基對一視象音響序列的局部時基進(jìn)行譯碼的方法，它包括有步驟考慮時基補(bǔ)償對基準(zhǔn)時基進(jìn)行初始化；
使基準(zhǔn)時基增長一段用作解譯每個模數(shù)時基的特定間隙；對壓縮實例的時基增量進(jìn)行解譯；以及通過將所述解譯的時基增量值加到基準(zhǔn)時基上確定所述實例的解譯時基。
按照本發(fā)明的第六種方式，一種由按本發(fā)明第二種方式編碼的壓縮數(shù)據(jù)時基對一視象音響序列的局部時基進(jìn)行譯碼的方法，它包括有步驟考慮時基補(bǔ)償對基準(zhǔn)時基進(jìn)行初始化；使基準(zhǔn)時基增長一段用作解譯每個模數(shù)時基的特定間隙；對壓縮實例的時基增量進(jìn)行解譯；以及依據(jù)實例編碼所用的是第一種還是第二種壓縮方法，分別確定絕對還是相對的兩種類型中的一類時基增量；如若屬于第一類型時基，則通過將所述解譯的時基增量值加到基準(zhǔn)時基上確定所述實例的解譯時基；以及如若屬于第二類型的時基增量，則通過將所述解譯的時基增量值加到用第一壓縮方法編碼的以往實例的解譯時基上，確定所述實例的解譯時基。
從以下給出的詳細(xì)說明以及附圖將會得到對本發(fā)明更充分的了解，基中圖1繪示已有技術(shù)的短暫取樣，其中的視象幀序列是按標(biāo)準(zhǔn)間隔取樣的。
圖2繪示視象物面及其相互關(guān)系的原理圖。視象物面的取樣可以是無規(guī)則的且取樣周期可以急劇變動。
圖3A繪示本發(fā)明用模數(shù)時基和VOP(視象物面)時間增量表示視象物的短暫基準(zhǔn)。只用I和P VOP繪示。
圖3B繪示本發(fā)明用模數(shù)時基和VOP時間增量表示視象物的短暫基準(zhǔn)。用I、P和B VOP繪示。
圖4繪示當(dāng)表示順序和編碼順序與B-視象物面的結(jié)果不同時能夠出現(xiàn)含糊不清的一項示例。
圖5繪示采用絕對和相對時基對含糊不清求解。
圖6繪示兩個VOP組合以及采用VOP時間補(bǔ)償使它們與共用時基同步。
圖7繪示時基編碼的流程圖。
圖8繪示一個以上視象物面復(fù)合的流程圖。
圖9繪示一個以上視象物面解除復(fù)合的流程圖。
圖10繪示恢復(fù)時間標(biāo)記表示的流程圖。
圖11繪示作時基編碼的位流編碼器的運(yùn)行方框圖。
圖12繪示作時基譯碼的位流譯碼器的運(yùn)行方框圖。
圖13繪示形成位流數(shù)據(jù)的時卡。
本發(fā)明通過提供兩種同步形式運(yùn)行。第一種是附在視象物面上的短時基。以后將此時基稱為VOP時間增量。相對于附在要進(jìn)行解譯并組合在一起的一組視象物面上的長時基來說，VOP時間增量是視象物面的計時機(jī)構(gòu)。長時基被稱為模數(shù)時基。VOP時間增量和模數(shù)時基將在以后共同用于確定將視象物面合成為最終顯示的合成序列所用的真實時基。
為了便于編排位流以及將不同源的不同視象物面組合成一個新的視象物面組，就需要在個別視象物面的局部時基和共用時基之間能有一個固定補(bǔ)償量的第三分量。此后將稱這一補(bǔ)償為VOP時間補(bǔ)償。這樣就避免了不同的視象物面不得不以相等的粒度與模數(shù)時基間隙同步。對于復(fù)合在一起的視象物面組當(dāng)中的每一視象物面，這一分量必須保持不變。
首先，對模數(shù)時基進(jìn)行說明。
模數(shù)時基表示局部時基的粗分解。它沒有VOP時間增量那樣的數(shù)值。事實上它更加屬于一種使VOP時間增量與視象物面的局部時基同步的同步機(jī)構(gòu)。它作為記號置于編碼的位流中以表示接著的視象物面的VOP時間增量是要重新設(shè)置的以及參照的時基要增長一個或一個以上的模數(shù)時基間隙單位。在圖3A、3B、4、5和6中，將模數(shù)時基表示成零的或更多的是后面接一個“0”的“1”的系列，插在VOP時間增量前面的位流首部中。向位流中插入編號“1”取決于自上次碼I或P-視象物面以來已消逝的模數(shù)時基的單位編號。在編碼器和譯碼器中，模數(shù)時基計數(shù)器每遇一次“1”就增加一。模數(shù)時基計數(shù)器的長度有限，因而在實際的系統(tǒng)中，當(dāng)用完最大值時就將模數(shù)時基重新設(shè)置為零。在典型的視象序列中，由視象物面形成一組VOP。因而通常在這一組VOP起始時模數(shù)時基重新設(shè)置。
接著，對VOP時間增量進(jìn)行說明。
VOP要按能夠支持對視象物進(jìn)行最短暫取樣的單位進(jìn)行時間增量。它也可以是再現(xiàn)視象物的原有時基。因而它代表所需要的或能夠支持的最細(xì)粒度的短暫分辨率。
然后可用大于或等于整體時基間隙與局部時基分辨率之比的一有限長度編號表示VOP時間增量。圖3A示出I和P-視象物面的VOP時間增量并參照模數(shù)時基的一項示例。使用絕對時基。每遇一次模數(shù)時基就重新設(shè)置VOP時間增量。圖3B示出使用I、P和B-視象物面的另一示例。除在B-視象物面中重復(fù)模數(shù)時基之外，其它的運(yùn)行相同。若在B-視象物面中未重復(fù)模數(shù)時基，則因譯碼和表示的順序不同而出現(xiàn)了模糊不清。這在后面作詳細(xì)說明。
由于VOP時間增量與表示的時基對應(yīng)，當(dāng)編碼順序與表示順序不同時就會出現(xiàn)潛在的問題。它隨B-視象物面而出現(xiàn)。與MPEG-1和MPEG-2的B-畫面類似，即使B-視象物面在表示順序中的基準(zhǔn)視象物得到領(lǐng)先，它們?nèi)砸谄浠鶞?zhǔn)I和p-視象物面之后進(jìn)行編碼。由于VOP時間增量有限而且與模數(shù)時基有關(guān)，當(dāng)遇到模數(shù)時基時，就要重新設(shè)置VOP時間增量。然而，B-視象物面的編碼順序已被推遲。圖4示出由此所能出現(xiàn)的模糊不清。它就不可能確定VOP時間增量須重新設(shè)置的時間。事實上，當(dāng)給出了圖4A中的編碼事件序列時，不可能知道圖4B、4C和4D的計時情形中哪一種是試圖表示的。由于在與不同的編碼和表示順序相聯(lián)結(jié)的所有不同類型的視象物當(dāng)中使用一個共享的模數(shù)時基，所以出現(xiàn)了這一問題。由于基準(zhǔn)信息要符合B-視象物面的要求，因而對編碼順序是無計可施的。而且對于不同的預(yù)測類型也不希望具有相互無關(guān)的模數(shù)時基。因而解決的辦法是將B-視象物面的VOP時間增量作為對前面的I或P視象物面的相對值進(jìn)行編碼而且只將模數(shù)時基用于I和P-視象物面不用于B-視象物面。這一解決方案繪示在圖5中。
接著，對VOP時間補(bǔ)償進(jìn)行說明。
除上述情況外，模數(shù)時基是在所有視象物面之間共用的，這意味著不同視象物的同步將具有與模數(shù)時基間隙相等的粒度。這在由不同組的視象物面組合形成一個新的視象物面組的情況下尤其是無法接收的。圖6示出一例用相互補(bǔ)償兩個不同的局部時基編碼的兩個不同的視象物面。這樣，當(dāng)視象物面復(fù)合時，視象物面的同步也作補(bǔ)償。通過使每一個別視象物面都能得到VOP時間補(bǔ)償實現(xiàn)了更精細(xì)的精度。這意味著當(dāng)視象物面被處理和復(fù)合時，只改變了這一數(shù)值。這就無需改變VOP時間增量而且還有可能不經(jīng)粗粒度的計時差分復(fù)合不同的視象物面。圖6繪示使用這種時基補(bǔ)償。
本發(fā)明的最佳實施例包括對每個個別視象物面的位流進(jìn)行時基編碼的方法、將不同的視象物面復(fù)合成共用時基的方法、將復(fù)合的位流解除復(fù)合成為分量的方法以及由分量位流恢復(fù)時基的方法。
對時基編碼進(jìn)行說明。
在圖7中示出時基編碼實施例的流程圖。在步驟1中首先將編碼器中的局部時基初始化至局部的起始時間。流程進(jìn)至步驟2，編碼器確定局部時基的現(xiàn)時值。在步驟3中求局部時基，與以往的編碼模數(shù)時基相比看其間隙是否超過模數(shù)時基間隙。若是間隙已超過控制就進(jìn)至步驟4，將所需的模數(shù)時基號插入位流。若是間隙未超過，則無需專門的操作。流程然后進(jìn)至步驟5，將VOP時間增量插入位流中。然后在步驟6中進(jìn)行視象物編碼并插入位流中。然后在步驟7中編碼器檢查判定是否有更多要進(jìn)行編碼的視象物。若有更多要進(jìn)行編碼的視象物，流程再返回步驟2求得局部時基。若是沒有更多要進(jìn)引編碼的視象物就結(jié)束流程。
下列公式分別用于確定I/P-視象物面和B-視象物面的絕對和相對VOP時間增量。
tGTBn＝n×tGTBI+tGTBO(n＝0、1、2、3……) (1)tAVTI＝tTBI/p-tGTBn(2)tRVTI＝tETB-tETBI/p(3)其中tGTBn為用n次編碼的模數(shù)時基標(biāo)記的編碼器時基，tGTBI為預(yù)定的模數(shù)時基間隙，tGTBO為編碼器時基起始時間，tAVTI為I或p-視象物面的絕對VOP時間增量，tETBI/P為在I或P-視象物面編碼起始時的編碼器時基，
tRVTI為B-視象物面的相對VOP時間增量，以及tETBB為在B-視象物面編碼起始時的編碼器時基。
接著，對一個以上視象物面的復(fù)合進(jìn)行說明。
當(dāng)一個以上的視象物面復(fù)合在一起時，復(fù)合器檢查多個視象物面的位流確定復(fù)合以及同步的順序。所包括的操作繪示在圖8中。在步驟11中將要復(fù)合的每一視象物面的VOP時間補(bǔ)償插入位流中。然后在步驟12中檢查全部要進(jìn)行復(fù)合的視象物面的位流以判定全部物面是否都處于它們各自的模數(shù)時基。若它們是這樣，則流程進(jìn)至步驟13，將一共用的模數(shù)時基插入復(fù)合的位流中。流程然后進(jìn)至步驟14，將下一個編碼的視象物插入復(fù)合的位流中。在步驟15中，對要進(jìn)行復(fù)合的視象物面的位流再次進(jìn)行檢查，看是否有更多的視象物要進(jìn)行復(fù)合。若是這樣，然后再將控制進(jìn)至步驟12。否則就結(jié)束流程。
對包含一個以上視象物面的位流解除復(fù)合進(jìn)行說明。
在圖9中繪示了對包含多個視象物面的位流所進(jìn)行的解除復(fù)合。在步驟21開始流程，對VOP時間補(bǔ)償進(jìn)行譯碼并進(jìn)至譯碼器進(jìn)行同步。然后在步驟22檢查復(fù)合的位流，看是否找到模數(shù)時基。若是找到模數(shù)時基則流程進(jìn)至步驟23，將模數(shù)時基插入所有視象物的位流中。然后流程連續(xù)至步驟24，檢查下一個視象物并插入適當(dāng)?shù)囊曄笪镂涣?。最后再對?fù)合的位流進(jìn)行檢查，看是否還有要解除復(fù)合的視象物。若有，則流程再進(jìn)至步驟22。否則就終止流程。
對恢復(fù)時基進(jìn)行說明。
圖10中示出時基恢復(fù)的實施例。在恢復(fù)局部時基中，流程在步驟31開始，將由解除復(fù)合器解譯的VOP時間補(bǔ)償考慮進(jìn)去起始局部時基。然后流程進(jìn)至步驟32，核對位流判定模數(shù)時基是否被解譯。若模數(shù)時基被解譯，則流程進(jìn)至步驟33，按照模數(shù)時基的增量增加局部時基。而后流程進(jìn)至步驟37。若模數(shù)時基未被解譯，則流程進(jìn)至步驟34，對視象物進(jìn)行檢查判斷它是否就是一個B-視象物。如果是，則流程進(jìn)至步驟35，根據(jù)式(6)計算出B-視象物的解譯時基。而后流程進(jìn)至步驟37。若步驟34的結(jié)果不是一個B-視象物，則流程進(jìn)至步驟36，根據(jù)式(5)計算出解譯時基。而后流程進(jìn)至步驟37。在步驟37中檢查位流，看是否還有更多要解譯的視象物。若是有，則流程再進(jìn)至步驟32。否則就終止流程。
下列公式用于確定視象物所表示的時間標(biāo)記；tGTBn＝n×tGTBI+tGTBO(n＝0、1、2、3……) (4)tDTBI/p＝tAVTI+tGTBn(5)tDTBB＝tRVTI+tDTBI/p(6)其中tGTBn為用n次解譯模數(shù)時基作記號的解譯時基，tGTBI為預(yù)定的模數(shù)時基間隙，tGTBO為解譯時基起始時間tDTBI/P為在I或P視象物面解譯起始時的解譯時基，tAVTI為I或P視象物面解譯的絕對VOP時間增量，tDTBB為在B-視象物面解譯起始時的解譯時基，以及tRVTI為B-視象物面解譯的相對VOP時間增量。
對位流編碼器的實現(xiàn)進(jìn)行說明。
圖11示出用于對模數(shù)時基和VOP時間增量進(jìn)行編碼實現(xiàn)位流編碼器的方框圖。為了進(jìn)行這項說明的目的，利用了圖3B中的示例。由于使用了雙向預(yù)告，編碼順序與圖3B中所示的表示順序不同。編碼順序以I-VOP開始，在B-VOP之前接著P-VOP。這在下面的第三段中作了說明。
在起始器步驟41中流程開始，通過將局部時基寄存器起始至?xí)r間碼的初始值啟動位流編碼器。將同一時間碼值編入位流中。在接著開始I-VOP編碼時，在步驟42中時間比較器用I-VOP的表示時間與局部時基寄存器作比較。其結(jié)果進(jìn)至步驟43的模數(shù)時基編碼器。模數(shù)時基編碼器將向位流中插入所需的與已消逝的模數(shù)時基增量號相等的編號“1”。隨后用符號“0”作模數(shù)時基碼的終結(jié)碼。局部時基寄存器被校正成為現(xiàn)時的模數(shù)時基。然后流程進(jìn)至步驟44的VOP時基增量編碼器，對I-VOP余下的表示時間碼進(jìn)行編碼。
然后流程對接著的P-VOP編碼視象物面重復(fù)進(jìn)行。在步驟42，時間碼比較器用P-VOP表示時間與局部時基寄存器相比。其結(jié)果進(jìn)至步驟43的模數(shù)時基編碼器。模數(shù)時基編碼器將插進(jìn)所需的與已消逝的模數(shù)時基增量號相等的編號“1”。隨后用符號“0”作模數(shù)時基碼的終結(jié)碼。將B-VOP時基寄存器設(shè)置成局部時基寄存器的數(shù)值，并將局部時基寄存器校正成為現(xiàn)時的模數(shù)時基。然后流程進(jìn)至步驟44的VOP時基增量編碼器，對P-VOP余下的表示時間碼進(jìn)行編碼。
然后流程對接著的B-VOP編碼視象物面重復(fù)進(jìn)行。在步驟42，時間碼比較器用B-VOP表示時間與B-VOP時基寄存器相比。其結(jié)果進(jìn)至步驟43的模數(shù)時基編碼器。模數(shù)時基編碼器將插進(jìn)所需的與已消逝的模數(shù)時基增量號相等的編號“1”。隨后用符號“0”作模數(shù)時基碼的終結(jié)碼。在處理B-VOP之后不論是B-VOP時基寄存器還是局部時基寄存器均不改變。然后流程進(jìn)至步驟44的VOP時基增量編碼器，對P-VOP余下的表示時間碼進(jìn)行編碼。
在標(biāo)記下一組VOP開始的接著的I-VOP中重新設(shè)置局部時基。
對位流解碼器的實現(xiàn)進(jìn)行說明。
圖12繪示實現(xiàn)模數(shù)時基與VOP時間增量的解碼器以恢復(fù)表示時間標(biāo)記的方框圖。如在實現(xiàn)編碼器中那樣，使用了圖3B中的示例。解碼順序與編碼順序相同，I-VOP解碼之后接著是在B-VOP之前的P-VOP。在以下段落中對比作出說明。
在步驟51的起始器中流程開始，將局部時基寄存器設(shè)置成從位流解譯出的時間碼值。然后流程進(jìn)至步驟52的模數(shù)時基解碼器，對模數(shù)時基增量進(jìn)行解譯。全部解譯的模數(shù)時基增量號在符號“0”之前得到“1”的解碼號。接著在步驟53的VOP時基增量中解譯VOP時基增量。在步驟54的時基計算器中，恢復(fù)I-VOP的表示時間。將全部解譯的模數(shù)時基增量值加到局部時基寄存器上。而后將VOP時基增量加到局部時基寄存器上求得I-VOP的表示時間。然后流程進(jìn)至視象物解碼器解譯視象物。
對于P-VOP，流程在步驟52的模數(shù)時基解碼器中重復(fù)進(jìn)行，解譯模數(shù)時基增量。全部解譯的模數(shù)時基增量號在符號“0”之前得到“1”的解碼號。接著在步驟53的VOP時基中解譯VOP時基增量。在步驟54的時基計算器中，恢復(fù)P-VOP的表示時間。將B-VOP模數(shù)時基寄存器設(shè)置成局部時基寄存器中的數(shù)值。將全部解譯的模數(shù)時基增量值加到局部時基寄存器上。而后將VOP的時基增量加到局部時基寄存器上求得P-VOP的表示時間。然后流程進(jìn)至視象物解碼器解譯視象物。
對于B-VOP，流程在步驟52的模數(shù)時基解碼器中重復(fù)進(jìn)行，解譯模數(shù)時基增量。全部解譯的模數(shù)時基增量號在符號“0”之前得到“1”的解碼號。接著在步驟53的VOP時基增量中解譯VOP時基增量。在步驟54的時基計數(shù)器中，恢復(fù)B-VOP的表示時間。將全部解譯的模數(shù)時基增量值和VOP時基增量加到B-VOP時基寄存器上求得B-VOP的表示時間。無論是B-VOP時基寄存器還是局部時基寄存器均留下未經(jīng)改變。而后流程進(jìn)至視象物解碼器解譯視象物。
在標(biāo)記下一組VOP開始的下一次I-VOP時重新設(shè)置局部時基寄存器。
對特定示例進(jìn)行說明。
參閱圖13，示出了將壓縮數(shù)據(jù)編入位流數(shù)據(jù)的步驟示例。如在圖13的頂端行中所示，壓縮的視象數(shù)據(jù)VOP按照顯示順序I1、B1、B2、P1、B3、P2排列在VOP組的起始處插有一GOP(畫面組)首部。在進(jìn)行顯示的同時，用局部時間的時鐘對每一VOP實現(xiàn)顯示的局部時間進(jìn)行測量。例如，第一VOP(I1-VOP)從視象數(shù)最起始計算顯示在1小時23分45秒350毫秒(1:23:45:350)；第二VOP(B1-VOP)顯示在1:23:45:750；第三VOP(B2-VOP)顯示在1:23:46:150；等等。
為了對VOP編碼，必需將顯示時間數(shù)據(jù)插到每一VOP中。全時數(shù)據(jù)的插入包括小時、分、秒和毫秒，在每一VOP的首部占用一定的數(shù)據(jù)空間。本發(fā)明的目的是要減少這樣的數(shù)據(jù)空間并簡化要插入每一VOP中的時間數(shù)據(jù)。
示于圖13第一行中的每一VOP在VOP時間增量區(qū)存有毫秒的顯示時間數(shù)據(jù)。第一行中的每一VOP還短暫存有小時、分和秒的顯示時間數(shù)據(jù)。GOP首部存有第一VOP(I1-VOP)的小時、分和秒的顯示時間。
如圖13第二行中所示，VOP是用一緩沖器(未予示出)經(jīng)過一段預(yù)定時間的延遲。當(dāng)VOP從緩沖器中產(chǎn)生時，按雙向預(yù)測規(guī)則改變VOP的順序，這使雙向VOP，即B-VOP要以P-VOP為基準(zhǔn)位居其后。這樣，VOP就按照I1、P1、B1、B2、P2、B3的順序排列。
如圖13第三行中所示，在時間T1，即當(dāng)對GOP首部進(jìn)行編碼時，局部時基寄存器存入在GOP首部所存的小時、分、秒數(shù)據(jù)。在圖13所示的示例中，局部時基寄存器存入1:23:45。然后，在時間T2之前，獲得如圖13中底端行中所示的有小時、分、秒數(shù)據(jù)的GOP首部的位流數(shù)據(jù)。
然后，在時間T2，第一VOP(I1-VOP)開始。時間碼比較器將存在局部時基寄存器中的時間(小時、分、秒)與暫時存在第一VOP(I1-VOP)中的時間(小時、分、秒)作比較。按照該示例，比較的結(jié)果是相同的。這樣，比較器就產(chǎn)生“0”，它表示第一VOP(I1-VOP)發(fā)生的秒與局部時基寄存器中所保存的秒數(shù)相同。由比較器產(chǎn)生的結(jié)果“0”在模數(shù)時基區(qū)加到第一VOP(I1-VOP)上。與此同時，消除暫時存入第一VOP(I1-VOP)中的小時、分和秒數(shù)據(jù)。這樣，在時間T3之前，獲得有插入模數(shù)時基區(qū)內(nèi)的“0”和插入VOP時間增量區(qū)內(nèi)的“350”的第一VOP(I1-VOP)的位流。
然后，在時間T3，第二VOP(P1-VOP)開始。時間碼比較器將存入局部時基寄存器中的時間(小時、分、秒)與暫時存入第二VOP(P1-VOP)中的時間(小時、分、秒)作比較。按照該示例，比較的結(jié)果是暫時存入第二VOP(PI-VOP)中的時間比存入局部時基寄存器中的時間大一秒。這樣，比較器就產(chǎn)生“10”，它表示第二VOP(P1-VOP)發(fā)生在局部時基寄存器中所保存秒數(shù)的下一秒。倘若第二VOP(P1-VOP)發(fā)生在局部時基寄存器中所保存秒數(shù)的再下一秒，比較器將會產(chǎn)生“110”。
在時間T3之后，將B-VOP時基寄存器設(shè)置成與緊接時間T3前局部時基寄存器中所執(zhí)行的時間相等的時間。在該示例中，B-VOP時基寄存器設(shè)置成1:23:45。同樣地，在時間T3之后，局部時基寄存器增加到與暫存入第二VOP(P1-VOP)中的時間相等的時間。這樣，在該示例中，局部時基寄存器增加到1:23:46。
由比較器所產(chǎn)生的結(jié)果“10”在模數(shù)時基區(qū)加到第二VOP(P1-VOP)上。與此同時，消除暫存入第二VOP(P1-VOP)中的小時、分、秒數(shù)據(jù)。這樣，在時間T4之前，獲得有插入模數(shù)時基區(qū)的“10”和插入VOP時間增量區(qū)的“550”的第二VOP(P1-VOP)的位流數(shù)據(jù)。
然后，在時間T4，第三VOP(B1-VOP)開始。時間碼比較器將存入B-VOP時基寄存器中的時間(小時、分、秒)與暫存入第三VOP(B1-VOP)中的時間(小時、分、秒)作比較。按照該示例，比較的結(jié)果為相同。這樣，比較器就產(chǎn)生“0”，它表示第三VOP(B1-VOP)出現(xiàn)的秒與B-VOP時基寄存器所保存的秒數(shù)相同。由比較器產(chǎn)生的結(jié)果“0”在模數(shù)時基區(qū)加到第三VOP(B1-VOP)上。與此同時，消除暫存入第三VOP(B1-VOP)中的小時、分和秒數(shù)據(jù)。這樣，在時間T5之前，獲得具有插入模數(shù)時基區(qū)“0”和插入VOP時間增量區(qū)“750”的第三VOP(B1-VOP)的位流數(shù)據(jù)。
然后，在時間T5，第四VOP(B2-VOP)開始。時間碼比較器將存入B-VOP時基寄存器中的時間(小時、分、秒)與暫存入第四VOP(B2-VOP)中的時間(小時、分、秒)作比較。按照該示例，比較的結(jié)果為暫存入第四VOP(B2-VOP)中的時間比存入B-VOP時基寄存器中的時間大一秒。這樣，比較器就產(chǎn)生“10”，它表示第四VOP(B2-VOP)出現(xiàn)在B-VOP時基寄存器中所保存秒數(shù)的下一秒。
在處理B型VOP當(dāng)中，不論比較器產(chǎn)生的結(jié)果如何，不管是局部時基寄存器還是B-VOP時基寄存器均未增加。
由比較器產(chǎn)生的結(jié)果“10”在模數(shù)時基區(qū)加到第四VOP(B2-VOP)上。與此同時，消除存入第四VOP(B2-VOP)中的小時、分和秒數(shù)據(jù)。這樣，在時間T6之前，獲得了具有插入模數(shù)時基區(qū)的“10”和插入VOP時間增量區(qū)的“150”的第四VOP(B2-VOP)的位流數(shù)據(jù)。
然后，在時間T6，第五VOP(P2-VOP)開始。時間碼比較器將存入局部時基寄存器中的時間(小時、分、秒)與暫存入第五VOP(P2-VOP)中的時間(小時、分、秒)作比較。按照該示例，比較的結(jié)果為暫存入第五VOP(P2-VOP)中的時間比存入局部時基寄存器中的時間大一秒。這樣，比較器就產(chǎn)生10”，它表示第五VOP(P2-VOP)出現(xiàn)在局部時基寄存器中所保存秒數(shù)的下一秒。
在時間T6之后，B-VOP時基寄存器增加到與緊接時間T6之前在局部時基寄存器中所執(zhí)行的時間相等的時間。在該示例中，B-VOP時基寄存器增加到1:23:46。同樣地，在時間T6之后，局部時基寄存器增加到與暫存入第五VOP(P2-VOP)中的時間相等的時間。這樣，在該示例中，局部時基寄存器增加到1:23:47。
由比較器所產(chǎn)生的結(jié)果“10”在模數(shù)時基區(qū)加到第五VOP(P2-VOP)上。與此同時，消除暫存入第五VOP(P2-VOP)中的小時、分、秒數(shù)據(jù)。這樣，在時間T7之前，獲得具有插入模數(shù)時基區(qū)的“10”和插入VOP時間增量區(qū)的“350”的第五VOP(P2-VOP)的位流數(shù)據(jù)。
此后，為形成下列VOP位流數(shù)據(jù)而進(jìn)行著類似的運(yùn)行。
為了解譯位流數(shù)據(jù)，進(jìn)行著與以上相反的運(yùn)行。首先，讀出在GOP首部執(zhí)行的時間(小時、分、秒)。讀出時間存入局部時基寄存器中。
一俟收到I型或P型的VOP，即除了B型VOP之外，馬上讀出存在模數(shù)時基區(qū)中的數(shù)據(jù)。若讀出數(shù)據(jù)為“0”，即在0之前沒有任何1，在局部時基寄存器中未作改變，而且在B-VOP中也未作改變。若讀出數(shù)據(jù)為“10”，存入局部時基寄存器中的時間增加一秒。若讀出數(shù)據(jù)為“110”，存入局部時基寄存器中的時間增加兩秒。按照這種方式，需增加的秒數(shù)取決于在0之前所插入的1數(shù)。同時地，當(dāng)讀出數(shù)據(jù)為“10”或“110”時，作為存儲器B-VOP時基寄存器，錄下局部時基寄存器在緊靠最新增長之前曾執(zhí)行過的時間。然后，在局部時基寄存器中所執(zhí)行的時間(小時、分、秒)與VOP時間增量區(qū)中執(zhí)行的時間(毫秒)相組合確定I型或P型VOP要出現(xiàn)的特定時間。
一俟收到B型VOP，馬上就讀出存入模數(shù)時基區(qū)中的數(shù)據(jù)。若讀出數(shù)據(jù)為“0”，在B-VOP時基寄存器中執(zhí)行的時間(小時、分、秒)就與在VOP時間增量區(qū)中執(zhí)行的時間(毫秒)相組合確定B型VOP要出現(xiàn)的特定時間。若讀出數(shù)據(jù)為“10”，在B-VOP時基寄存器中執(zhí)行的時間(小時、分、秒)增加一秒，而后使增加后的時間與在VOP時間增量區(qū)中執(zhí)行的時間(毫秒)相組合確定B型VOP要出現(xiàn)的特定時間。若讀出數(shù)據(jù)為“110”，就將B-VOP時基寄存器中執(zhí)行的時間(小時、分、秒)增加兩秒，而后使增加后的時間與VOP時間增量區(qū)中執(zhí)行的時間(毫秒)相組合確定B型VOP要出現(xiàn)的特定時間。
本發(fā)明的效果能使由不同編碼器編碼的視象物相復(fù)合，它還會使得按照不同來源的壓縮數(shù)據(jù)位流操作的視象物便于產(chǎn)生新的位流。它為視象音響物提供了一種同步的方法。
對本發(fā)明所作的如此描述，顯然可以經(jīng)過許多變動途徑同樣實現(xiàn)。不能把這樣的變動視為脫離了本發(fā)明的精神和范圍，而且所有這類屬于專業(yè)人員顯而易見的改變被規(guī)定包括在后面的權(quán)利要求范圍之內(nèi)。
權(quán)利要求
1.一種對視象物面(VOP)的局部時基編碼的方法，其特征在于，它包括如下步驟編碼時基碼，其中所述時基碼表示一組視象物面(VOP)中的第一視象物面(VOP)的模數(shù)部分；編碼兩部分中的第一視象物面(VOP)的局部時基，所述兩部分包括模數(shù)時基和時基增量，其中所述模數(shù)時基表示以一秒分辨率為單位從時基碼起所經(jīng)過的時間間隔，所述時基增量表示從所述第一視象物面(VOP)的模數(shù)時基標(biāo)記的基準(zhǔn)時間起的時間增量；編碼兩部分中第一視象物面(VOP)之后的每個下一視象物面(VOP)的局部時基，所述兩部分包括模數(shù)時基和時基增量，其中所述模數(shù)時基表示以一秒分辨率為單位從一個基準(zhǔn)時間起所經(jīng)過的時間間隔，所述基準(zhǔn)時間是由一個在先視象物面(VOP)的模數(shù)時基標(biāo)記的，所述在先視象物面(VOP)位于所述下一視象物面(VOP)之前；所述時基增量表示從所述下一視象物面(VOP)的模數(shù)時基標(biāo)記的基準(zhǔn)時間起的時間增量；將已編碼的時間碼插入所述一組視象物面(VOP)的畫面組(GOP)首部中；并且將已編碼的視象物面(VOP)局部時基碼插入所述視象物面(VOP)的位流中。
全文摘要
公開了一種埋置于壓縮數(shù)據(jù)中的局部時基編碼方法。局部時基被編成兩部分碼。第一部分有一表示基準(zhǔn)時基中的特定間隙的模數(shù)時基，而第二部分有一相對于基準(zhǔn)時間的時基增量。采用了兩種時基增量形式使得有可能有不同的編碼順序和顯示順序。還描述了帶有局部時基的多個壓縮流的同步機(jī)構(gòu)。還采用了一種時基補(bǔ)償機(jī)構(gòu)，使得能夠進(jìn)行更精細(xì)粒度的多個壓縮流的同步。
文檔編號H04N7/24GK1620149SQ200410095099
公開日2005年5月25日 申請日期1997年7月3日 優(yōu)先權(quán)日1996年7月5日
發(fā)明者陳朝慶, 申省梅, 李作裕 申請人:松下電器產(chǎn)業(yè)株式會社