本發(fā)明針對數(shù)據(jù)壓縮和解壓縮，并且更特別地針對從音頻/視頻解碼器中的時間同步中的中斷中恢復(fù)。

背景技術(shù)：

數(shù)據(jù)壓縮用于減少存儲、發(fā)送或重建(解碼和回放)的數(shù)據(jù)的量，尤其是對于視頻內(nèi)容。解碼以適合于回放的格式從壓縮數(shù)據(jù)中恢復(fù)音頻和視頻內(nèi)容?？色@得用于高效地編碼和解碼壓縮信號的格式的各種標(biāo)準。通常用于運動圖像和關(guān)聯(lián)的音頻的一些標(biāo)準是國際標(biāo)準組織(ISO)、國際電工委員會(IEC)和運動圖像專家組(MPEG)標(biāo)準、以及諸如ITU-T H.262|ISO/IEC13818(MPEG2)和ITU-T H.264之類的國際電信聯(lián)盟(ITU)建議、VPx標(biāo)準和VC-1標(biāo)準。

在ISO/IEC13818(MPEG2)標(biāo)準中，編碼的視頻位流的最高語法結(jié)構(gòu)是視頻序列。視頻序列開始于序列報頭，該序列報頭可以可選地被一組圖像報頭跟隨，并且然后被一個或多個編碼幀跟隨。編碼的位流中編碼幀的次序是解碼器處理它們的次序，但不一定是用于顯示的正確的次序。

除其它信息之外，程序映射表指定哪些分組標(biāo)識符(PID)與因此哪些基本流關(guān)聯(lián)以形成每個程序。該表還為每個程序指示攜帶程序時鐘恢復(fù)數(shù)據(jù)(PCR)的傳輸流分組的PID。

用于各種視頻壓縮標(biāo)準的解碼過程包括：以接收不同的圖像項的次序，為所述不同的圖像項解碼壓縮數(shù)據(jù)，所述次序可通過在輸入傳輸位流中的解碼時間戳(DTS)來定義；根據(jù)運動矢量或幀內(nèi)預(yù)測模式組合幀間編碼項和幀內(nèi)編碼項；重新排序圖像項并將視頻數(shù)據(jù)與音頻數(shù)據(jù)同步以用于呈現(xiàn)。

為了實現(xiàn)音頻和視頻之間的時間同步，輸入傳輸位流還通常包含呈現(xiàn)時間戳(PTS)。然而，中斷可能出現(xiàn)在時間戳中，例如由于數(shù)據(jù)在從源開始的傳輸(流送或廣播)期間被丟棄、回放循環(huán)期間的環(huán)繞、在創(chuàng)建或編碼諸如拼接文件之類的源文件期間的時間戳跳躍、重新啟動播放列表或源服務(wù)器、或者由PCR 定義的位流時鐘和時間戳之間的重新同步。

在解碼器處由丟失的PTS造成的中斷可由解碼器解復(fù)用器(demux)從傳輸流中檢測。在解碼器處使用PCR復(fù)位解碼器中的本地系統(tǒng)時鐘來從丟失的PTS中恢復(fù)將需要系統(tǒng)時鐘控制器復(fù)位本地系統(tǒng)時鐘和軟件支持。在解碼器處通過解碼器渲染模塊復(fù)位本地系統(tǒng)時鐘來從丟失的PTS中恢復(fù)將需要運行時可配置的本地系統(tǒng)時鐘和軟件支持。在可變持續(xù)時間采樣的情況下，在解碼器處通過解碼器解復(fù)用器基于在中斷之前接收并通過視頻或音頻幀持續(xù)時間校正的PTS來使用丟失的PTS的預(yù)測來從丟失的PTS中恢復(fù)會提供錯誤的預(yù)測。

具有下述音頻/視頻解碼器將是有利的：其中從呈現(xiàn)時間戳中的中斷中可靠恢復(fù)可通過預(yù)測一個或多個丟失的呈現(xiàn)時間戳來實現(xiàn)，而不復(fù)位解碼器中的本地系統(tǒng)時鐘。

附圖說明

本發(fā)明連同其目的和優(yōu)點可通過參考附圖中所示的實施例的以下描述被最佳地理解。圖中的要素是為了簡明和清楚而被圖示，并且不一定按比例繪制。

圖1是根據(jù)本發(fā)明的實施例的視頻和音頻解碼器的示意性框圖；

圖2是可在實現(xiàn)圖1的多核視頻解碼器中使用的數(shù)據(jù)處理系統(tǒng)的示意性框圖；

圖3是圖1的解碼器的操作的示例的流程圖；

圖4是在圖1的解碼器的操作的一個場景中出現(xiàn)的信號的時序圖；以及

圖5是在圖1的解碼器的操作的另一個場景中出現(xiàn)的信號的時序圖。

具體實施方式

圖1圖示根據(jù)本發(fā)明的實施例的用于解碼壓縮音頻和視頻數(shù)據(jù)的解碼器100。解碼器100在下面被描述為用于解碼根據(jù)ITU-T H.262|ISO/IEC13818(MPEG2)標(biāo)準壓縮的數(shù)據(jù)，但應(yīng)該理解：解碼器100可適于和用于解碼根據(jù)其它標(biāo)準壓縮的數(shù)據(jù)。解碼器100解碼來自諸如調(diào)諧器之類的源102或來自網(wǎng)絡(luò)的包含壓縮視頻圖像和音頻數(shù)據(jù)的廣播分組化的基本位流(PES)。該PES還包含呈現(xiàn)時間戳(PTS)序列，用于同步音頻和視頻及音頻數(shù)據(jù)的呈現(xiàn)。解碼器100包括解復(fù)用器和控制解碼器模塊104，用于從分組化的基本位流(PES)恢復(fù)(retrieve)基本位流(ES)。解碼器100還包括：本地時鐘106；以及呈現(xiàn)解碼器模塊，解碼恢復(fù)的基本位流以用于呈現(xiàn)。解復(fù)用器和控制解碼器模塊104 通過視頻緩沖器110向視頻解碼器108提供視頻ES，并通過音頻緩沖器114向音頻解碼器112提供音頻ES。解復(fù)用器和控制解碼器模塊104還提供從PES解碼的系統(tǒng)控制數(shù)據(jù)。視頻解碼器108的輸出可以是YUV格式，而音頻解碼器112的輸出可以是線性脈沖編碼調(diào)制(LPCM)格式。視頻和音頻信號具有不同且變化的延遲(模塊104的輸入和來自視頻及音頻解碼器108和112的輸出之間的通過時間)，并且包含實現(xiàn)視頻和音頻呈現(xiàn)的同步的PTS。解碼的視頻和音頻信號在視頻渲染設(shè)備116和音頻渲染設(shè)備118上被呈現(xiàn)給觀看者，由從本地時鐘106的時鐘信號中識別渲染時間的PTS來同步，其中本地時鐘106本身與由PCR信號表示的系統(tǒng)時鐘同步。

圖2是可在實現(xiàn)解碼器100中使用的數(shù)據(jù)處理系統(tǒng)200的示意性框圖。數(shù)據(jù)處理系統(tǒng)200包括：耦合到存儲器204的處理器202，其中存儲器204可在并行解碼器100中提供緩沖器；以及耦合到存儲器204的另外的存儲器或存儲裝置206。數(shù)據(jù)處理系統(tǒng)200還包括：呈現(xiàn)設(shè)備208、輸入/輸出接口210和軟件212，呈現(xiàn)設(shè)備208可以是顯示重建的圖像數(shù)據(jù)以及播放音頻數(shù)據(jù)的視頻渲染設(shè)備116和音頻渲染設(shè)備118。軟件212包括操作系統(tǒng)軟件214、應(yīng)用程序216和數(shù)據(jù)218。除了用于實現(xiàn)上述壓縮視頻圖像數(shù)據(jù)的解碼的算法和其它軟件之外，數(shù)據(jù)處理系統(tǒng)200通常在本領(lǐng)域中已知。當(dāng)軟件或程序正在處理器202上執(zhí)行時，處理器變成用于進行在處理器202上運行的軟件或應(yīng)用代碼的步驟或指令的“裝置(menas-for)”。也就是說，如由本領(lǐng)域技術(shù)人員已知的，對于不同指令和與指令關(guān)聯(lián)的不同數(shù)據(jù)，由于不同的寄存器值等等，處理器202的內(nèi)部電路具有不同狀態(tài)。因此，用于本文所述的結(jié)構(gòu)的任何“裝置(means-for)”涉及處理器202，因為它進行本文公開的方法的步驟。

在解碼器100中，如果中斷出現(xiàn)在PTS序列中，則解復(fù)用器和控制解碼器模塊104提供在中斷之后的PTS的預(yù)測TS_P，該預(yù)測以在檢測到中斷時在基本位流的數(shù)據(jù)中的最后的PTS是否仍然有效為條件。在解碼器100中，如果當(dāng)中斷出現(xiàn)在PTS序列中時來自基本位流的數(shù)據(jù)中的最后的PTS仍然有效，則解復(fù)用器和控制解碼器模塊104提供在中斷之后的PTS的預(yù)測TS_P，該預(yù)測基于根據(jù)在檢測到中斷之前接收的PTS使用基本位流中采樣數(shù)據(jù)的定義的持續(xù)時間T_DURATION的外推(extrapolation)。如果當(dāng)檢測到中斷時來自基本位流的數(shù)據(jù)中的最后的PTS已經(jīng)失效，在中斷的檢測之后的PTS的預(yù)測TS_P基于使用定義的 持續(xù)時間T_LATENCY外推由本地時鐘106所指示的當(dāng)前時間T_M。如果其指示的渲染時間TS_MIN晚于由本地時鐘106指示的當(dāng)前時間T_M(TS_MIN＞T_M)，則PTS仍然有效，并且如果由本地時鐘106指示的當(dāng)前時間T_M已經(jīng)晚于PTS指示的渲染時間TS_MIN(TS_MIN＜T_M)，則PTS已經(jīng)失效。PTS的有效性可由數(shù)據(jù)是否仍然存在于從解復(fù)用器和控制解碼器模塊104的輸入到來自呈現(xiàn)解碼器模塊108的輸出的流水線104、110、108中來定義?；谟杀镜貢r鐘指示的當(dāng)前時間T_M的預(yù)測TS_P可使用從來自解復(fù)用器和控制解碼器模塊104的輸出到來自渲染模塊116、118的輸出的延遲的定義的持續(xù)時間T_LATENCY來外推。

解復(fù)用器和控制解碼器模塊104可在中斷之后基于使用定義的數(shù)據(jù)(在中斷的檢測之前接收的PTS，或者由本地時鐘指示的當(dāng)前時間)的外推來提供第一PTS的預(yù)測TS_P，并且在中斷之后基于第一PTS的預(yù)測TS_P提供隨后的PTS的調(diào)整。隨后的PTS的調(diào)整可在中斷之后使用隨后的PTS和第一PTS的接收值之間的差(T_N+1-T_N)，(T_N+2-T_N)來外推第一PTS的預(yù)測TS_P。

當(dāng)分組化的基本位流PES包含在不同軌道中的具有各自的PTS序列的壓縮視頻圖像和音頻數(shù)據(jù)時，可以只有在所有PTS序列中檢測到中斷的情況下才調(diào)整PTS。

圖3圖示解碼器100的示例的操作的方法300。該方法300開始于在302處接收PES。在304處，解復(fù)用器和控制解碼器模塊104檢查PES中PTS的連續(xù)性。如果沒有發(fā)現(xiàn)中斷，則解碼器100處理解碼PES并周期性地返回到步驟304。如果在306處發(fā)現(xiàn)中斷，則解復(fù)用器和控制解碼器模塊104檢查中斷是否涉及PES的所有軌道，如果不是，則解碼器100處理解碼PES并周期性地返回到步驟304。如果中斷涉及PES的所有軌道，則在310處，解復(fù)用器和控制解碼器模塊104找到由在檢測到中斷之前在其輸入處的最后的PTS指示的呈現(xiàn)時間TS_MIN，并且還在312處在檢測到中斷時得到本地時鐘106指示的時間。在314處，通過計算參數(shù)T_PIPELINE＝TS_MIN-T_M，解復(fù)用器和控制解碼器模塊104檢查來自基本位流的數(shù)據(jù)是否仍然存在于從解復(fù)用器和控制解碼器模塊104的輸入到來自呈現(xiàn)解碼器模塊108的輸出的流水線104、110、108中，以檢查在中斷之前接收的最后的PTS是否仍然有效。如果T_PIPELINE為正，并且因此流水線104、110、108在其緩沖器中仍然具有ES數(shù)據(jù)，則在316處，在中斷之后的PTS N的預(yù)測TS_P基于從TS_MIN(在檢測到中斷之前接收的最后的PTS)使用 基本位流中視頻或音頻采樣數(shù)據(jù)的定義的持續(xù)時間T_DURATION外推TS_P＝TS_MIN+T_DURATION。如果T_PIPELINE為負，并且因此流水線104、110、108在其緩沖器中不再具有ES數(shù)據(jù)，則在318處，在中斷之后的PTSN的預(yù)測TS_P基于外推TS_P＝T_M+T_LATENCY，該外推是從由本地時鐘106指示的當(dāng)前時間T_M使用從來自解復(fù)用器和控制解碼器模塊104的輸出至少到來自呈現(xiàn)解碼器模塊108、112的輸出的延遲的定義的持續(xù)時間T_LATENCY來外推得到的。在相同基礎(chǔ)上調(diào)整所有軌道的PTS。在PTS N之后的隨后的PTS N+1、N+2、...使用PTS N的預(yù)測TS_PN以及由連續(xù)的PTS N、N+1、N+2、...指示的時間TS_N和時間TS_(N+1)、TS_(N+2)、...之間的差來調(diào)整：

TS_P(N+1)＝TS_PN+(TS_(N+1)-TS_N)

TS_P(N+2)＝TS_PN+(TS_(N+2)-TS_N)。

圖4和5以圖形方式圖示方法300。在每個圖中，時序圖的上部線表示輸出連續(xù)的PTS 0、1、2、N、N+1、N+2到解復(fù)用器和控制解碼器模塊104的輸出緩沖器(及其輸入，其處理時間被假定為可忽略不計)的時間。在緊接在PTS N之前在由本地時鐘106指示的當(dāng)前時間T_M檢測到中斷。從來自解復(fù)用器和控制解碼器模塊104的輸出到來自渲染模塊116、118的相應(yīng)的輸出的延遲的持續(xù)時間T_LATENCY由從時序圖的上部線到下部線的虛線箭頭圖示，下部線表示相對于本地時鐘106由每個PTS所指示的呈現(xiàn)的時間。預(yù)測由粗體虛線箭頭表示。

圖4圖示一種場景，其中當(dāng)中斷在T_M處出現(xiàn)在PTS序列中時，來自基本位流的數(shù)據(jù)仍然存在于從來自解復(fù)用器和控制解碼器模塊104的輸入到來自呈現(xiàn)解碼器模塊108的輸出的流水線104、110、108中，使得在來自基本位流的數(shù)據(jù)中的最后的PTS 2仍然有效。解復(fù)用器和控制解碼器模塊104計算參數(shù)T_PIPELINE＝TS_MIN-T_M，其中TS_MIN＝T2，并且T_M近似等于T1，從而T_PIPELINE為正。在中斷之后的第一個PTS N的預(yù)測TS_P＝TS_MIN+T_DURATION基于從TS_MIN＝T2(在檢測到中斷之前接收的最后的PTS)使用基本位流中連續(xù)的視頻采樣數(shù)據(jù)之間的持續(xù)時間T_DURATION(諸如(T2-T1))來外推。在這種場景中，預(yù)測TS_P近似等于T3。

圖5圖示一種場景，其中當(dāng)中斷在T_M處出現(xiàn)在PTS序列中時，來自基本位流的數(shù)據(jù)不再存在于從解復(fù)用器和控制解碼器模塊104的輸入到來自呈現(xiàn)解碼器模塊108的輸出的流水線104、110、108中，使得來自基本位流的數(shù)據(jù)中 的最后的PTS4(以及3)已經(jīng)失效。從3開始的PTS丟失(由點劃線箭頭圖示)，并且在檢測到中斷之前不到達。解復(fù)用器和控制解碼器模塊104計算參數(shù)T_PIPELINE＝TS_MIN-T_M，其中TS_MIN＝T2，并且T_M近似等于T4，從而T_PIPELINE為負。在中斷之后的第一個PTS N的預(yù)測TS_P＝T_M+T_LATENCY基于從由本地時鐘106指示的當(dāng)前時間T_M的外推，該外推是使用從來自解復(fù)用器和控制解碼器模塊104的輸出(例如在近似等于時間T0的PTS 2處)到來自渲染模塊116、118的相應(yīng)的輸出(在時間T2處)的延遲的定義的持續(xù)時間T_LATENCY來外推的。在這種場景中，預(yù)測TS_P近似等于T6。

本發(fā)明可至少部分地在非暫態(tài)機器可讀介質(zhì)中實現(xiàn)，該非暫態(tài)計算機可讀介質(zhì)包含用于在計算機系統(tǒng)上運行的計算機程序，該程序至少包括代碼部分，用于在諸如計算機系統(tǒng)之類的可編程裝置上運行時執(zhí)行根據(jù)本發(fā)明的方法的步驟，或者使得可編程裝置能夠執(zhí)行根據(jù)本發(fā)明的設(shè)備或系統(tǒng)的功能。

計算機程序可被內(nèi)部存儲在計算機可讀存儲介質(zhì)上，或者經(jīng)由計算機可讀傳輸介質(zhì)被發(fā)送到計算機系統(tǒng)。

在前述說明書中，已經(jīng)參考本發(fā)明的實施例的具體示例來描述本發(fā)明。然而，明顯的是：可在其中做出各種修改和改變而不脫離如在所附權(quán)利要求中闡述的本發(fā)明的更寬的精神和范圍。

此外，本領(lǐng)域技術(shù)人員將認識到：上述操作之間的邊界僅僅用作說明。多個操作可被組合成單個操作，單個操作可被分布在另外的操作中，并且各操作可在時間上被至少部分地重疊執(zhí)行。此外，替代實施例可包括特定操作的多個實例，并且操作的次序可在各種其它實施例中改變。

在權(quán)利要求中，詞語“包括”或“具有”不排除存在除了權(quán)利要求中所列出的以外的其它要素或步驟。此外，如本文所使用的，術(shù)語“a”或“an”被定義為一個或一個以上。另外，在權(quán)利要求中諸如“至少一個”和“一個或多個”之類的引導(dǎo)性短語的使用不應(yīng)當(dāng)被解釋為暗示：通過不定冠詞“a”或“an”引入的另一個權(quán)利要求要素將包含這樣引入的權(quán)利要求要素的任何特定權(quán)利要求限制到只包含一個這樣的要素的發(fā)明，即使當(dāng)相同的權(quán)利要求包括引導(dǎo)性短語“一個或多個”或“至少一個”以及諸如“a”或“an”之類的不定冠詞。這同樣適用于定冠詞的使用。除非另有說明，否則諸如“第一”和“第二”之類的術(shù)語用于任意區(qū)分這樣的術(shù)語描述的要素。因此，這些術(shù)語不一定旨在指示這樣的要素的時間或其它優(yōu)先次 序。在相互不同的權(quán)利要求中列舉某些措施的純粹的事實不指示這些措施的組合不能被有利地使用。