專利名稱：移動終端的音頻及視頻同步裝置和方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種支持視頻點播(VOD: Video On Demand)的移動終 端，尤其涉及到能夠使實時接收的音頻及視頻信號同步的裝置和方法。
背景技術(shù)：
一般來說，視頻信號編碼技術(shù)主要用于視頻信號的傳輸、存儲及 播放。例如它包括ITU-T Recommendation H.263(以下簡稱'H.263')， ISO/IEC International Standard 14496-2(MPEG-4 Visual,以下簡稱 'MPEG-4')等國際標(biāo)準(zhǔn)-觀頻解碼方法。另外，新的編碼系統(tǒng)是為實現(xiàn) ITU-T和ISO/IEC.即ITU-T Recommendation H.264和ISO/IEC International Standard 14496-10聯(lián)合視頻說明書的聯(lián)合正式委員會草案 (Joint Final Committee Draft,以下簡稱'H.26L')的聯(lián)合國際標(biāo)準(zhǔn)化而計 劃推出的視頻編碼方法，它包括用于上述視頻編碼方法的普通編碼技 術(shù)。
隨著視頻信號壓縮技術(shù)的發(fā)展和最近移動終端技術(shù)的發(fā)展，終端 設(shè)備具備了 VOD功能。視頻點播功能不是指終端設(shè)備將因特網(wǎng)VOD月良 務(wù)器上的VOD內(nèi)容下載后進行播放的功能，而是指VOD服務(wù)器在對實 時傳輸?shù)牧鲃?步驟treading)數(shù)據(jù)進行傳輸處理的同時，將相關(guān)內(nèi)容向 用戶顯示的功能。在這里，VOD內(nèi)容是指VOD服務(wù)器的內(nèi)容中可以通過 VOD功能向終端設(shè)備傳輸?shù)膬?nèi)容。
另夕卜，利用視頻點播功能不僅可以欣賞電影預(yù)告片、音樂視頻、以及新聞等，而且現(xiàn)在還可以收聽TV廣播。另外，隨著終端設(shè)備的存儲 媒介容量的不斷增大，終端設(shè)備不僅可以對VOD內(nèi)容進行播放，同時 還可以進4于錄^f象。


圖1是依據(jù)現(xiàn)有技術(shù)R26L標(biāo)準(zhǔn)的VOD終端設(shè)備結(jié)構(gòu)示意圖。
參照圖l可以看出，移動終端100大致包括如下兩個部分調(diào)制解 調(diào)器(MSM: Mobile Station Modem)芯片110及信號處理芯片120，調(diào)制 解調(diào)器芯片110包括對發(fā)射的信號進行編碼和調(diào)制的發(fā)射器；對接收 的信號進行解調(diào)和解密的接收器，協(xié)議處理模塊lll。在這里，協(xié)議處 理模塊111可以對接收的多媒體數(shù)據(jù)包進行處理。
在這里，多媒體(RTP)數(shù)據(jù)包數(shù)據(jù)的首標(biāo)信息包含點對點協(xié)議 (PPP: Pointto Point Protocol),因特網(wǎng)協(xié)議(IP: Internet Protocol),傳輸 控制協(xié)議/用戶數(shù)據(jù)報協(xié)議(TCP/UDP: Transport Control Protocol/User Datagram Protocol),實時協(xié)i義(RTP: Real Time Protocol)/實時流:樣體協(xié) 議(RTSP: Real Time Streaming Protocol)/超文體傳輸協(xié)議(HTTP: Hypertext Transfer Protocol)等信息，RTP有效負(fù)荷可以傳輸多力某體數(shù)據(jù) (H.264)。
因此，當(dāng)接收到RTP數(shù)據(jù)包以后，就可以通過協(xié)議處理模塊lll并 根據(jù)下層的PPP、 IP，、 TCP/UDP協(xié)議進行處理，同時可以將與RTP 數(shù)據(jù)包相應(yīng)的多々某體數(shù)據(jù)向信號處理芯片120傳輸。
另外，調(diào)制解調(diào)器芯片110包括可以對數(shù)碼音響(MIDI)標(biāo)準(zhǔn)的音 頻及語音數(shù)據(jù)進行解碼的編譯碼器。
所述信號處理芯片120包括文件系統(tǒng)存儲部122,編譯碼器 (CODEC)123，播放部124。 文件系統(tǒng)存儲部122可以存儲多媒體數(shù)據(jù)
包，編譯碼器123為了能夠?qū)崿F(xiàn)視頻播放而將所述多々某體數(shù)據(jù)包進行解 碼處理，播放部124為了提供實時動態(tài)影像服務(wù)而將所述解碼的多媒體 數(shù)據(jù)的輸出顯示過程進行控制。
在這里，對于所述調(diào)制解調(diào)器芯片110和信號處理芯片120的接口 方式可以通過如進禾呈間通信(IPCInter Process Communication) 112進4亍 連接。
所述信號處理芯片120能夠?qū)λ?1.264標(biāo)準(zhǔn)的比特流進行處理。 也就是說，視頻點播或者是實時動態(tài)影像服務(wù)大多根據(jù)視頻編譯碼器 (Video codec)123采用R264標(biāo)準(zhǔn)。
這種信號處理芯片120對于與除了數(shù)碼音響標(biāo)準(zhǔn)以外的音頻編譯 碼器相應(yīng)的MP3、 AAC(Advanced Audio Coder)和與語音編譯碼器(步驟 speech codec)相應(yīng)的QCELP、 EVRC等都可以進行解碼處理。
這種移動終端在對音頻/視頻同時進行播放時，由于音頻的優(yōu)先順 序比視頻要高。因此，即使視頻播放斷斷續(xù)續(xù)，用戶也仍然可以聽清 聲音。也就是說，當(dāng)視頻和音頻數(shù)據(jù)同時共存時，首先處理音頻,當(dāng)音 頻數(shù)據(jù)處理結(jié)束之后，就可以對視頻數(shù)據(jù)進行處理。如果音頻頻率(步 驟amplingfr叫uency)為高數(shù)據(jù)，就需要頻繁進行處理。因此，相對來說 視頻占用CPU，即占用信號處理芯片的機會就會越來越少。
因此，依據(jù)現(xiàn)有技術(shù)的移動終端同時進行音頻和視頻播放時,由于 音頻具有較高的比特率。因此，音頻數(shù)據(jù)對信號處理芯片120的占用率 就相對要高。如果^f見頻對所有比特流進行解碼處理，由于解碼需要一 定的時間，從而就會導(dǎo)致音頻和視頻不能同步。
另外，H,264與運動圖像專家組4(MPEG 4)相比相對要復(fù)雜一些。
也就是"i兌，H.264可以將與當(dāng)前宏塊(Macro block)最相似的部分前后合 并，從而對32張(forward 16張，backward 16張)范圍內(nèi)的全部數(shù)據(jù)進行檢 索。為此，不僅在進行編碼的過程中，即使在進行解碼的過程中也需 要具有完全一樣的幀緩沖器。與此相比，MPEG 4為了實現(xiàn)B-畫面而 將前后部分合并，與處理2張的情況相比，R264具有更高的復(fù)雜度。根 據(jù)這種R264的復(fù)雜度和音頻的優(yōu)先順序，大量的負(fù)荷就會對信號處理 芯片發(fā)生作用，這種負(fù)荷對于實時廣播來說其危害更是致命性的。
因此，依據(jù)現(xiàn)有技術(shù)同時播放音頻信號和視頻信號時，當(dāng)由于音頻 的比特率的原因而導(dǎo)致視頻占用視頻信號處理芯片的機會相對減少 時，音頻及視頻之間就會產(chǎn)生時間差。

發(fā)明內(nèi)容
本發(fā)明正是為解決上述問題而提出的，本發(fā)明的第l個目的在于 提供一種能夠提供H,264標(biāo)準(zhǔn)的實時動態(tài)影像服務(wù)的音頻/視頻同步裝 置及方法。
本發(fā)明的第2個目的在于在沒有音頻W見頻同步附加存儲器或處理 器開銷(Overhead)的情況下也能夠?qū)崿F(xiàn)音頻/視頻同步。
本發(fā)明的第3個目的在于當(dāng)同步檢查的音頻及視頻的時間差超過 一定范圍的情況下，為了實現(xiàn)同步而將比特強制性地附加于NAL (Network Abstraction Layer,網(wǎng)絡(luò)抽象層)的 一定信息中。
本發(fā)明的第4個目的在于編譯碼器通過利用所述附加的比特信息 執(zhí)行錯誤處理或取消程序，不對插入所述比特信息的幀數(shù)據(jù)進行解碼， 而是跳讀到下一幀數(shù)據(jù)跳讀，從而實現(xiàn)音頻和視頻同步。
為了實現(xiàn)上述目的，本發(fā)明的移動終端的音頻和^L頻同步裝置， 其特征在于，它包括如下幾個部分
接收多媒體數(shù)據(jù)包的接收部；
利用所述接收的多媒體數(shù)據(jù)播放的音頻及視頻印時戳的時間差對 同步情況進行檢查，如果所述時間差超過閾值，就向所述數(shù)據(jù)幀附加 規(guī)定的信息的同步檢查模塊；
為了對所述數(shù)據(jù)幀進行播放而進行解碼處理，在進行解碼時根據(jù) 附加于所述凄t據(jù)幀上的信息對當(dāng)前幀進行跳讀，并從下一幀開始進行 解碼的編譯碼器；
對通過所述編譯碼器解碼的數(shù)據(jù)進行播放的播放部。
比較理想的情況是，所述同步檢查模塊可以利用從所述播放部傳 輸?shù)漠?dāng)前音頻及視頻印時戳。具體地說，就是當(dāng)音頻及視頻的時間差 超過閾值時，所述同步檢查模塊就會將規(guī)定的比特信息附加于NAL的 FZB(Forbidden Zero Bit)信息中。
比較理想的情況是，當(dāng)音頻及視頻的時間差超過比NAL幀的周期 小的特定閾值時，所述同步檢查模塊就會將規(guī)定的信息附加于下一數(shù) 據(jù)幀。
比較理想的情況是，所述編譯碼器為R264標(biāo)準(zhǔn)。
依據(jù)本發(fā)明的另一實施例的移動終端的音頻和視頻同步裝置，其特 征在于，它包括如下幾個部分
接收多士某體數(shù)據(jù)包的調(diào)制解調(diào)器芯片；
包含有為使所述接收的數(shù)據(jù)包進行播放時的音頻及視頻數(shù)據(jù)能夠 同步，將同步用比特信息附加于任意一個數(shù)據(jù)幀上的設(shè)備，和當(dāng)對所 述數(shù)據(jù)幀進行解碼時將所述同步用比特信息進行檢查之后，對附加同 步用比特信息的數(shù)據(jù)幀進行跳讀，并從下一幀開始進行解碼的設(shè)備的 信號處理芯片。
本發(fā)明的移動終端的音頻和^L頻同步方法，其特征在于，它包括 如下幾個步驟
接收多媒體數(shù)據(jù)包的步驟；對所述接收的數(shù)據(jù)包進行播放時的音 頻及視頻印時戳進行檢測的步驟；當(dāng)確認(rèn)所述音頻及視頻印時戳的差 值是否超過閾值以后，根據(jù)上述確認(rèn)結(jié)果，如果確認(rèn)其差值超過了閾 值，就將比特信息附加于NAL幀的FZB信息中的步驟；
在對所述數(shù)據(jù)包進行解碼時，對NAL幀的FZB信息進行檢查。然 后，4艮據(jù)附加于所述NAL幀的FZB信息中的比特信息而對相應(yīng)數(shù)據(jù)幀 進行跳讀，并從下一數(shù)據(jù)幀開始進行解碼的步驟。
綜上所述，本發(fā)明的移動終端的音頻及視頻同步裝置和方法，如果 音頻和一見頻的時間差超過預(yù)設(shè)的時間差，就將預(yù)設(shè)的指令附加于NAL 單元的特定信息位中。這樣，當(dāng)編譯碼器在對上述信息進行解碼時就 根據(jù)相應(yīng)的指令對當(dāng)前幀進行跳讀，并從下一幀開始進行解碼，從而 就可以使音頻及視頻同步。
另外，無需設(shè)置使音頻及視頻同步的其它存儲器或者處理器，通 過編譯碼器就可以順利地對音頻及視頻進行播放。
附困說明
困l是依據(jù)現(xiàn)有技術(shù)的移動終端結(jié)構(gòu)示意圖2是依據(jù)本發(fā)明實施例的移動終端的音頻和視頻同步裝置結(jié)構(gòu) 示意圖3是依據(jù)本發(fā)明實施例的信號處理芯片的詳細(xì)結(jié)構(gòu)示意圖4是依據(jù)本發(fā)明的NAL單元句法示意圖5是依據(jù)本發(fā)明的移動終端的音頻和視頻同步方法流程圖6是依據(jù)本發(fā)明的移動終端信號處理芯片的錯誤處理程序流程
附圖標(biāo)記
100...移動終端
lll...協(xié)議處理模塊
117...RTP處理部
120...信號處理芯片
121a...幀緩沖器
123...編譯碼器
具體實施例方式
IIO...調(diào)制解調(diào)器芯片
112...接口
118...數(shù)據(jù)包復(fù)原模塊
121...同步檢查模塊 122...文件系統(tǒng)存儲部
124...播放部
下面將參照附圖對本發(fā)明的實施例進行詳細(xì)說明。
圖2是依據(jù)本發(fā)明實施例的移動終端的音頻和視頻同步裝置結(jié)構(gòu) 示意圖。
參照圖2可以看出，移動終端100由如下幾個部分構(gòu)成接收數(shù)據(jù) 包的調(diào)制解調(diào)器芯片110,為了使對數(shù)據(jù)進行播放的音頻和視頻同步而 將同步用比特信息強制性地附加于任意一幀上，然后對插入所迷比特 信息的相應(yīng)幀進行處理(跳讀或通過)，從而使音頻和視頻同步的信號處 理芯片120。
所述調(diào)制解調(diào)器芯片U0包括協(xié)議處理^t塊111,信號處理芯片120 包括同步檢查模塊121,文件系統(tǒng)存儲部122，編譯碼器123，播放部 124。
所述同步檢查模塊121可以對音頻和視頻印時戳進行檢查，當(dāng)其差 值超過閾值時，就將相關(guān)信息通報給編譯碼器123，編譯碼器123就會 判斷輸入的比特流具有較高的復(fù)雜性，從而對當(dāng)前幀進行跳讀，并從 下一幀開始進行解碼。
在這里，同步檢查模塊121作為將相關(guān)信息向編譯碼器123通報的 實例，無需強制性地將所述幀向NAL單元的FZB信息附加。因此，為 了實現(xiàn)"跳讀"就附加比特信息，編譯碼器123就繼續(xù)對所述NAL的FZB 信息進行檢查，然后根據(jù)附加的比特信息對當(dāng)前幀進行跳讀，并從下 一幀開始進行解碼。
下面，將參照附圖對依據(jù)本發(fā)明的實施例具有上述構(gòu)成的移動終 端的音頻和視頻同步裝置進行詳細(xì)的說明。
如圖2所示，如果移動終端IOO接收到多媒體數(shù)據(jù)包,即RTP數(shù)據(jù)包， 調(diào)制解調(diào)器芯片1 IO就根據(jù)內(nèi)部的協(xié)議處理模塊111對各種協(xié)議進行處 理。在這里，RTP數(shù)據(jù)包作為首標(biāo)信息的下層，它可以同時對PPP、 IP,、 TCP/UDP協(xié)議進行接收，作為實際的首標(biāo)它包括RTP/RTSP/HTTP,有
效負(fù)荷可以對多媒體數(shù)據(jù)進行傳輸。
經(jīng)過所述調(diào)制解調(diào)器芯片11 o進行協(xié)議處理的多士某體數(shù)據(jù)可以通 過接口 112向信號處理芯片120傳輸，信號處理芯片120將所述多媒體數(shù) 據(jù)進行解碼并存儲，然后再將其播放，并使音頻及視頻數(shù)據(jù)實現(xiàn)同步。
為此，信號處理芯片120包括如下幾個部分同步檢查模塊121， 文件系統(tǒng)存儲部122，編譯碼器123，播放部124。同步檢查模塊121可以 利用音頻及視頻的印時戳對音頻和視頻的時間差進行檢測，當(dāng)所述音 頻及視頻的時間差超過閾值時，就強制性地將比特信息附加于NAL信 息中。然后，同步檢查^^莫塊121可以繼續(xù)進行同步檢查，也可以每隔一 定的周期再進行同步檢查。當(dāng)音頻和視頻的印時戳超過閾值時，就將 是否對數(shù)據(jù)包幀進行跳讀或者將其刪除的信息附加于相應(yīng)數(shù)據(jù)幀上。 另外，當(dāng)將比特信息附加于當(dāng)前幀上時，也可以請求對下一數(shù)據(jù)幀進 行跳讀。
在這里，H.26L(例如，R264)的NAL單元句法如圖4所示。在本實施 例中，對傳輸按照R26L編碼的數(shù)據(jù)的單元，即對傳輸NAL信息的NAL 單元句法進行了規(guī)定。具體地說，就是對NAL單元句法包含的NAL單 元類型進行了規(guī)定。
如圖4所示，NAL單元句法140的1個字節(jié)可以顯示是否按照與各個 NAL單元類型(NAL—unit—type)143相應(yīng)的NAL標(biāo)準(zhǔn)(NAL—ref—idc)142使 用的信息進行顯示。在這里，與第1個字節(jié)相應(yīng)的FZB信息141在IS0 14496-10中并不固定為'O(zero)'進行使用。
但是，在數(shù)據(jù)網(wǎng)中，與無比特差錯(biterror free)相應(yīng)的FZB信息141 是無任何意義的位，本發(fā)明的目的就是要有效地利用接收的RTP數(shù)據(jù)包
中的NAL單元的FZB信息141。即，利用所述NAL單元的FZB信息l41 有效地將信道端的錯誤(例如數(shù)據(jù)包的損失等)向編譯碼器123傳輸。
所述編譯碼器123采用R26L標(biāo)準(zhǔn)，它可以對通過同步檢查模塊121 的多媒體數(shù)據(jù)進行解碼，解碼數(shù)據(jù)可以通過播放部124進行播放。在這 里，通過所述播放部124播放的音頻及視頻印時戳可以向所述同步檢查 模塊121反饋。
在這種情況下，所述編譯碼器123可以對通過同步檢查模塊121的 多媒體數(shù)據(jù)的NAL單元的FZB信息進行檢查。當(dāng)NAL單元的FZB被附加 ('T')并構(gòu)成NAL單元的情況下，所述編譯碼器123就會在當(dāng)前的NAL單 元到達(dá)之前確認(rèn)至少有一個以上的數(shù)據(jù)包損失，這樣就不會對相應(yīng)即 時解碼器更新(Instantaneous Decoder Refresh: IDR) NAL單元幀進行解 碼而是進行跳讀，并從下一個IDR NAL單元幀開始進行解碼。也就是 說，可以通過對幀進行跳讀或者通過相應(yīng)幀實現(xiàn)音頻及視頻的同步。
也就是說,信號處理芯片120具有錯誤處理程序(error Handling routine),當(dāng)編譯碼器123通過錯誤處理程序?qū)㈩A(yù)約的信息附加于所述 NAL單元的FZB信息中時，可以進行解碼的下一個NAL,即在IDRNAL 到達(dá)之前以凝固(freezing)為原則。例如對于H.26L來說，在可以進行 解碼的下一幀，即當(dāng)IDR圖像到達(dá)時或者是進行解碼之前，不對附加 NAL單元的FZB的當(dāng)前IDR圖像幀進行解碼而是進行跳讀。
另外，所述文件系統(tǒng)存儲部122可以對通過所述同步檢查模塊121 的多媒體數(shù)據(jù)進行存儲，當(dāng)想要重新對其進行播放時，就可以通過編 譯碼器123進行解碼并通過播放部124進行播放。
圖3是依據(jù)本發(fā)明實施例的信號處理芯片的詳細(xì)結(jié)構(gòu)示意圖。
參照圖3可以看出，當(dāng)RTP數(shù)據(jù)包向RTP處理部117傳輸之后，RTP 處理部117就將RTP首標(biāo)分離，數(shù)據(jù)包復(fù)原模塊l 18就將數(shù)據(jù)包的有效負(fù) 荷及首標(biāo)復(fù)原。同步檢查模塊121就利用音頻及視頻印時戳計算出時間 差，如果計算出的時間差在閾值以下，則無需附加NAL單元的FZB信息 就可以通過。
但是，如果音頻及視頻印時戳的時間差超過閾值，則就需要將相 關(guān)信息強制性地附加于NAL單元的FZB信息中。在這里，對于閾值來 說，例如將其定義為1000ms,這對于VOD內(nèi)容規(guī)格來說，就意味著 至少每2秒要插入一個IDRNAL幀，通過強制性地插入的FZB信息就可 以進行跳讀。因此，編譯碼器123就可以獲得比所述IDRNAL幀插入周 期小的值(例如1000ms)以上的解碼時間，從而就可以從下一幀開始順 利播放了。
另外，幀緩沖器121a可以對通過數(shù)據(jù)包復(fù)原模塊118重新構(gòu)成的 NAL幀進行存儲。在這里， 一個NAL幀由一個以上的RTP有效負(fù)荷構(gòu)成。
另夕卜，編譯碼器123為了對NAL幀進行解碼，就通過幀緩沖器121a 請求下一NAL幀，并對請求的NAL幀進行解碼。在這種情況下，當(dāng)對 NAL幀進行解碼時，就對是否附加了NAL單元的FZB信息的情況進行 確認(rèn)，并決定是要進行解碼，還是要進行跳讀。例如當(dāng)附加NAL單 元的FZB信息之后，就可以判斷向編譯碼器123輸入的比特流具有較高 的復(fù)雜性，如果繼續(xù)對其進行解碼，則音頻/視頻間的同步就不能夠?qū)?現(xiàn)，在到達(dá)下一個IDR NAL幀之前都進行跳讀，然后對下一個IDR NAL幀進行解碼。
因此，顯示信道錯誤(packet loss)的存儲器就不會被使用，基本上 使用的錯誤處理程序就仍然被使用。因此，就不需要其它的模塊。
圖5是依據(jù)本發(fā)明的音頻及視頻同步方法的流程圖。
參照圖5可以看出，移動終端可以對RTP數(shù)據(jù)包進行接收，如果要 對所接收的畫面進行播放(S101),就對音頻及視頻的印時戳進行檢查 (S103)。
在這種情況下，就確認(rèn)音頻及視頻的印時戳的差值是否超過了閾 值(S105),根據(jù)上述確認(rèn)結(jié)果，如果確認(rèn)其差值未達(dá)到閾值，就繼續(xù)執(zhí) 行解碼及播放動作。
根據(jù)上述確認(rèn)結(jié)果，如果確認(rèn)印時戳的差值超過了閾值，就將同
步信息附加于NAL單元的FZB信息之中(S107)。在這里，同步信息既可
以是單純地對相應(yīng)NAL幀進行跳讀的信息，也可以是將其進行刪除的 牧自
這樣，編譯碼器就進行解碼(S109)。在這種情況下，確認(rèn)進行解 碼時是否附加了所述NAL單元的FZB信息(Slll)。根據(jù)上述確認(rèn)結(jié)果， 如果確認(rèn)附加了NAL單元的FZB信息，則在下一個IDR NAL幀到達(dá)之 前進行跳讀，并從下一幀開始進行解碼(S113)。
圖6是依據(jù)本發(fā)明的音頻及視頻同步的全部流程圖。
參照圖6可以看出，在初始化的狀態(tài)(S121)下可以對幀緩沖器的幀 進行修補(fatch)(S123)，然后對NAL單元進行分析(S131)。在所述步驟 131中，對NAL單元進行分析之后，就確認(rèn)是否附加了NAL單元的FZB 信息(S131)。然后根據(jù)上述確認(rèn)結(jié)果，如果確認(rèn)附加了FZB信息，就對下一個IDR NAL幀進行跳讀(S 133)。如果確認(rèn)沒有附加所述FZB信息， 或者對下一個IDRNAL幀進行跳讀時，就對首標(biāo)進行解析(S135)，然后 對數(shù)據(jù)(Motion信息，Residual信息)進行解碼并進行播放(S137)。
在這種情況下，通過同步檢查模塊從幀緩沖器開始對時間信息和 對解碼的幀進行播放的音頻及視頻時間同步情況進行檢查，并對音頻 及視頻間的延遲時間差進行4企查(S125)。
根據(jù)所述步驟125的檢查結(jié)果，判斷視頻時間比音頻時間延遲的時 間是否超過了閾值(S127),根據(jù)上述判斷結(jié)果，如果確認(rèn)其超過閾值， 就附加下一幀的NAL單元FZB信息，然后進入步驟123。根據(jù)上述判斷 結(jié)果，如果確認(rèn)其未達(dá)到閾值，就無需經(jīng)過將相關(guān)信息附加于NAL單 元的FZB信息中的過程，而直接執(zhí)行步驟123(S 129)。
為了通過這種錯誤處理程序使音頻/視頻的時間同步，利用NAL 單元的FZB信息決定是否對NAL幀進行跳讀(或者通過)，并通過編譯碼 器對其進行確認(rèn)。然后對相應(yīng)幀進行跳讀(或者通過)，這樣在進行播放 時就可以使音頻及視頻信號同步。
也就是說，強制性地將同步用比特信息附加于任意一個數(shù)據(jù)幀上， 然后通過編譯碼器對其進行處理，這樣就可以視頻與音頻同步。
通過上述的說明，本領(lǐng)域熟練技術(shù)人員完全可以在不偏離本發(fā)明 技術(shù)思想的范圍內(nèi)，進行多樣的變更以及修改。
因此，本項發(fā)明的技術(shù)性范圍并不局限于說明書的內(nèi)容，必須要 根據(jù)權(quán)利范圍來確定其技術(shù)范圍。
權(quán)利要求
1、一種移動終端的音頻及視頻同步裝置，其特征在于，包括如下幾個部分接收多媒體數(shù)據(jù)包的接收部；根據(jù)對所述接收的數(shù)據(jù)包進行播放的情況，利用音頻及視頻印時戳的時間差對同步情況進行檢查，當(dāng)所述時間差超過閾值時，就將規(guī)定的信息附加于所述數(shù)據(jù)幀上的同步檢查模塊；為了對所述數(shù)據(jù)幀進行播放對其進行解碼，在進行解碼時根據(jù)附加于所述數(shù)據(jù)幀上的信息對當(dāng)前幀進行跳讀，并從下一幀開始進行解碼的編譯碼器；將經(jīng)過所述編譯碼器解碼的數(shù)據(jù)進行播放的播放部。
2、 如權(quán)利要求l所述的移動終端的音頻及視頻同步裝置，其特征 在于，所述同步檢查模塊利用通過播放部傳輸?shù)漠?dāng)前音頻及視頻印時戳。
3、 如權(quán)利要求l所述的移動終端的音頻及視頻同步裝置，其特征 在于，當(dāng)音頻及視頻的時間差超過閾值時，所述同步檢查模塊將規(guī)定的 比特信息附加于NAL的FZB信息中。
4、 如權(quán)利要求l所述的移動終端的音頻及視頻同步裝置，其特征 在于，當(dāng)音頻及^f見頻的時間差超過比NAL幀插入周期小的特定閾值時， 所述同步檢查模塊就將規(guī)定的信息附加于下一數(shù)據(jù)幀上。
5、 如;K利要求1所述的移動終端的音頻及^L頻同步裝置，其特征 在于，所述編譯碼器采用R264標(biāo)準(zhǔn)。
6、 一種移動終端的音頻及視頻同步裝置，其特征在于，包括如下 幾個部分接收多々某體數(shù)據(jù)包的調(diào)制解調(diào)器芯片；包含有為使所述接收的數(shù)據(jù)包進行播放時的音頻及視頻數(shù)據(jù)能夠 同步，將同步用比特信息附加于任意一個數(shù)據(jù)幀上的設(shè)備，和當(dāng)對所 述數(shù)據(jù)幀進行解碼時將所述同步用比特信息進行檢查之后，對附加同 步用比特信息的數(shù)據(jù)幀進行跳讀，并從下一幀開始進行解碼的設(shè)備的 信號處理芯片。
7、 一種移動終端的音頻及視頻同步方法，其特征在于，它包括如 下幾個步驟接收多媒體數(shù)據(jù)包的步驟；對所述接收的數(shù)據(jù)包進行播放時的音頻及視頻印時戳進行檢測的 步驟；當(dāng)確認(rèn)所述音頻及視頻印時戳的差值是否超過閾值以后，根據(jù)上 述確認(rèn)結(jié)果，如果確認(rèn)其差值超過了閾值，則將相關(guān)信息附加于NAL 幀的FZB信息中的步驟；在對所述數(shù)據(jù)包進行解碼時，對NAL幀的FZB信息進行檢查，根 據(jù)附加于所迷NAL幀的FZB信息中的信息而對相應(yīng)數(shù)據(jù)幀進行跳讀，
全文摘要
本發(fā)明涉及一種支持VOD的移動終端，尤其涉及到為了使實時接收的音頻信號及視頻信號同步而將比特信息強制性地附加于接收的數(shù)據(jù)幀上，從而實現(xiàn)同步的移動終端。本發(fā)明的移動終端的音頻和視頻同步裝置，其特征在于，包括如下部分接收多媒體數(shù)據(jù)包的接收部；根據(jù)對所述接收的數(shù)據(jù)包進行播放的情況，利用音頻及視頻印時戳的時間差對同步情況進行檢查，當(dāng)所述時間差超過閾值時，就將規(guī)定的信息附加于所述數(shù)據(jù)幀上的同步檢查模塊；為了對所述數(shù)據(jù)幀進行播放對其進行解碼，在進行解碼時根據(jù)附加于所述數(shù)據(jù)幀上的信息對當(dāng)前幀進行跳讀，并從下一幀開始進行解碼的編譯碼器；將經(jīng)過所述編譯碼器解碼的數(shù)據(jù)進行播放的播放部。
文檔編號H04N7/173GK101102485SQ20061008633
公開日2008年1月9日 申請日期2006年7月7日 優(yōu)先權(quán)日2006年7月7日
發(fā)明者樸智浩 申請人:樂金電子(昆山)電腦有限公司