增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置及系統(tǒng)及解碼方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置，包括視頻解碼單元和控制單元。視頻解碼單元接收視頻信號(hào)并對(duì)所述視頻信號(hào)進(jìn)行解碼，生成并輸出用于顯示的視頻圖像數(shù)據(jù)?？刂茊卧c所述視頻解碼單元連接，在所述視頻解碼單元接收的所述視頻信號(hào)發(fā)生中斷或缺失時(shí)，控制所述視頻解碼單元對(duì)顯示的圖像實(shí)施平滑處理。本發(fā)明提高了衛(wèi)星視頻的流暢性，降低了馬賽克卡殼和黑屏的出現(xiàn)概率。本發(fā)明還公開(kāi)了增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置的解碼方法和一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼系統(tǒng)及其解碼方法。
【專(zhuān)利說(shuō)明】增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置及系統(tǒng)及解碼方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種圖像解碼方法，尤其涉及一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置及系統(tǒng)及解碼方法。
【背景技術(shù)】
[0002]在國(guó)內(nèi)外車(chē)/船載衛(wèi)星電視接收設(shè)備規(guī)格書(shū)及產(chǎn)品標(biāo)準(zhǔn)中，關(guān)于天線跟蹤精度的標(biāo)注都采用了 RMS(均方根值)統(tǒng)計(jì)方式，對(duì)于自動(dòng)跟蹤衛(wèi)星天線產(chǎn)品，這意味著允許出現(xiàn)短時(shí)丟星情況，但要求丟星發(fā)生概率低于某一指標(biāo)值。目前船載或車(chē)載等機(jī)動(dòng)載體的衛(wèi)星通信應(yīng)用中，普遍存在一定概率的接收系統(tǒng)短時(shí)丟星情況。
[0003]對(duì)于衛(wèi)星數(shù)據(jù)通信而言，丟星導(dǎo)致的數(shù)據(jù)中斷可以通過(guò)重傳方式保證接收完整。但在船載或車(chē)載等機(jī)動(dòng)載體的衛(wèi)星電視接收或視頻通信等廣播類(lèi)應(yīng)用中，圖像解碼器對(duì)于電視節(jié)目TS流接收的連續(xù)性及時(shí)序關(guān)系具有嚴(yán)格要求，瞬時(shí)丟星時(shí)衛(wèi)星載波強(qiáng)度低于接收機(jī)門(mén)限值、導(dǎo)致部分圖像數(shù)據(jù)包缺失，圖像畫(huà)面會(huì)出現(xiàn)馬賽克卡殼或黑屏現(xiàn)象。在海上風(fēng)浪較大，或路況不好、車(chē)輛行駛不平穩(wěn)情況下，上述現(xiàn)象出現(xiàn)幀率增加，圖像不流暢會(huì)影響用戶收視的主管感受和圖像評(píng)價(jià)效果。

【發(fā)明內(nèi)容】

[0004]本發(fā)明克服了現(xiàn)有技術(shù)中丟失衛(wèi)星載波型號(hào)時(shí)圖像畫(huà)面會(huì)出現(xiàn)馬賽克或黑屏現(xiàn)象等缺陷，提出了一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置及系統(tǒng)及解碼方法。
[0005]本發(fā)明提出了一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置，包括:
[0006]視頻解碼單元，其接收視頻信號(hào)并對(duì)所述視頻信號(hào)進(jìn)行解碼，生成并輸出用于顯示的視頻圖像數(shù)據(jù)；
[0007]控制單元，其與所述視頻解碼單元連接，在所述視頻解碼單元接收的所述視頻信號(hào)發(fā)生中斷或缺失時(shí)，控制所述視頻解碼單元對(duì)顯示的圖像實(shí)施平滑處理。
[0008]其中，所述視頻解碼單元包括:
[0009]基本流緩存模塊，其存儲(chǔ)的緩存數(shù)據(jù)包括所述視頻信號(hào)；
[0010]視頻幀提取模塊，其從所述視頻信號(hào)中提取視頻幀數(shù)據(jù)；
[0011]視頻解碼模塊，其根據(jù)解碼時(shí)間戳對(duì)所述視頻幀數(shù)據(jù)進(jìn)行解碼，生成圖像數(shù)據(jù)；
[0012]圖像緩存模塊，其存儲(chǔ)的緩存數(shù)據(jù)為所述圖像數(shù)據(jù)；
[0013]視頻渲染模塊，其根據(jù)顯示時(shí)間戳對(duì)所述圖像數(shù)據(jù)進(jìn)行渲染，生成視頻圖像數(shù)據(jù)；
[0014]視頻顯示模塊，其輸出所述視頻圖像數(shù)據(jù)。
[0015]其中，所述控制單元探測(cè)所述基本流緩存模塊與所述圖像緩存模塊存儲(chǔ)的緩存數(shù)據(jù)；當(dāng)所述緩存數(shù)據(jù)發(fā)生缺失或中斷時(shí)，所述控制單元調(diào)節(jié)所述視頻渲染模塊對(duì)于所述圖像數(shù)據(jù)的渲染與顯示幀率，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理。
[0016]其中，所述視頻解碼單元從接收的衛(wèi)星載波信號(hào)中獲取所述視頻信號(hào)。[0017]其中，所述圖像解碼裝置設(shè)置在機(jī)動(dòng)載體上。
[0018]本發(fā)明還提出了一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼系統(tǒng)，包括:
[0019]所述圖像解碼裝置，其生成視頻圖像數(shù)據(jù)，根據(jù)顯示時(shí)間戳通過(guò)所述視頻顯示模塊輸出所述視頻圖像數(shù)據(jù)；
[0020]文本解碼裝置，其獲取文本信號(hào)并解碼生成文本數(shù)據(jù)，所述文本解碼裝置將所述文本數(shù)據(jù)加載至所述視頻圖像數(shù)據(jù)中通過(guò)所述視頻顯示模塊輸出；
[0021]音頻解碼裝置，其包括音頻播放模塊，所述音頻解碼裝置獲取音頻信號(hào)并解碼生成音頻數(shù)據(jù)，并利用所述音頻播放模塊根據(jù)顯示時(shí)間戳與所述視頻顯示模塊同步輸出所述音頻數(shù)據(jù)。
[0022]本發(fā)明還提出了一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置的解碼方法，包括以下步驟:
[0023]步驟一:所述基本流模塊接收并緩存所述視頻信號(hào)，并通過(guò)所述控制單元實(shí)時(shí)探測(cè)緩存容量；
[0024]步驟二:所述視頻幀提取模塊從所述視頻信號(hào)中提取視頻幀數(shù)據(jù)，所述視頻解碼模塊根據(jù)解碼時(shí)間戳對(duì)視頻幀數(shù)據(jù)進(jìn)行解碼，生成圖像數(shù)據(jù)；
[0025]步驟三:所述圖像緩存模塊存儲(chǔ)所述圖像數(shù)據(jù)，并通過(guò)所述控制單元實(shí)時(shí)探測(cè)緩
存容量；
[0026]步驟四:所述視頻渲染模塊根據(jù)顯示時(shí)間戳對(duì)所述圖像數(shù)據(jù)進(jìn)行渲染；若所述控制單元探測(cè)到所述基本流緩存模塊或圖像緩存模塊中的緩存數(shù)據(jù)發(fā)生缺失或中斷，所述控制單元調(diào)節(jié)所述視頻渲染模塊對(duì)于所述圖像數(shù)據(jù)的渲染和顯示幀率，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理；
[0027]步驟五:所述視頻顯示模塊輸出所述視頻圖像數(shù)據(jù)。
[0028]其中，所述步驟四中控制單元調(diào)節(jié)對(duì)于所述圖像數(shù)據(jù)的渲染和顯示幀率的過(guò)程包括:
[0029]步驟Al:所述控制單元根據(jù)所述圖像緩存模塊中的圖像數(shù)據(jù)計(jì)算所述視頻渲染模塊的渲染和顯示幀率，所述幀率的計(jì)算方法如下式所述:
[0030]Fps = N/(T1+T2)；
[0031]式中，F(xiàn)ps表示幀率，NI表示所述圖像緩存模塊中圖像數(shù)據(jù)幀數(shù)，Tl表示緩存圖像數(shù)據(jù)的時(shí)間長(zhǎng)度，T2表示缺失或中斷的圖像數(shù)據(jù)的時(shí)間長(zhǎng)度；
[0032]步驟A2:所述控制單元根據(jù)計(jì)算的幀率設(shè)定所述視頻渲染單元的渲染和顯示幀率，將緩存的圖像數(shù)據(jù)平滑分配至缺失或中斷的圖像數(shù)據(jù)的時(shí)間內(nèi)，實(shí)現(xiàn)對(duì)視頻圖像數(shù)據(jù)的平滑處理。
[0033]其中，所述步驟四進(jìn)一步包括:所述控制單元保持所述視頻渲染模塊的渲染和顯示幀率，當(dāng)所述圖像緩存模塊中未存在下一顯示時(shí)間戳的圖像數(shù)據(jù)時(shí)，所述控制單元控制所述視頻顯示模塊重復(fù)輸出當(dāng)前幀的視頻圖像數(shù)據(jù)以平滑過(guò)渡缺失的圖像數(shù)據(jù)的黑屏?xí)r間，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理。
[0034]本發(fā)明還提出了一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼系統(tǒng)的解碼方法，包括以下步驟:
[0035]步驟B1:所述圖像解碼系統(tǒng)接收傳輸流信號(hào)，并將所述傳輸流信號(hào)解復(fù)用生成視頻信號(hào)、文本信號(hào)與音頻信號(hào)；
[0036]步驟B2:所述圖像解碼裝置、文本解碼裝置和音頻解碼裝置獲取所述視頻信號(hào)、文本信號(hào)和音頻信號(hào)，并根據(jù)解碼時(shí)間戳對(duì)所述視頻信號(hào)、文本信號(hào)和音頻信號(hào)進(jìn)行解碼，生成圖像數(shù)據(jù)、文本數(shù)據(jù)和音頻數(shù)據(jù)；
[0037]步驟B3:所述圖像解碼裝置渲染所述解碼后的圖像數(shù)據(jù)生成視頻圖像數(shù)據(jù)，所述文本解碼裝置渲染所述解碼后的文本數(shù)據(jù)，所述音頻解碼裝置渲染所述解碼后的音頻數(shù)據(jù)；
[0038]步驟B4:將所述渲染后的文本數(shù)據(jù)加載至所述視頻圖像數(shù)據(jù)中并通過(guò)所述視頻顯示模塊根據(jù)顯示時(shí)間戳輸出，所述音頻播放模塊以相同的顯示時(shí)間戳同步輸出所述音頻數(shù)據(jù)。
[0039]衛(wèi)星載波接收中斷造成圖像數(shù)據(jù)缺失，客觀上已經(jīng)形成了電視解碼播放的不連續(xù)性。本發(fā)明運(yùn)用降低幀率、畫(huà)面重復(fù)等平滑播放處理手段，降低了馬賽克、黑屏等用戶主觀抵觸性現(xiàn)象的出現(xiàn)概率，改善了用戶電視收看主觀感受和圖像評(píng)價(jià)效果。
【專(zhuān)利附圖】

【附圖說(shuō)明】
[0040]圖1為本發(fā)明的圖像解碼裝置的結(jié)構(gòu)示意圖。
[0041]圖2為本發(fā)明的圖像解碼裝置的解碼方法的流程圖。
[0042]圖3為本發(fā)明的圖像解碼系統(tǒng)的結(jié)構(gòu)示意圖。
[0043]圖4為本發(fā)明的圖像解碼系統(tǒng)的解碼方法的流程圖。
【具體實(shí)施方式】
[0044]結(jié)合以下具體實(shí)施例和附圖，對(duì)本發(fā)明作進(jìn)一步的詳細(xì)說(shuō)明。實(shí)施本發(fā)明的過(guò)程、條件、實(shí)驗(yàn)方法等，除以下專(zhuān)門(mén)提及的內(nèi)容之外，均為本領(lǐng)域的普遍知識(shí)和公知常識(shí)，本發(fā)明沒(méi)有特別限制內(nèi)容。
[0045]如圖1顯示的本發(fā)明的增強(qiáng)機(jī)動(dòng)載體圖像流暢圖像解碼裝置，主要包括視頻解碼單元及其控制單元。視頻解碼單元用于接收視頻信號(hào)并對(duì)視頻信號(hào)進(jìn)行解碼，從而生成用于顯示的視頻圖像數(shù)據(jù)。視頻圖像數(shù)據(jù)輸出至顯示設(shè)備上以視頻畫(huà)面。當(dāng)視頻解碼單元接收的視頻信號(hào)發(fā)生缺失或中斷時(shí)，顯示設(shè)備上的視頻畫(huà)面將出現(xiàn)馬賽克和短時(shí)黑屏等現(xiàn)象?？刂茊卧c視頻解碼單元連接，控制單元在能探測(cè)視頻解碼單元接收的視頻信號(hào)的數(shù)據(jù)量，判斷視頻解碼單元接收的視頻信號(hào)是否發(fā)生中斷或缺失。當(dāng)視頻信號(hào)發(fā)生中斷或缺失時(shí)，控制單元控制視頻解碼單元對(duì)顯示的圖像實(shí)施平滑處理，從而避免視頻畫(huà)面出現(xiàn)馬賽克等異常，改善了用戶對(duì)于視頻畫(huà)面的主觀感受，提升了視頻畫(huà)面的質(zhì)量。
[0046]本發(fā)明中，視頻解碼單元主要包括基本流(ES, Flementary Stream)緩存模塊、視頻巾貞提取模塊、視頻解碼模塊、圖像緩存模塊(Picture Buffer)、視頻渲染模塊(VideoRender)和視頻顯示模塊，以上各模塊依次連接?；玖骶彺婺K用于存儲(chǔ)的緩存數(shù)據(jù)，其中包括視頻信號(hào)。視頻幀提取模塊從基本流緩存模塊中緩存的視頻信號(hào)中提取視頻幀數(shù)據(jù)。視頻解碼模塊以解碼時(shí)間戳為依據(jù)，當(dāng)視頻幀數(shù)據(jù)到達(dá)解碼時(shí)間戳?xí)r才對(duì)其進(jìn)行解碼，若以超過(guò)解碼時(shí)間戳則丟棄該視頻幀數(shù)據(jù)，若未到達(dá)解碼時(shí)間戳則將該視頻幀數(shù)據(jù)仍保存于待解碼的隊(duì)列中，視頻解碼模塊對(duì)視頻幀數(shù)據(jù)進(jìn)行解碼后生成圖像數(shù)據(jù)。圖像緩存模塊用于存儲(chǔ)緩存數(shù)據(jù)，其緩存數(shù)據(jù)為視頻解碼模塊生成的圖像數(shù)據(jù)。視頻渲染模塊的工作方式與視頻解碼模塊類(lèi)似，其根據(jù)顯示時(shí)間戳對(duì)圖像數(shù)據(jù)進(jìn)行渲染，生成視頻圖像數(shù)據(jù)。視頻顯示模塊利用視頻輸出接口向顯示設(shè)備輸出視頻圖像數(shù)據(jù)。
[0047]控制單元探測(cè)基本流緩存模塊與圖像緩存模塊存儲(chǔ)的緩存數(shù)據(jù)，檢測(cè)基本流緩存模塊和圖像緩存模塊中的緩存數(shù)據(jù)是否存在缺失或中斷的情況。當(dāng)數(shù)據(jù)停止流入時(shí)系統(tǒng)判別為衛(wèi)星丟失、數(shù)據(jù)中斷；當(dāng)數(shù)據(jù)流入恢復(fù)時(shí)，判別為衛(wèi)星找回、中斷恢復(fù)?？刂茊卧?jì)數(shù)發(fā)生數(shù)據(jù)中斷的時(shí)間。當(dāng)緩存數(shù)據(jù)發(fā)生缺失或中斷時(shí)，控制單元調(diào)節(jié)視頻渲染模塊對(duì)于圖像數(shù)據(jù)的渲染與顯示幀率，利用已緩存的數(shù)據(jù)平滑填充至存在缺失或中斷的中間中，避免視頻圖像發(fā)生馬賽克或短時(shí)黑屏的情況，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理。
[0048]本發(fā)明應(yīng)用于容易出現(xiàn)丟失視頻信號(hào)的視頻解碼終端中，常見(jiàn)于接收衛(wèi)星載波信號(hào)的衛(wèi)星視頻解碼終端設(shè)備中。目前衛(wèi)星電視廣播或衛(wèi)星視頻通信中，其信源編碼多采用了 MPEG2/MPEG4、H.264等數(shù)字圖像編碼方式，系統(tǒng)傳輸中包含有時(shí)序模型，圖像幀與幀之間具有嚴(yán)格的時(shí)序關(guān)系，包含解碼時(shí)間戳DTS和顯示時(shí)間戳PTS。接收信號(hào)的短時(shí)中斷會(huì)造成部分圖像幀數(shù)據(jù)的丟失，解碼播放過(guò)程中由于當(dāng)前幀數(shù)據(jù)殘缺而無(wú)法形成對(duì)前一幀圖像內(nèi)容的完整刷新，表現(xiàn)在電視畫(huà)面上會(huì)出現(xiàn)馬賽克卡殼現(xiàn)象。本發(fā)明尤其適用于設(shè)置在機(jī)動(dòng)載體上的衛(wèi)星載波信號(hào)的衛(wèi)星視頻解碼終端設(shè)備中。
[0049]圖2顯示的是增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置解碼方法的流程圖，其中包括以下步驟:
[0050]步驟一:基本流模塊接收并緩存視頻信號(hào)，并通過(guò)控制單元實(shí)時(shí)探測(cè)緩存容量；
[0051]步驟二:視頻幀提取模塊從視頻信號(hào)中提取視頻幀數(shù)據(jù)，視頻解碼模塊根據(jù)解碼時(shí)間戳對(duì)視頻幀數(shù)據(jù)進(jìn)行解碼，生成圖像數(shù)據(jù)；
[0052]步驟三:圖像緩存模塊存儲(chǔ)圖像數(shù)據(jù)，并通過(guò)控制單元實(shí)時(shí)探測(cè)緩存容量；
[0053]步驟四:視頻渲染模塊根據(jù)顯示時(shí)間戳對(duì)圖像數(shù)據(jù)進(jìn)行渲染；若控制單元探測(cè)到基本流緩存模塊或圖像緩存模塊中的緩存數(shù)據(jù)發(fā)生缺失或中斷，控制單元調(diào)節(jié)視頻渲染模塊對(duì)于圖像數(shù)據(jù)的渲染和顯示幀率，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理；
[0054]步驟五:視頻顯示模塊輸出視頻圖像數(shù)據(jù)。
[0055]本發(fā)明主要著重于步驟四對(duì)于發(fā)生缺失或中斷的視頻信號(hào)時(shí)對(duì)視頻圖像實(shí)施平滑處理，本實(shí)施例根據(jù)圖像緩存模塊(Video Buffer)中緩存的圖像數(shù)據(jù)平滑分配至緩存圖像數(shù)據(jù)正常播放的時(shí)間長(zhǎng)度與存在缺失或中斷的圖像數(shù)據(jù)的時(shí)間長(zhǎng)度的總和中。上述實(shí)施過(guò)程通過(guò)調(diào)節(jié)視頻渲染模塊的渲染和顯示幀率，從而調(diào)節(jié)視頻圖像數(shù)據(jù)的輸出幀率，幀率的計(jì)算公式如下式所示:
[0056]Fps = N/(T1+T2)；
[0057]式中，F(xiàn)ps表示幀率，NI表示圖像緩存模塊中圖像數(shù)據(jù)幀數(shù)，Tl表示緩存圖像數(shù)據(jù)的時(shí)間長(zhǎng)度，T2表示缺失或中斷的圖像數(shù)據(jù)的時(shí)間長(zhǎng)度。
[0058]控制單元將視頻渲染單元的渲染和顯示幀率設(shè)定為計(jì)算值。在上述過(guò)程中，由于增加了時(shí)間長(zhǎng)度，等效于控制單元降低了視頻渲染模塊的渲染和顯示幀率，從而降低了顯示設(shè)備的播放幀速率，避免了顯示的視頻圖像出現(xiàn)馬塞克或卡殼的現(xiàn)象，實(shí)現(xiàn)了對(duì)視頻圖像數(shù)據(jù)的平滑處理。
[0059]優(yōu)選地，由于基本流緩存和圖像緩存的存在，傳輸流數(shù)據(jù)進(jìn)入基本流緩存排隊(duì)隊(duì)列至排隊(duì)流出圖像緩存，中間存在一定的延遲時(shí)間。該延遲時(shí)間為緩存總幀數(shù)和正常播放幀速率的商。當(dāng)基本流緩存模塊中出現(xiàn)圖像數(shù)據(jù)短時(shí)缺失時(shí)，控制單元保持視頻渲染模塊的渲染和顯示幀率，當(dāng)圖像緩存模塊中不存在下一顯示時(shí)間戳的圖像數(shù)據(jù)時(shí)，控制單元控制視頻顯示模塊重復(fù)輸出當(dāng)前幀的視頻圖像數(shù)據(jù)以平滑過(guò)渡缺失的圖像數(shù)據(jù)的黑屏?xí)r間，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理。本發(fā)明判定圖像數(shù)據(jù)短時(shí)缺失的依據(jù)不作限制，本實(shí)施例中將延遲時(shí)間的20%作為執(zhí)行上述處理方式的閾值，例如某緩存容量配置下延遲數(shù)據(jù)的時(shí)間長(zhǎng)度是I秒，若傳輸流輸入完全中斷時(shí)，I秒后圖像畫(huà)面才會(huì)出現(xiàn)中斷，期間圖像播出為緩存中的內(nèi)容。假設(shè)傳輸流發(fā)生短時(shí)中斷，中斷持續(xù)時(shí)間為0.2秒，這種情況下控制單元可以允許不進(jìn)行降幀操作?？刂茊卧刂埔曨l顯示模塊重復(fù)播放上一幀視頻圖像數(shù)據(jù)以填補(bǔ)0.2秒的無(wú)視頻圖像的短時(shí)黑屏。
[0060]如圖3顯示的本發(fā)明的增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼系統(tǒng)，其中包括圖像解碼裝置、文本解碼裝置和音頻解碼裝置。圖像解碼裝置生成視頻圖像數(shù)據(jù)并根據(jù)顯示時(shí)間戳通過(guò)視頻顯示模塊輸出視圖像數(shù)據(jù)。文本解碼裝置獲取文本信號(hào)并解碼生成文本數(shù)據(jù)，文本解碼裝置將文本數(shù)據(jù)加載至視頻圖像數(shù)據(jù)中通過(guò)視頻顯示模塊輸出。音頻解碼裝置包括音頻播放模塊，音頻解碼裝置獲取音頻信號(hào)并解碼生成音頻數(shù)據(jù)，并利用音頻播放模塊根據(jù)顯示時(shí)間戳與視頻顯示模塊同步輸出音頻數(shù)據(jù)。上述視頻圖像數(shù)據(jù)與音頻數(shù)據(jù)分別通過(guò)視頻輸出接口與音頻輸出接口發(fā)送至顯示播放設(shè)備中，呈現(xiàn)出具有字幕的視頻圖像及與圖像對(duì)應(yīng)的聲音。
[0061]圖4顯示的是增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼系統(tǒng)的解碼方法，包括以下步驟:
[0062]步驟B1:圖像解碼系統(tǒng)接收傳輸流信號(hào)，并將傳輸流信號(hào)解復(fù)用生成視頻信號(hào)、文本信號(hào)與音頻信號(hào)；
[0063]步驟B2:圖像解碼裝置、文本解碼裝置和音頻解碼裝置獲取視頻信號(hào)、文本信號(hào)和音頻信號(hào)，并根據(jù)解碼時(shí)間戳對(duì)視頻信號(hào)、文本信號(hào)和音頻信號(hào)進(jìn)行解碼，生成圖像數(shù)據(jù)、文本數(shù)據(jù)和音頻數(shù)據(jù)；
[0064]步驟B3:圖像解碼裝置渲染解碼后的圖像數(shù)據(jù)生成視頻圖像數(shù)據(jù)，文本解碼裝置渲染解碼后的文本數(shù)據(jù)，音頻解碼裝置渲染解碼后的音頻數(shù)據(jù)；
[0065]步驟B4:將渲染后的文本數(shù)據(jù)加載至視頻圖像數(shù)據(jù)中并通過(guò)視頻顯示模塊根據(jù)顯示時(shí)間戳輸出，音頻播放模塊以相同的顯示時(shí)間戳同步輸出音頻數(shù)據(jù)。
[0066]本實(shí)施例將圖像解碼系統(tǒng)設(shè)置于衛(wèi)星視頻終端設(shè)備中，衛(wèi)星接收機(jī)射頻前端首先對(duì)衛(wèi)星載波進(jìn)行調(diào)諧、降頻、解調(diào)處理，輸出傳輸流數(shù)據(jù)(TS, Transprot Stream),經(jīng)過(guò)傳輸流解復(fù)用后傳輸至基本流緩存模塊中，本實(shí)施例選用的基本流緩存模塊存儲(chǔ)傳輸流解復(fù)用后的文本信號(hào)、視頻信號(hào)和音頻信號(hào)。基本流緩存模塊中的信號(hào)按照解碼時(shí)間戳(DTS)排序。由于TS流中的數(shù)據(jù)包都是被重新分割打包的，解碼之前需要進(jìn)行可解碼數(shù)據(jù)訪問(wèn)單元起始點(diǎn)的識(shí)別，即存在一個(gè)幀提取(Paketizer)的過(guò)程。音頻幀提取模塊提取出音頻幀數(shù)據(jù)，視頻幀提取模塊提取出視頻幀數(shù)據(jù)。音頻解碼模塊、文本解碼模塊和視頻解碼模塊根據(jù)解碼時(shí)間戳DTS分別對(duì)音頻幀數(shù)據(jù)、文本信號(hào)和視頻幀數(shù)據(jù)實(shí)施解碼，生成解碼后的音頻數(shù)據(jù)、文本數(shù)據(jù)和圖像數(shù)據(jù)。其中根據(jù)數(shù)據(jù)包的DTS決定是否進(jìn)行解碼，如果DTS小于當(dāng)前解碼時(shí)刻，則說(shuō)明該數(shù)據(jù)由于某種原因未被及時(shí)解碼但已過(guò)時(shí)，將直接丟棄而不再進(jìn)行解碼；如果DTS大于當(dāng)前解碼時(shí)刻，說(shuō)明該數(shù)據(jù)為未來(lái)某幀圖像的待解碼數(shù)據(jù)，將繼續(xù)在ESBuffers保持等待，直到解碼時(shí)刻到來(lái)。視頻解碼裝置將圖像數(shù)據(jù)進(jìn)行渲染，獲得視頻圖像數(shù)據(jù)。文本解碼裝置中子圖渲染模塊對(duì)解碼后的文本數(shù)據(jù)進(jìn)行渲染并根據(jù)顯示時(shí)間戳將文本數(shù)據(jù)加載至視頻圖像數(shù)據(jù)中，由視頻輸出接口向顯示播放設(shè)備輸出加載有文字的視頻圖像數(shù)據(jù)。的音頻解碼裝置中對(duì)解碼后的音頻數(shù)據(jù)實(shí)施濾波與混音并傳輸至音頻播放模塊中，并根據(jù)顯示時(shí)間戳與視頻圖像數(shù)據(jù)同步輸出。
[0067]正常情況下，基本流緩存模塊中存放的待解碼數(shù)據(jù)包數(shù)量相對(duì)穩(wěn)定，衛(wèi)星瞬時(shí)丟星會(huì)導(dǎo)致信號(hào)接收短時(shí)中斷，流入基本流緩存模塊的數(shù)據(jù)包會(huì)減少或中斷，基本流緩存模塊緩沖的待解碼數(shù)據(jù)包數(shù)量明顯下降?？刂茊卧ㄟ^(guò)對(duì)基本流緩存模塊內(nèi)數(shù)據(jù)包的統(tǒng)計(jì)，可以判斷是否曾發(fā)生過(guò)衛(wèi)星信號(hào)接收中斷及斷點(diǎn)時(shí)長(zhǎng)，從而實(shí)現(xiàn)對(duì)音頻視頻輸出單元的控制，以提高視頻的流暢性。當(dāng)控制單元檢測(cè)到基本流緩存模塊統(tǒng)計(jì)顯示有信號(hào)中斷發(fā)生時(shí)，控制單元調(diào)整圖像緩存模塊模塊，降低圖像緩存模塊中圖像數(shù)據(jù)渲染和顯示的幀率，平滑填充后續(xù)圖像幀缺失留下的時(shí)間空白，保持畫(huà)面播放的相對(duì)流暢；或者當(dāng)控制單元檢測(cè)到基本流緩存模塊顯示圖像數(shù)據(jù)丟失較少的情況時(shí)圖像緩存模塊仍按照正常幀率播放，圖像緩存模塊中沒(méi)有可播放的下一幅圖像時(shí)，控制單元控制圖像緩存模塊采用重復(fù)播放當(dāng)前幀的方法以保證畫(huà)面的連續(xù)顯示。優(yōu)選地，本發(fā)明還可增大圖像解碼系統(tǒng)中的基本流緩存模塊和圖像緩存模塊容量，運(yùn)用降低幀率、畫(huà)面重復(fù)等平滑播放處理方式，在一定程度上降低了產(chǎn)品使用中的馬賽克、黑屏出現(xiàn)概率，改善了用戶電視收看主觀感受和圖像評(píng)價(jià)效果。
[0068]本發(fā)明的保護(hù)內(nèi)容不局限于以上實(shí)施例。在不背離發(fā)明構(gòu)思的精神和范圍下，本領(lǐng)域技術(shù)人員能夠想到的變化和優(yōu)點(diǎn)部被包括在本發(fā)明中，并且以所附的權(quán)利要求書(shū)為保護(hù)范圍。
【權(quán)利要求】
1.一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置，其特征在于，包括: 視頻解碼單元，其接收視頻信號(hào)并對(duì)所述視頻信號(hào)進(jìn)行解碼，生成并輸出用于顯示的視頻圖像數(shù)據(jù)； 控制單元，其與所述視頻解碼單元連接，在所述視頻解碼單元接收的所述視頻信號(hào)發(fā)生中斷或缺失時(shí)，控制所述視頻解碼單元對(duì)顯示的圖像實(shí)施平滑處理。
2.如權(quán)利要求1所述的增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置，其特征在于，所述視頻解碼單元包括: 基本流緩存模塊，其存儲(chǔ)的緩存數(shù)據(jù)包括所述視頻信號(hào)； 視頻幀提取模塊，其從所述視頻信號(hào)中提取視頻幀數(shù)據(jù)； 視頻解碼模塊，其根據(jù)解碼時(shí)間戳對(duì)所述視頻幀數(shù)據(jù)進(jìn)行解碼，生成圖像數(shù)據(jù)； 圖像緩存模塊，其存儲(chǔ)的緩存數(shù)據(jù)為所述圖像數(shù)據(jù)； 視頻渲染模塊，其根據(jù)顯示時(shí)間戳對(duì)所述圖像數(shù)據(jù)進(jìn)行渲染，生成視頻圖像數(shù)據(jù)； 視頻顯示模塊，其輸出所述視頻圖像數(shù)據(jù)。
3.如權(quán)利要求2所述的增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置，其特征在于，所述控制單元探測(cè)所述基本流緩存模塊與所述圖像緩存模塊存儲(chǔ)的緩存數(shù)據(jù)；當(dāng)所述緩存數(shù)據(jù)發(fā)生缺失或中斷時(shí)，所述控制 單元調(diào)節(jié)所述視頻渲染模塊對(duì)于所述圖像數(shù)據(jù)的渲染與顯示幀率，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理。
4.如權(quán)利要求1所述的增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置，其特征在于，所述視頻解碼單元從接收的衛(wèi)星載波信號(hào)中獲取所述視頻信號(hào)。
5.如權(quán)利要求1所述的增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置，其特征在于，所述圖像解碼裝置設(shè)置在機(jī)動(dòng)載體上。
6.一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼系統(tǒng)，其特征在于，包括: 權(quán)利要求1中所述的圖像解碼裝置，其生成視頻圖像數(shù)據(jù)，根據(jù)顯示時(shí)間戳通過(guò)所述視頻顯示模塊輸出所述視頻圖像數(shù)據(jù)； 文本解碼裝置，其獲取文本信號(hào)并解碼生成文本數(shù)據(jù)，所述文本解碼裝置將所述文本數(shù)據(jù)加載至所述視頻圖像數(shù)據(jù)中通過(guò)所述視頻顯示模塊輸出； 音頻解碼裝置，其包括音頻播放模塊，所述音頻解碼裝置獲取音頻信號(hào)并解碼生成音頻數(shù)據(jù)，并利用所述音頻播放模塊根據(jù)顯示時(shí)間戳與所述視頻顯示模塊同步輸出所述音頻數(shù)據(jù)。
7.一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置的解碼方法，其特征在于，包括以下步驟: 步驟一:所述基本流模塊接收并緩存所述視頻信號(hào)，并通過(guò)所述控制單元實(shí)時(shí)探測(cè)緩存容量: 步驟二:所述視頻幀提取模塊從所述視頻信號(hào)中提取視頻幀數(shù)據(jù)，所述視頻解碼模塊根據(jù)解碼時(shí)間戳對(duì)視頻幀數(shù)據(jù)進(jìn)行解碼，生成圖像數(shù)據(jù)； 步驟三:所述圖像緩存模塊存儲(chǔ)所述圖像數(shù)據(jù)，并通過(guò)所述控制單元實(shí)時(shí)探測(cè)緩存容量; 步驟四:所述視頻渲染模塊根據(jù)顯示時(shí)間戳對(duì)所述圖像數(shù)據(jù)進(jìn)行渲染；若所述控制單元探測(cè)到所述基本流緩存模塊或圖像緩存模塊中的緩存數(shù)據(jù)發(fā)生缺失或中斷，所述控制單元調(diào)節(jié)所述視頻渲染模塊對(duì)于所述圖像數(shù)據(jù)的渲染和顯示幀率，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理； 步驟五:所述視頻顯示模塊輸出所述視頻圖像數(shù)據(jù)。
8.如權(quán)利要求7所述的增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置的解碼方法，其特征在于，所述步驟四中控制單元調(diào)節(jié)對(duì)于所述圖像數(shù)據(jù)的渲染和顯示幀率的過(guò)程包括: 步驟Al:所述控制單元根據(jù)所述圖像緩存模塊中的圖像數(shù)據(jù)計(jì)算所述視頻渲染模塊的渲染和顯示幀率，所述幀率的計(jì)算方法如下式所述:
Fps = N/(T1+T2)； 式中，F(xiàn)ps表示幀率，NI表示所述圖像緩存模塊中圖像數(shù)據(jù)幀數(shù)，Tl表示緩存圖像數(shù)據(jù)的時(shí)間長(zhǎng)度，T2表示缺失或中斷的圖像數(shù)據(jù)的時(shí)間長(zhǎng)度； 步驟A2:所述控制單元根據(jù)計(jì)算的幀率設(shè)定所述視頻渲染單元的渲染和顯示幀率，將緩存的圖像數(shù)據(jù)平滑分配至缺失或中斷的圖像數(shù)據(jù)的時(shí)間內(nèi)，實(shí)現(xiàn)對(duì)視頻圖像數(shù)據(jù)的平滑處理。
9.如權(quán)利要求7所述的增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼裝置的解碼方法，其特征在于，所述步驟四進(jìn)一步包括:所述控制單元保持所述視頻渲染模塊的渲染和顯示幀率，當(dāng)所述圖像緩存模塊中未存在下一顯示時(shí)間戳的圖像數(shù)據(jù)時(shí)，所述控制單元控制所述視頻顯示模塊重復(fù)輸出當(dāng)前幀的視頻圖像數(shù)據(jù)以平滑過(guò)渡缺失的圖像數(shù)據(jù)的黑屏?xí)r間，實(shí)現(xiàn)對(duì)顯示的圖像實(shí)施平滑處理。
10.一種增強(qiáng)機(jī)動(dòng)載體視頻流暢的圖像解碼系統(tǒng)的解碼方法，其特征在于，包括以下步驟: 步驟B1:所述圖像解碼系統(tǒng)接收傳輸流信號(hào)，并將所述傳輸流信號(hào)解復(fù)用生成視頻信號(hào)、文本信號(hào)與音頻信號(hào)； 步驟B2:所述圖像解碼裝置、文本解碼裝置和音頻解碼裝置獲取所述視頻信號(hào)、文本信號(hào)和音頻信號(hào)，并根據(jù)解碼時(shí)間戳對(duì)所述視頻信號(hào)、文本信號(hào)和音頻信號(hào)進(jìn)行解碼，生成圖像數(shù)據(jù)、文本數(shù)據(jù)和音頻數(shù)據(jù)； 步驟B3:所述圖像解碼裝置渲染所述解碼后的圖像數(shù)據(jù)生成視頻圖像數(shù)據(jù)，所述文本解碼裝置渲染所述解碼后的文本數(shù)據(jù)，所述音頻解碼裝置渲染所述解碼后的音頻數(shù)據(jù)；步驟B4:將所述渲染后的文本數(shù)據(jù)加載至所述視頻圖像數(shù)據(jù)中并通過(guò)所述視頻顯示模塊根據(jù)顯示時(shí)間戳輸出，所述音頻播放模塊以相同的顯示時(shí)間戳同步輸出所述音頻數(shù)據(jù)。
【文檔編號(hào)】H04N21/434GK104038808SQ201310073325
【公開(kāi)日】2014年9月10日 申請(qǐng)日期:2013年3月7日 優(yōu)先權(quán)日:2013年3月7日
【發(fā)明者】徐文超, 楊艷琴, 盧亮 申請(qǐng)人:華東師范大學(xué), 上海詠輿通信技術(shù)有限公司