專利名稱：聲音圖像多路復(fù)用數(shù)據(jù)生成裝置和重放裝置及移動(dòng)圖像譯碼裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及聲音圖像多路復(fù)用數(shù)據(jù)生成裝置以及聲音圖像多路復(fù)用數(shù)據(jù)重放裝置。
背景技術(shù)：
近年來，在數(shù)字AV設(shè)備中，需要實(shí)現(xiàn)稱為聲音移動(dòng)圖像的多媒體數(shù)據(jù)的錄像/重放的多媒體數(shù)據(jù)多路復(fù)用技術(shù)，且存在ASF(前置系統(tǒng)格式；Advanced SystemsFormat)以及MPEG-4MP4(移動(dòng)圖像專家組4型；moving picture experts group phase4)等各種標(biāo)準(zhǔn)。
在多媒體多路復(fù)用技術(shù)中，將聲音/圖像數(shù)據(jù)多路復(fù)用的聲音圖像多路復(fù)用技術(shù)中，在聲音/圖像數(shù)據(jù)的每1幀中附加稱為PTS(陳述時(shí)間標(biāo)志；Presentation TimeStamp)的重放時(shí)刻/顯示時(shí)刻作為同步信息，生成多路復(fù)用數(shù)據(jù)。另一方面，在對被多路復(fù)用的數(shù)據(jù)進(jìn)行重放的情況下，將多路復(fù)用數(shù)據(jù)解多路復(fù)用為聲音/圖像數(shù)據(jù)以及同步信息，并且通過將同步信息的PTS復(fù)原，對聲音/圖像數(shù)據(jù)的重放/顯示處理，實(shí)現(xiàn)聲音圖像同步重放。
圖19是已有的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，圖20是已有的聲音圖像多路復(fù)用數(shù)據(jù)，圖21是已有的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置(例如，專利文獻(xiàn)1等)。
已有的聲音圖像多路復(fù)用生成裝置是由以下部分構(gòu)成，即對由話筒M1輸入的數(shù)據(jù)進(jìn)行編碼的聲音編碼部1901、存放已被編碼的聲音數(shù)據(jù)的聲音數(shù)據(jù)存放部1904、對攝像機(jī)CA輸入的圖像數(shù)據(jù)進(jìn)行編碼的圖像編碼部1903、存放已被編碼的圖像數(shù)據(jù)的圖像數(shù)據(jù)存放部1906、制作用于使聲音數(shù)據(jù)與圖像數(shù)據(jù)同步的同步信息的同步信息生成部1902、存放同步信息的同步信息存放部1905、將存放在聲音數(shù)據(jù)存放部1904中的聲音數(shù)據(jù)、將存放在圖像數(shù)據(jù)存放部1906中的圖像數(shù)據(jù)以及存放在同步信息存放部1905中的同步信息多路復(fù)用的聲音圖像多路復(fù)用部1907。
在該已有的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置中，對被編碼的聲音數(shù)據(jù)、圖像數(shù)據(jù)分別附加同步信息(PTS)并進(jìn)行多路復(fù)用。被多路復(fù)用的數(shù)據(jù)的例子如圖20所示。
而且，因多路復(fù)用數(shù)據(jù)的不同，多路復(fù)用方法有附加作為各個(gè)聲音數(shù)據(jù)/圖像數(shù)據(jù)的信息的首部的同步信息的方法、所有聲音數(shù)據(jù)/圖像數(shù)據(jù)的同步信息集中存放在一處的方法等各種方法。
另一方面，如圖21所示，已有聲音圖像多路復(fù)用數(shù)據(jù)重放裝置由以下部分構(gòu)成，即將多路復(fù)用數(shù)據(jù)分離為聲音數(shù)據(jù)、圖像數(shù)據(jù)以及同步信息的聲音圖像解多路復(fù)用部2101、存放被解多路復(fù)用的聲音數(shù)據(jù)的聲音數(shù)據(jù)存放部2102、存放被解多路復(fù)用的圖像數(shù)據(jù)的圖像數(shù)據(jù)存放部2104、存放被解多路復(fù)用的同步信息的同步信息存放部2103、對聲音數(shù)據(jù)進(jìn)行譯碼的聲音譯碼部2105、對圖像數(shù)據(jù)進(jìn)行譯碼的圖像譯碼部2107、以聲音/圖像數(shù)據(jù)的同步信息為依據(jù)，起動(dòng)聲音譯碼部2105與圖像譯碼部2107的同步控制部2106。在聲音譯碼部2105中被譯碼的信號通過揚(yáng)聲器SP重放，在圖像譯碼部2107中被譯碼的信號通過顯示器DP重放。
這樣，在已有的聲音圖像多重?cái)?shù)據(jù)重放裝置中，將通過解多路復(fù)用方法得到的同步信息復(fù)原，采用聲音譯碼部2105、圖像譯碼部2107，確立聲音數(shù)據(jù)、圖像數(shù)據(jù)的同步后進(jìn)行重放。
然而，在采用全部軟件處理的方法實(shí)現(xiàn)聲音圖像多路復(fù)用數(shù)據(jù)重放裝置的情況下，由于CPU的處理能力有限，實(shí)時(shí)的聲音與圖像的同步重放困難。
又，在多個(gè)應(yīng)用程序同時(shí)實(shí)施時(shí)的情況下，因轉(zhuǎn)移到與聲音圖像多路復(fù)用數(shù)據(jù)重放裝置不同的裝置或者狀態(tài)，解多路復(fù)用處理以及各譯碼處理不能在規(guī)定的時(shí)間之內(nèi)完成，導(dǎo)致實(shí)時(shí)的聲音與圖像的同步重放發(fā)生困難。
特別是，在通過軟件處理實(shí)現(xiàn)的情況下，圖像譯碼部2107的處理量增大。一旦實(shí)時(shí)的同步重放發(fā)生困難，將采取中斷圖像數(shù)據(jù)譯碼處理，不顯示其圖像數(shù)據(jù)(抽幀)的對策。但是，由于基本上圖像數(shù)據(jù)是前幀的圖像數(shù)據(jù)的差分圖像，因此不能只抽取來不及進(jìn)行圖像譯碼處理的圖像數(shù)據(jù)1幀。即使已經(jīng)抽幀，也會(huì)在下一幀的圖像數(shù)據(jù)發(fā)生紊亂。因此，其結(jié)果是，導(dǎo)致對下一基準(zhǔn)圖像為止的多幀圖像數(shù)據(jù)進(jìn)行抽幀，移動(dòng)圖像重放的不連續(xù)性顯著。
本發(fā)明的目的在于，提供在采用軟件處理的方法進(jìn)行聲音圖像多路復(fù)用數(shù)據(jù)的重放的情況下，能夠?qū)⒁苿?dòng)圖像的譯碼處理在規(guī)定時(shí)間內(nèi)未能完成時(shí)所發(fā)生的聲音圖像的同步紊亂以及移動(dòng)圖像重放的紊亂控制在最小限度的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置、重放裝置以及移動(dòng)圖像譯碼裝置。

發(fā)明內(nèi)容
為了解決所述課題，本發(fā)明的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置是在已有構(gòu)成的基礎(chǔ)上，還具有利用小于圖像編碼部的幀速率對輸入的圖像數(shù)據(jù)進(jìn)行編碼，生成預(yù)備圖像數(shù)據(jù)的預(yù)備圖像編碼部、以及、存放預(yù)備圖像數(shù)據(jù)的預(yù)備圖像數(shù)據(jù)存放部。
又，本發(fā)明的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置是在已有的構(gòu)成上，具有利用多路復(fù)用的數(shù)據(jù)對預(yù)備圖像數(shù)據(jù)進(jìn)行解多路復(fù)用并存放預(yù)備圖像數(shù)據(jù)的預(yù)備圖像數(shù)據(jù)存放部、以及選擇對圖像數(shù)據(jù)與預(yù)備圖像數(shù)據(jù)中的哪一個(gè)進(jìn)行譯碼的圖像數(shù)據(jù)選擇部。
該聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，對以通常的幀速率編碼的圖像數(shù)據(jù)與以更低幀速率編碼的預(yù)備圖像數(shù)據(jù)的2種圖像數(shù)據(jù)多路復(fù)用。聲音圖像多路復(fù)用數(shù)據(jù)重放裝置，對通常幀速率的圖像數(shù)據(jù)進(jìn)行譯碼時(shí)，圖像譯碼處理因某種原因在規(guī)定時(shí)間內(nèi)沒有完成的情況下，作為預(yù)備圖像，對多路復(fù)用的幀速率低的預(yù)備圖像數(shù)據(jù)進(jìn)行譯碼。還有，繼續(xù)進(jìn)行預(yù)備圖像數(shù)據(jù)的譯碼，直到圖像譯碼部能夠在規(guī)定時(shí)間內(nèi)完成為止。這樣，通過預(yù)先對幀速率低的預(yù)備圖像數(shù)據(jù)進(jìn)行多路復(fù)用，以及通過在實(shí)時(shí)重放困難的情況下進(jìn)行對預(yù)備圖像數(shù)據(jù)的譯碼，可以防止系統(tǒng)出現(xiàn)破綻并較圓滿地實(shí)現(xiàn)移動(dòng)圖像重放。
還有，本發(fā)明的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置包含具有與所述聲音編碼部相同的聲音輸入的預(yù)備聲音編碼部、以及存放在所述預(yù)備聲音編碼部編碼的預(yù)備聲音數(shù)據(jù)的預(yù)備聲音數(shù)據(jù)存放部。此外，本發(fā)明的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置具有在聲音圖像解多路復(fù)用部中存放被解多路復(fù)用的預(yù)備聲音數(shù)據(jù)的預(yù)備聲音數(shù)據(jù)存放部、以及從所述聲音數(shù)據(jù)與所述預(yù)備聲音數(shù)據(jù)中選擇對哪一個(gè)聲音數(shù)據(jù)進(jìn)行譯碼的聲音選擇部。
具有該構(gòu)成的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，對采用通常的編碼方式編碼的聲音數(shù)據(jù)、以及采用處理量少的簡易編碼方式編碼的預(yù)備聲音數(shù)據(jù)的2種聲音數(shù)據(jù)進(jìn)行多路復(fù)用。在聲音圖像多路復(fù)用數(shù)據(jù)重放裝置中，判定為對通常的聲音數(shù)據(jù)的譯碼處理來不及進(jìn)行時(shí)，作為預(yù)備聲音，用多路復(fù)用的處理量少的簡易編碼對預(yù)備聲音數(shù)據(jù)進(jìn)行譯碼。還有，繼續(xù)進(jìn)行預(yù)備聲音數(shù)據(jù)的譯碼，直到聲音譯碼部在規(guī)定時(shí)間內(nèi)能夠完成譯碼處理為止。這樣，通過預(yù)先對處理量少的預(yù)備聲音數(shù)據(jù)進(jìn)行多路復(fù)用，依次在實(shí)時(shí)重放困難的情況下進(jìn)行對預(yù)備聲音數(shù)據(jù)的譯碼，可以防止系統(tǒng)出現(xiàn)破綻。在本發(fā)明中，圖像譯碼部通過硬件實(shí)現(xiàn)，替代圖像譯碼部幾乎沒有遲延的現(xiàn)象，在聲音譯碼部的遲延顯著的系統(tǒng)中更為有效。
還有，本發(fā)明的移動(dòng)圖像譯碼裝置具有判定圖像數(shù)據(jù)的譯碼處理在規(guī)定時(shí)間內(nèi)是否完成的圖像譯碼判定部、以及對應(yīng)于所述圖像譯碼判定部中的判定結(jié)果，部分省略圖像譯碼處理、削減處理量的圖像譯碼部。
如果采用該構(gòu)成，移動(dòng)圖像譯碼裝置在圖像譯碼判別部判定圖像譯碼處理難以在規(guī)定時(shí)間內(nèi)完成的情況下，通過削減圖像譯碼部的處理，可以實(shí)現(xiàn)利用軟件的實(shí)時(shí)重放困難的移動(dòng)圖像譯碼處理。


圖1是本發(fā)明的(實(shí)施形態(tài)1)的聲音圖像多路復(fù)用數(shù)據(jù)生成重放系統(tǒng)的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置的結(jié)構(gòu)圖。
圖2是實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置的結(jié)構(gòu)圖。
圖3是實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)中包含的圖像數(shù)據(jù)的一例的說明圖。
圖4是實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)的一例的說明圖。
圖5是實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)中包含的圖像數(shù)據(jù)的重放例。
圖6是實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)中包含的圖像數(shù)據(jù)的顯示時(shí)間例。
圖7是本發(fā)明的(實(shí)施形態(tài)2)的聲音圖像多路復(fù)用數(shù)據(jù)生成重放系統(tǒng)的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置的結(jié)構(gòu)圖。
圖8是實(shí)施形態(tài)2的聲音圖像多路復(fù)用數(shù)據(jù)一例的說明圖。
圖9是實(shí)施形態(tài)2的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置的結(jié)構(gòu)圖。
圖10是本發(fā)明的(實(shí)施形態(tài)3)的移動(dòng)圖像譯碼裝置的流程圖。
圖11是以實(shí)施形態(tài)2的宏數(shù)據(jù)塊單位有規(guī)則地削減交直流變換處理單位的一例的說明圖。
圖12是本發(fā)明的(實(shí)施形態(tài)4)的移動(dòng)圖像譯碼裝置的流程圖。
圖13是在同一實(shí)施形態(tài)的宏數(shù)據(jù)塊單位中有規(guī)則地省略圖像譯碼處理的一例的說明圖。
圖14是本發(fā)明的(實(shí)施形態(tài)5)的移動(dòng)圖像譯碼裝置的流程圖。
圖15是用實(shí)施形態(tài)5的宏數(shù)據(jù)塊單位根據(jù)移動(dòng)矢量省略圖像譯碼處理的一例的說明圖。
圖16是本發(fā)明(實(shí)施形態(tài)6)的移動(dòng)圖像譯碼裝置的流程圖。
圖17是實(shí)施形態(tài)6的圖像譯碼部、顏色變換部以及圖像顯示部的實(shí)施時(shí)間的一例(圖像譯碼處理在限定時(shí)間內(nèi)完成的情況)的說明圖。
圖18是實(shí)施形態(tài)6的圖像譯碼部、顏色變換部以及圖像顯示部的實(shí)施時(shí)間的一例(圖像譯碼處理在限定時(shí)間內(nèi)未完成的情況)的說明圖。
圖19是聲音圖像多路復(fù)用數(shù)據(jù)生成裝置的已有例的結(jié)構(gòu)圖。
圖20是已有的聲音圖像多路復(fù)用數(shù)據(jù)的一例的說明圖。
圖21是聲音圖像多路復(fù)用數(shù)據(jù)重放裝置的已有例的結(jié)構(gòu)圖。
圖22是本發(fā)明(實(shí)施形態(tài)1)中的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置的同步信息存放部106的同步信息的說明圖。
圖23是本發(fā)明(實(shí)施形態(tài)1)中的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置的同步信息存放部203的同步信息的說明圖。
具體實(shí)施形態(tài)以參考附圖對本發(fā)明的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置、重放裝置以及移動(dòng)圖像譯碼裝置進(jìn)行說明。
實(shí)施形態(tài)1圖1～圖5表示本發(fā)明的實(shí)施形態(tài)1。
圖1表示本發(fā)明的實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置。
該聲音圖像多路復(fù)用數(shù)據(jù)生成裝置具有以每一幀長的聲音數(shù)據(jù)作為輸入，對聲音數(shù)據(jù)編碼的聲音編碼部101、存放聲音編碼部101編碼的聲音數(shù)據(jù)的聲音數(shù)據(jù)存放部105、以1個(gè)畫面份額的圖像數(shù)據(jù)作為輸入，以一定的幀速率進(jìn)行對圖像數(shù)據(jù)的編碼的圖像編碼部103、存放圖像編碼部103編碼的圖像數(shù)據(jù)的圖像數(shù)據(jù)存放部107、以不同于圖像編碼部103的幀速率進(jìn)行對圖像數(shù)據(jù)的編碼的預(yù)備圖像譯碼部104、存放預(yù)備圖像編碼部104編碼的預(yù)備圖像數(shù)據(jù)的預(yù)備圖像數(shù)據(jù)存放部108、聲音編碼部101、圖像編碼部103、生成預(yù)備圖像編碼部104編碼的聲音數(shù)據(jù)、圖像數(shù)據(jù)以及預(yù)備圖像數(shù)據(jù)的同步信息的同步信息生成部102、存放同步信息生成部102生成的同步信息的同步信息存放部106、對存放在聲音數(shù)據(jù)存放部105中的聲音數(shù)據(jù)、存放在圖像數(shù)據(jù)存放部107中的圖像數(shù)據(jù)、存放在預(yù)備圖像數(shù)據(jù)存放部108中的預(yù)備圖像數(shù)據(jù)以及存放在同步信息存放部106中的同步信息進(jìn)行多路復(fù)用的聲音圖像多路復(fù)用部109。
以下對聲音圖像多路復(fù)用數(shù)據(jù)生成裝置的實(shí)施形態(tài)的一系列流程進(jìn)行說明。
首先，每隔某一定時(shí)間tA將聲音數(shù)據(jù)輸入聲音編碼部101。聲音編碼部101進(jìn)行對被輸入的tA份額的聲音數(shù)據(jù)的編碼。接著，將被編碼的聲音數(shù)據(jù)存放在聲音數(shù)據(jù)存放部105。
另一方面，每某個(gè)一定時(shí)間tV將一個(gè)畫面份額的圖像數(shù)據(jù)輸入至圖像編碼部103。圖像編碼部103進(jìn)行對被輸入的一個(gè)畫面份額的圖像數(shù)據(jù)的編碼。與聲音數(shù)據(jù)相同，將被編碼的圖像數(shù)據(jù)存放進(jìn)圖像數(shù)據(jù)存放部107。
又，每一比圖像數(shù)據(jù)的編碼間隔tV長的編碼間隔tV’，將一個(gè)畫面份額的圖像數(shù)據(jù)輸入至預(yù)備圖像編碼部104。預(yù)備圖像編碼部104進(jìn)行對輸入的一個(gè)畫面份額的圖像數(shù)據(jù)的編碼。圖3是在圖像編碼部103與預(yù)備圖像編碼部104編碼的圖像數(shù)據(jù)以及預(yù)備圖像數(shù)據(jù)的輸出例。
圖3是使所述圖像編碼部103以30fps的幀速率實(shí)施編碼，且使所述預(yù)備圖像編碼部104以15fps幀速率實(shí)施編碼的結(jié)果。首先，所述預(yù)備圖像編碼部104不對具有相同圖像數(shù)據(jù)的基準(zhǔn)圖像(圖3中用「I」表示)進(jìn)行編碼。另一方面，對于差分圖像(圖3中用「P」表示)，以比圖像數(shù)據(jù)的幀速率低的幀速率對預(yù)備圖像數(shù)據(jù)進(jìn)行編碼。圖3中，以30s的幀速率對圖像數(shù)據(jù)進(jìn)行編碼，以其一半幀速率的15fps對預(yù)備數(shù)據(jù)進(jìn)行編碼，于是預(yù)備圖像數(shù)據(jù)中除基準(zhǔn)圖像以外的14幀的預(yù)備圖像數(shù)據(jù)在1秒鐘之內(nèi)被編碼。這里，P2’設(shè)P2的預(yù)備圖像，P4’作為P4的預(yù)備圖像，P28’作為P28的預(yù)備圖像。又設(shè)P2’作為I1的差分圖像，表示與P2相似的圖像，并且具有與P2相同的PTS。P4’以及P28’也同樣如此，P4’為P2的差分圖像，表示與P4相似的圖像，且具有與P4相同的PTS。另一方面，P28’為P26的差分圖像，表示與P28相同的圖像，具有與P28相同的PTS。
接著，在同步信息生成部102生成在聲音編碼部101、圖像編碼部103以及預(yù)備圖像編碼部編碼的聲音數(shù)據(jù)、圖像數(shù)據(jù)以及預(yù)備圖像數(shù)據(jù)的同步信息。該同步信息表示在重放多路復(fù)用的數(shù)據(jù)時(shí)聲音重放以及圖像顯示的時(shí)刻，被稱為PTS。在對聲音數(shù)據(jù)每tA、圖像數(shù)據(jù)每tV，以均一的間隔進(jìn)行編碼的情況下，將聲音數(shù)據(jù)的PTS最初設(shè)定為0，其后設(shè)定為tA、2×tA、3×tA，即tA的倍數(shù)，將圖像數(shù)據(jù)PTS最初設(shè)定為0，其后設(shè)定為tV、2×tV、3×tV，即tV的倍數(shù)。將聲音數(shù)據(jù)、圖像數(shù)據(jù)以及預(yù)備圖像數(shù)據(jù)與這樣的同步信息相互聯(lián)系的信息存放在同步信息存放部106。圖22是同步信息存放部106的同步信息的一例。
圖22中的種類是指聲音/圖像/預(yù)備圖像中的任意一個(gè)。重放/顯示時(shí)刻是指以毫秒為單位對聲音/圖像/預(yù)備圖像數(shù)據(jù)的聲音重放或者圖像顯示時(shí)刻加以記載。規(guī)模(size)是指聲音/圖像/預(yù)備圖像數(shù)據(jù)的各自的規(guī)模。其值為一個(gè)幀的規(guī)模。存放地址是指存放在聲音數(shù)據(jù)存放部、圖像數(shù)據(jù)存放部以及預(yù)備圖像數(shù)據(jù)存放部的各個(gè)數(shù)據(jù)的前頭地址。這樣，使同步信息與編碼的聲音/圖像/預(yù)備圖像數(shù)據(jù)相聯(lián)系地存放在同步信息存放部106中。
接著，在聲音圖像多路復(fù)用部109中，將存放于所述同步信息存放部106的同步信息復(fù)原，并對聲音/圖像/預(yù)備圖像數(shù)據(jù)進(jìn)行多路復(fù)用。圖4是多路復(fù)用的數(shù)據(jù)的例子。圖4中，在各個(gè)數(shù)據(jù)的前頭附加作為同步信息的PTS，對于預(yù)備圖像數(shù)據(jù)，使其與具有相同PTS的圖像數(shù)據(jù)相連存放。
另一方面，圖2是本發(fā)明實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置的構(gòu)成圖。圖2的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置具有以多路復(fù)用數(shù)據(jù)作為輸入并進(jìn)行解多路復(fù)用的聲音圖像解多路復(fù)用部201、存放在所述聲音圖像解多路復(fù)用部201被解多路復(fù)用的聲音數(shù)據(jù)的聲音數(shù)據(jù)存放部202、存放在所述聲音圖像解多路復(fù)用部201被解多路復(fù)用的圖像數(shù)據(jù)的圖像數(shù)據(jù)存放部204、存放在所述聲音圖像解多路復(fù)用部201被解多路復(fù)用的預(yù)備圖像數(shù)據(jù)的預(yù)備圖像數(shù)據(jù)存放部205、存放在所述聲音圖像解多路復(fù)用部201被解多路復(fù)用的同步信息的同步信息存放部203、對存放于所述聲音數(shù)據(jù)存放部202的聲音數(shù)據(jù)進(jìn)行譯碼的聲音譯碼部206、選擇是對存放在所述圖像數(shù)據(jù)存放部204以及所述預(yù)備圖像數(shù)據(jù)存放部205中的圖像數(shù)據(jù)還是預(yù)備圖像數(shù)據(jù)進(jìn)行譯碼的圖像選擇部208、對所述圖像選擇部208選擇的圖像數(shù)據(jù)進(jìn)行譯碼的圖像譯碼部209、以及將存放于所述同步信息存放部203的同步信息復(fù)原，使聲音譯碼部206、圖像選擇部208、和圖像譯碼部209工作，重放多路復(fù)用數(shù)據(jù)的同步控制部207。
下面對有關(guān)聲音數(shù)據(jù)多路復(fù)用數(shù)據(jù)重放裝置的實(shí)施形態(tài)的一系列的流程進(jìn)行說明。
首先，將多路復(fù)用的數(shù)據(jù)輸入聲音圖像解多路復(fù)用部201，分離成聲音數(shù)據(jù)、圖像數(shù)據(jù)、預(yù)備圖像數(shù)據(jù)以及同步信息。將被分離的各個(gè)數(shù)據(jù)存放在聲音數(shù)據(jù)存放部202、圖像數(shù)據(jù)存放部204、預(yù)備圖像數(shù)據(jù)存放部205以及同步信息存放部203。
存放于所述同步信息存放部203的同步信息是使作為同步信息的PTS與聲音數(shù)據(jù)、圖像數(shù)據(jù)以及預(yù)備圖像數(shù)據(jù)相聯(lián)系的信息。圖23是同步信息的例子。
如圖23所示是關(guān)于各個(gè)聲音/圖像/預(yù)備圖像數(shù)據(jù)的同步信息。
同步信息控制部207使聲音譯碼部206以及圖像譯碼部209工作以便將所述同步信息復(fù)原，聲音/圖像數(shù)據(jù)能夠同步重放、顯示。而且，圖像譯碼部209就在圖像選擇部208中預(yù)先對圖像數(shù)據(jù)或者預(yù)備圖像數(shù)據(jù)的哪一個(gè)進(jìn)行譯碼進(jìn)行選擇的數(shù)據(jù)進(jìn)行譯碼處理。
圖像選擇部208基本上選擇存放于圖像數(shù)據(jù)存放部204的圖像數(shù)據(jù)。但是，在圖像譯碼部209在規(guī)定的時(shí)間內(nèi)未能完成處理的情況下，選擇存放于預(yù)備圖像數(shù)據(jù)存放部205的預(yù)備圖像數(shù)據(jù)，將預(yù)備圖像數(shù)據(jù)輸入圖像譯碼部209。
例如，設(shè)想被解多路復(fù)用的圖像數(shù)據(jù)是如圖3所示的數(shù)據(jù)的情況。假設(shè)對圖像數(shù)據(jù)I1進(jìn)行的譯碼處理未在規(guī)定時(shí)間內(nèi)完成。原本在對I1進(jìn)行譯碼處理之后必須進(jìn)行對P1的譯碼處理，但由于來不及對I1進(jìn)行譯碼處理，圖像選擇部208跳過P1選擇預(yù)備圖像數(shù)據(jù)P2’并將預(yù)備圖像數(shù)據(jù)P2’輸入圖像譯碼部209。這里，P2’假定為來自I1的差分圖像，沒有因省略P1的譯碼處理而產(chǎn)生的弊病。因此，在I1的譯碼處理完成后，實(shí)行對P2’的譯碼處理。在P2’的譯碼處理也在規(guī)定時(shí)間內(nèi)沒有完成的情況下，圖像選擇部208跳過P3選擇預(yù)備圖像數(shù)據(jù)P4’，將預(yù)備圖像時(shí)間P4’輸入圖像譯碼部209。這樣，在圖像譯碼部209在規(guī)定的時(shí)間內(nèi)沒有完成的情況下，圖像選擇部208不選擇圖像數(shù)據(jù)而是選擇預(yù)備圖像數(shù)據(jù)。而且，如果圖像譯碼部209在規(guī)定的時(shí)間內(nèi)完成，圖像選擇部按照原有的設(shè)定選擇圖像數(shù)據(jù)。圖5是選擇預(yù)備圖像數(shù)據(jù)P2’以及P4’時(shí)進(jìn)行圖像顯示的數(shù)據(jù)。
圖5中實(shí)線所示的圖像是被顯示的圖像數(shù)據(jù)。另外，圖6是表示圖5的圖像數(shù)據(jù)時(shí)的時(shí)序圖。關(guān)于圖像譯碼部209的處理在規(guī)定時(shí)間沒有完成的I1以及P2’，由于與圖像數(shù)據(jù)的幀速率不一致，因此導(dǎo)致局部性移動(dòng)圖像重放不順暢，但是，在圖像譯碼部209在規(guī)定時(shí)間內(nèi)完成的時(shí)刻恢復(fù)到原來的幀速率，移動(dòng)圖像的重放也恢復(fù)順暢。在已有技術(shù)中，在這樣實(shí)時(shí)重放發(fā)生困難的情況，原封不動(dòng)地繼承圖像譯碼部的處理的延遲，因此不能保持聲音/圖像數(shù)據(jù)的同步?；蛘?，一旦實(shí)時(shí)重放發(fā)生困難，為了省略在其后的基準(zhǔn)數(shù)據(jù)之前存在的所有差分圖像數(shù)據(jù)的譯碼處理，移動(dòng)圖像的重放變得極端紊亂。
又，所說的實(shí)時(shí)重放發(fā)生困難的情況并不是指如果CPU有足夠的處理能力將就不會(huì)發(fā)生的情況。多個(gè)應(yīng)用程序同時(shí)實(shí)施的情況下，即使CPU有很強(qiáng)的處理能力，也會(huì)因聲音圖像多路復(fù)用處理的中斷而導(dǎo)致生實(shí)時(shí)重放發(fā)生困難。根據(jù)這樣的背景，本發(fā)明的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置以及重放裝置也可以作為聲音圖像多路復(fù)用數(shù)據(jù)重放裝置的失效保險(xiǎn)使用。
如果采用實(shí)施形態(tài)1，通過預(yù)先將幀速率小的預(yù)備圖像數(shù)據(jù)與圖像數(shù)據(jù)一起多路復(fù)用，以便對多路復(fù)用數(shù)據(jù)的實(shí)時(shí)重放發(fā)生困難時(shí)，可以將圖像譯碼部來不及處理時(shí)產(chǎn)生的移動(dòng)圖像重放的紊亂控制在最小限度并使其恢復(fù)到原來的幀速率進(jìn)行移動(dòng)圖像重放。
實(shí)施形態(tài)2圖7～圖9是本發(fā)明的實(shí)施形態(tài)2。
該實(shí)施形態(tài)2是，實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置包含具有與聲音編碼部相同聲音輸入的預(yù)備聲音編碼部、以及將在所述預(yù)備聲音編碼部編碼的預(yù)備聲音數(shù)據(jù)加以存放的預(yù)備聲音數(shù)據(jù)存放部。又，實(shí)施形態(tài)1的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置具有存放通過聲音圖像解多路復(fù)用部解多路復(fù)用的預(yù)備聲音數(shù)據(jù)的預(yù)備聲音數(shù)據(jù)存放部、以及選擇對聲音數(shù)據(jù)與預(yù)備聲音數(shù)據(jù)中的哪一個(gè)進(jìn)行譯碼的聲音數(shù)據(jù)選擇部。
圖7表示本發(fā)明的實(shí)施形態(tài)2的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，701、703、704、705、706、708、709、710分別與實(shí)施形態(tài)1的101、102、103、104、105、106、107、108相同。
在圖7的預(yù)備聲音編碼部702中，采用與聲音編碼部701相同的輸入聲音，對預(yù)備聲音數(shù)據(jù)進(jìn)行編碼。在預(yù)備聲音編碼部702中，采用比聲音編碼部701的處理量少的簡易編碼進(jìn)行聲音編碼處理。將被編碼的預(yù)備聲音數(shù)據(jù)存放在預(yù)備聲音數(shù)據(jù)存放部707。
而且，由于聲音數(shù)據(jù)一旦跳幀重放聽到的全是噪聲，因此對所有的聲音數(shù)據(jù)預(yù)先準(zhǔn)備好預(yù)備聲音數(shù)據(jù)。舉一例說明，聲音編碼部利用AMR(adaptive multi-rate)編碼處理，預(yù)備聲音編碼部利用比AMR處理量少的G.726編碼處理，將AMR數(shù)據(jù)存放在聲音數(shù)據(jù)存放部，將G.726數(shù)據(jù)存放在預(yù)備聲音數(shù)據(jù)存放部。
在聲音圖像多路復(fù)用部711中，將同步信息附加在聲音/圖像/預(yù)備聲音/預(yù)備圖像數(shù)據(jù)上并生成多路復(fù)用數(shù)據(jù)。圖8是多路復(fù)用后的數(shù)據(jù)的例子。圖8中，在各個(gè)數(shù)據(jù)的前頭附加作為同步信息的PTS，在預(yù)備聲音數(shù)據(jù)方面，使其與具有同樣PTS的聲音數(shù)據(jù)相連存放。
而圖9是本發(fā)明實(shí)施形態(tài)2的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置。902、904、905、906、909、910、911分別與實(shí)施形態(tài)1的202、203、204、205、208、206、209相同。
將多路復(fù)用的數(shù)據(jù)輸入聲音圖像解多路復(fù)用部901，分離為聲音數(shù)據(jù)、預(yù)備聲音數(shù)據(jù)、預(yù)備圖像數(shù)據(jù)以及同步信息。
同步控制部908控制的聲音選擇部907基本上選擇存放于聲音數(shù)據(jù)存放部902的聲音數(shù)據(jù)。然而，在判斷出聲音譯碼部910中的聲音數(shù)據(jù)的譯碼處理難以在規(guī)定的時(shí)間內(nèi)完成時(shí)，選擇來自預(yù)備聲音數(shù)據(jù)存放部903的預(yù)備聲音數(shù)據(jù)并將預(yù)備聲音數(shù)據(jù)輸入聲音譯碼部910。其后，在判斷出聲音譯碼處理可以在規(guī)定的時(shí)間內(nèi)完成的情況下，聲音選擇部907選擇來自聲音數(shù)據(jù)存放部902的聲音數(shù)據(jù)。一旦采用上述的例子，通常是在選擇存放于聲音數(shù)據(jù)存放部的AMR數(shù)據(jù)，實(shí)施聲音譯碼，在判斷出來不及進(jìn)行譯碼處理的情況下，選擇存放于預(yù)備聲音數(shù)據(jù)存放部903的G.726數(shù)據(jù)并實(shí)施聲音譯碼。
這樣，通過預(yù)先采用比聲音數(shù)據(jù)的處理量還少簡易編碼對編碼的預(yù)備聲音數(shù)據(jù)同樣進(jìn)行多路復(fù)用，在實(shí)時(shí)重放產(chǎn)生困難的情況下，選擇被認(rèn)為聲音譯碼處理的處理量小的預(yù)備聲音數(shù)據(jù)，通過實(shí)行聲音譯碼處理，可以保持聲音/圖像數(shù)據(jù)的同步。特別是，采用硬件實(shí)現(xiàn)圖像譯碼處理，而采用軟件處理實(shí)現(xiàn)聲音譯碼處理的系統(tǒng)是更有效的系統(tǒng)。
如果這樣采用實(shí)施形態(tài)2，通過預(yù)先將采用處理量少的簡易編碼的預(yù)備聲音數(shù)據(jù)與聲音數(shù)據(jù)一起多路復(fù)用，以便對多路復(fù)用數(shù)據(jù)的實(shí)時(shí)重放發(fā)生困難時(shí)，可以將聲音譯碼部910來不及處理時(shí)產(chǎn)生的聲音重放的紊亂控制在最小限度。
實(shí)施形態(tài)3圖10是由計(jì)算機(jī)構(gòu)成的實(shí)施形態(tài)3的移動(dòng)圖像譯碼裝置的流程圖。
圖10的移動(dòng)圖像譯碼裝置具有作為判定被輸入的圖像數(shù)據(jù)的譯碼處理是否在規(guī)定時(shí)間內(nèi)完成的圖像譯碼判定部的圖像譯碼判定步驟1001、作為圖像譯碼步驟1003中的決定交直流變換單位的交直流變換單位判定部的交直流變換單位判定步驟1002、作為用宏數(shù)據(jù)塊單位對被輸入的圖像數(shù)據(jù)進(jìn)行譯碼的圖像譯碼部的圖像譯碼步驟1003、作為對在所述圖像譯碼步驟輸出的譯碼結(jié)果進(jìn)行顏色變換的顏色變換部的顏色變換步驟1004、以及作為顯示在所述顏色變換步驟1004輸出的顏色變換結(jié)果的圖像顯示部的圖像顯示步驟1005。
本發(fā)明的移動(dòng)圖像譯碼裝置可以作為實(shí)施形態(tài)1的圖像譯碼部209或者實(shí)施形態(tài)2的圖像譯碼部911加以利用。
以下對圖像譯碼裝置的實(shí)施形態(tài)的一系列流程進(jìn)行說明。
首先，對每一幀將圖像數(shù)據(jù)輸入圖像譯碼判定步驟1001，判定被輸入的圖像數(shù)據(jù)可否在規(guī)定的數(shù)據(jù)內(nèi)完成。例如，利用內(nèi)部時(shí)鐘計(jì)算出輸入圖像數(shù)據(jù)的時(shí)間與譯碼處理必須完成的時(shí)間之間的差分。其差分時(shí)間雖然作為分配給圖像譯碼處理的時(shí)間，在該時(shí)間比某一定值小的情況下，判定為圖像譯碼處理難以在該時(shí)間內(nèi)完成。
接著，交直流變換單位判定步驟1002根據(jù)所述圖像譯碼判定步驟1001中的判定結(jié)果決定交直流變換的處理單位。這里，設(shè)想IDCT(逆離散余弦變換(inverseDiscrete Cosine Transform))作為交直流變換的一個(gè)例子。例如，在所述圖像譯碼判定步驟1001中判定圖像譯碼處理將在規(guī)定的時(shí)間內(nèi)完成的情況下，將IDCT的處理單位設(shè)定為8×8。另一方面，在所述圖像譯碼判定步驟1001中判定圖像譯碼處理將在規(guī)定的時(shí)間內(nèi)難于完成的情況下，將IDCT的處理單位設(shè)定為4×4。
接著，在圖像譯碼步驟1003中，用宏數(shù)據(jù)塊單位對輸入的圖像數(shù)據(jù)進(jìn)行譯碼。而且，在本圖像譯碼步驟103中，采用由所述交直流變換單位判定步驟1002決定的IDCT的處理單位實(shí)行譯碼處理。因此，在判定圖像譯碼處理在規(guī)定的時(shí)間內(nèi)難以完成的情況下，IDCT的處理單位被削減，因此圖像譯碼部的處理量減少。而且對于全部宏數(shù)據(jù)塊圖也可以實(shí)行對IDCT的處理單位的削減。或者，也可以不是對全部宏數(shù)據(jù)塊圖，而只是有規(guī)則地對某個(gè)宏數(shù)據(jù)塊，削減IDCT的處理單位。
例如，圖11是象方格花紋那樣削減IDCT處理單位的情況。如圖11所示，通過將以4×4削減IDCT處理單位的宏數(shù)據(jù)塊設(shè)定為方格花紋，可以削減圖像譯碼部總體的處理量。
最后，通過顏色變換步驟1004將由所述圖像譯碼步驟1003輸出的圖像譯碼結(jié)果即YUV數(shù)據(jù)(Y-信號數(shù)據(jù)、U-信號數(shù)據(jù)、V-信號數(shù)據(jù))變換為RGB數(shù)據(jù)(紅、綠、藍(lán)數(shù)據(jù))并通過圖像顯示步驟1005將RGB數(shù)據(jù)顯示在顯示器上。
這樣，對每一圖像1幀數(shù)據(jù)，反復(fù)進(jìn)行圖像譯碼判定步驟1001、IDCT處理單位判定步驟1002、圖像譯碼步驟1003、顏色變換步驟1004、圖像顯示步驟1005。
這樣采用實(shí)施形態(tài)3，通過預(yù)先在圖像譯碼步驟1001判定圖像譯碼處理是否在規(guī)定的時(shí)間內(nèi)完成、根據(jù)判定結(jié)果在交直流單位判定步驟1002中決定交直流變換單位，由圖像譯碼步驟1003利用交直流變換單位判定步驟1002決定的交直流變換單位，就可以減少圖像譯碼部的處理量，并且，即使在實(shí)時(shí)內(nèi)的移動(dòng)圖像重放發(fā)生困難的情況下，也可以將移動(dòng)圖像的紊亂現(xiàn)象控制在最小限度下進(jìn)行重放。
實(shí)施形態(tài)4本發(fā)明的實(shí)施形態(tài)4在實(shí)施形態(tài)3的交直流變換單位判定步驟1002之后，圖像譯碼步驟1003之前具有圖像譯碼規(guī)則判定步驟1203。
圖12是本發(fā)明的實(shí)施形態(tài)4的移動(dòng)圖像譯碼裝置的流程圖。以下對實(shí)施形態(tài)的一系列的流程進(jìn)行說明。
通過作為圖12的圖像譯碼判定部的圖像譯碼判定步驟1201，判定圖像譯碼處理是否在規(guī)定時(shí)間內(nèi)完成。
通過作為直流變換單位判定部的交直流變換單位判定步驟1202，根據(jù)所述圖像譯碼判定步驟1201中的判定結(jié)果決定圖像譯碼步驟中的交直流變換處理單位。
接著，通過作為圖像譯碼規(guī)則判定部的圖像譯碼規(guī)則判定步驟1203，判定省略作為圖像譯碼部的圖像譯碼步驟1204的譯碼處理的規(guī)則。關(guān)于由圖像譯碼單位判定步驟1202判定出圖像譯碼處理難以在規(guī)定的時(shí)間完成的圖像數(shù)據(jù)，根據(jù)圖像譯碼規(guī)則判定步驟1203中的規(guī)則，省略圖像譯碼步驟1204的譯碼處理。
圖13是有規(guī)則地省略圖像譯碼處理的例子。
圖13是時(shí)刻(t-1)秒～(t+1)秒的宏數(shù)據(jù)塊。例如，在象方格花紋那樣有規(guī)則地省略圖像譯碼處理的情況下，在進(jìn)行t秒時(shí)間的圖像譯碼處理的情況下，只對宏數(shù)據(jù)塊B(1)、B(3)、B(5)、B(7)、B(9)實(shí)行圖像譯碼處理，對于宏數(shù)據(jù)塊B(2)、B(4)、B(6)、B(8)，則利用前時(shí)刻(t-1)秒的值。同樣，在進(jìn)行(t+1)秒的圖像譯碼處理的情況下，只有宏數(shù)據(jù)塊B(2)、B(4)、B(6)、B(8)實(shí)行圖像譯碼處理，對于宏數(shù)據(jù)塊B(1)、B(3)、B(5)、B(7)、B(9)，則利用前時(shí)刻t秒。這樣，通過有規(guī)則地省略圖像譯碼處理，可以削減圖像譯碼部的總體處理量。
而且，關(guān)于圖像譯碼處理的處理量的削減，也可以與實(shí)施形態(tài)3所述的削減交直流變換處理單位的方法一起，兩者一起采用。
這樣采用實(shí)施形態(tài)4，在圖像譯碼判定步驟1201中判定圖像譯碼處理是否在規(guī)定的時(shí)間內(nèi)完成，根據(jù)判定結(jié)果由交直流變換單位判定步驟1202判定交直流變換單位，在圖像譯碼規(guī)則判定步驟1203中有規(guī)則地省略圖像譯碼步驟1204的執(zhí)行，可以削減圖像譯碼步驟1204的總體處理量，也可以在實(shí)時(shí)移動(dòng)圖像重放發(fā)生困難的情況下將移動(dòng)圖像的紊亂控制在最小限度。
實(shí)施形態(tài)5本發(fā)明實(shí)施形態(tài)5在實(shí)施形態(tài)3的交直流變換單位判定步驟1002之后，圖像譯碼步驟1003之前具有移動(dòng)矢量判定步驟1403。
圖14是本發(fā)明實(shí)施形態(tài)5的移動(dòng)圖像譯碼裝置的流程圖。以下對實(shí)施形態(tài)的一系列流程進(jìn)行說明。
通過作為圖像譯碼判定部的圖像譯碼判定步驟1401，判定圖像譯碼處理是否在規(guī)定的時(shí)間內(nèi)完成。
通過作為直流變換單位判定部的交直流變換單位判定步驟1402，根據(jù)圖像譯碼判定步驟1401中的判定結(jié)果，決定作為圖像譯碼部的圖像譯碼步驟1404中的交直流變換處理單位。
接著，通過作為移動(dòng)矢量判定部的移動(dòng)矢量的判定步驟1403，判定每個(gè)宏數(shù)據(jù)塊的移動(dòng)矢量的值。關(guān)于圖像譯碼判定步驟1401判定為圖像譯碼處理難以在規(guī)定的時(shí)間內(nèi)完成的圖像數(shù)據(jù)，在移動(dòng)矢量判定步驟1403中被判定為移動(dòng)矢量小的宏數(shù)據(jù)塊，判斷為從前時(shí)刻開始的移動(dòng)小，省略在圖像譯碼步驟1404中的譯碼處理。
另一方面，在移動(dòng)矢量判定步驟1403中判定為移動(dòng)矢量大的宏數(shù)據(jù)塊判斷為從前時(shí)刻開始的移動(dòng)大，實(shí)行圖像譯碼步驟1404中的譯碼處理。
這里，將用宏數(shù)據(jù)塊單位省略圖像譯碼處理的例子示于圖15。
圖15表示時(shí)刻(t-1)秒～(t+1)秒的宏數(shù)據(jù)塊以及移動(dòng)矢量。在進(jìn)行時(shí)刻t秒的圖像譯碼處理的情況下，通過移動(dòng)矢量判定步驟1403判斷為宏數(shù)據(jù)塊B(1)、B(2)、B(3)、B(7)、B(9)的移動(dòng)矢量值在閾值以上，宏數(shù)據(jù)塊B(4)、B(5)、B(6)、B(8)的移動(dòng)矢量值在閾值以下的情況下，只有宏數(shù)據(jù)塊B(1)、B(2)、B(3)、B(7)、B(9)實(shí)行圖像譯碼步驟1404，對于宏數(shù)據(jù)塊B(4)、B(5)、B(6)、B(8)，則利用前時(shí)刻(t-1)秒的值。同樣，進(jìn)行(t+1)秒的圖像譯碼處理時(shí)，在通過移動(dòng)矢量判定步驟1403判斷出宏數(shù)據(jù)塊B(2)、B(4)、B(5)、B(7)、B(9)的移動(dòng)矢量值在閾值以上，宏數(shù)據(jù)塊B(1)、B(3)、B(6)、B(8)的移動(dòng)矢量值在閾值以下的情況下，只有宏數(shù)據(jù)塊B(2)、B(4)、B(5)、B(7)、B(9)實(shí)行圖像譯碼步驟1004，對于宏數(shù)據(jù)塊B(1)、B(3)、B(6)、B(8)，則利用前時(shí)刻(t)秒的值。
這樣，并非對全部宏數(shù)據(jù)塊實(shí)施圖像譯碼處理，在移動(dòng)矢量判定步驟1403中，被判定為移動(dòng)矢量小的宏數(shù)據(jù)塊，通過省略圖像譯碼處理并利用前時(shí)刻的數(shù)據(jù)，可以削減圖像譯碼部的總體處理量。
1405與實(shí)施形態(tài)4的顏色變換步驟1205相同。1406與實(shí)施形態(tài)4的圖像顯示步驟1206相同。
而且，對于圖像譯碼處理的處理量的削減，也可以與實(shí)施形態(tài)3中所述的削減交直流變換處理單位的方法一起，兩者一起使用。
如果這樣采用實(shí)施形態(tài)5，對于移動(dòng)矢量判定步驟1403中根據(jù)每個(gè)宏數(shù)據(jù)塊的移動(dòng)矢量推測為移動(dòng)小的宏數(shù)據(jù)塊，利用前時(shí)刻的數(shù)據(jù)，只對推測為移動(dòng)大的宏數(shù)據(jù)塊實(shí)施圖像譯碼處理，以此可以削減圖像譯碼步驟1404的總體處理量，也可以在實(shí)時(shí)移動(dòng)圖像重放發(fā)生困難的情況下將移動(dòng)圖像的紊亂控制在最小限度。
實(shí)施形態(tài)6本發(fā)明的實(shí)施形態(tài)6在圖像譯碼步驟之后、顏色變換步驟之前具有顏色變換實(shí)行判定步驟1603。
圖16是本發(fā)明的實(shí)施形態(tài)6的移動(dòng)圖像譯碼裝置的流程圖。以下對實(shí)施形態(tài)的一系列流程進(jìn)行說明。
作為圖16的顏色變換實(shí)行判定部的顏色變換實(shí)行判定步驟1603，根據(jù)圖像數(shù)據(jù)，判定是否實(shí)行或者省略作為顏色變換部的顏色變換步驟1604以及作為圖像顯示部的圖像顯示步驟1605。
作為顏色變換實(shí)行判定步驟1603中的判定方法，也可以將作為圖像譯碼判定部的圖像譯碼判定步驟1601中判定為基準(zhǔn)圖像數(shù)據(jù)的圖像數(shù)據(jù)作為省略顏色變換步驟1604以及圖像顯示步驟1605的對象。或者，即使是差分圖像數(shù)據(jù)，由于存在作為圖像譯碼部的圖像譯碼步驟1602的處理量大的情況，因此也可以根據(jù)圖像譯碼步驟1602的實(shí)行時(shí)間，省略顏色變換步驟1604以及圖像顯示步驟1605。圖17是圖像譯碼步驟1602、顏色變換步驟1604以及圖像顯示步驟1605的執(zhí)行時(shí)間的例子。
圖像譯碼步驟1602、顏色變換步驟1604以及圖像顯示步驟1605的一系列處理，必須從時(shí)刻ts開始，在時(shí)刻te完成。這里，圖像譯碼步驟1602的執(zhí)行時(shí)間對應(yīng)于圖像數(shù)據(jù)而發(fā)生變化，但是，顏色變換步驟1604以及圖像顯示步驟1605與圖像數(shù)據(jù)無關(guān)，每次大致需要相同執(zhí)行時(shí)間。因此，將圖像譯碼步驟1602的限制時(shí)間設(shè)定為圖像譯碼部限制時(shí)刻t1。如圖17所示，圖像譯碼步驟1602在限制時(shí)刻t1之前完成的情況下，實(shí)行顏色變換步驟1604以及圖像顯示步驟1605。
另一方面，如圖18所示，在完成圖像譯碼步驟1602的時(shí)點(diǎn)超過限制時(shí)刻t1的情況下，一旦實(shí)施顏色變換步驟1604以及圖像顯示步驟1605，有可能處理不能在時(shí)刻te之前完成，因此，在該情況下將省略顏色變換步驟1604以及圖像顯示步驟1605，并且不實(shí)行圖像顯示。
這樣，由于根據(jù)圖像譯碼步驟1602的執(zhí)行時(shí)間省略顏色變換步驟1604以及圖像顯示步驟1605，會(huì)暫時(shí)使圖像數(shù)據(jù)產(chǎn)生不連續(xù)，但是由于不承襲圖像譯碼步驟1602的處理延遲，因此可以在規(guī)定的時(shí)間內(nèi)顯示下一個(gè)圖像數(shù)據(jù)。
如果這樣采用實(shí)施形態(tài)6，通過在顏色變換實(shí)行判定步驟1603中判斷是否實(shí)行顏色變換處理以及圖像顯示，即使是在實(shí)時(shí)移動(dòng)圖像重放產(chǎn)生困難的情況下，也能夠?qū)⒁苿?dòng)圖像的紊亂控制在最小限度。
還有，在圖像譯碼步驟之后、顏色變換步驟之前具有顏色變換實(shí)行判定步驟1603的結(jié)構(gòu)，在實(shí)施形態(tài)3～實(shí)施形態(tài)5中的任一實(shí)施形態(tài)都同樣能夠?qū)嵤?br> 在以上的本發(fā)明中，采用軟件處理實(shí)行聲音圖像多路復(fù)用數(shù)據(jù)的重放的情況下，通過預(yù)先將預(yù)備圖像數(shù)據(jù)與圖像數(shù)據(jù)一起多路復(fù)用，可以將移動(dòng)圖像的譯碼處理在規(guī)定的時(shí)間內(nèi)不能完成時(shí)發(fā)生的聲音圖像的同步紊亂以及移動(dòng)圖像重放的紊亂控制在最小限度。另外，在圖像譯碼處理中，通過預(yù)先判定圖像譯碼處理是否在規(guī)定時(shí)間內(nèi)完成，根據(jù)判定結(jié)果削減圖像譯碼部的處理，可以實(shí)現(xiàn)移動(dòng)圖像數(shù)據(jù)的實(shí)時(shí)重放。
權(quán)利要求
1.一種聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，該裝置是將聲音數(shù)據(jù)和圖像數(shù)據(jù)多路復(fù)用的裝置，其特征在于，具備將輸入的聲音數(shù)據(jù)編碼的聲音編碼部(101)、將在所述聲音編碼部編碼的聲音數(shù)據(jù)加以存放的聲音數(shù)據(jù)存放部(105)、將輸入的圖像數(shù)據(jù)編碼的圖像編碼部(103)、將在所述圖像編碼部編碼的圖像數(shù)據(jù)加以存放的圖像數(shù)據(jù)存放部(107)、以與所述圖像編碼部不同的幀速率將圖像數(shù)據(jù)編碼的預(yù)備圖像編碼部(104)、將在所述預(yù)備圖像編碼部編碼的圖像數(shù)據(jù)加以存放的預(yù)備圖像數(shù)據(jù)存放部(108)、生成在重放被多路復(fù)用的數(shù)據(jù)時(shí)使聲音數(shù)據(jù)與圖像數(shù)據(jù)同步用的同步信息的同步信息生成部(102)、將在所述同步信息生成部生成的同步信息加以存放的同步信息存放部(106)、以及對存放于所述聲音數(shù)據(jù)存放部的聲音數(shù)據(jù)、存放于所述圖像數(shù)據(jù)存放部的圖像數(shù)據(jù)、存放于所述預(yù)備圖像數(shù)據(jù)存放部的預(yù)備圖像數(shù)據(jù)、在所述同步信息生成部生成的同步信息進(jìn)行多路復(fù)用的聲音圖像多路復(fù)用部(109)。
2.根據(jù)權(quán)利要求1記載的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，其特征在于，所述預(yù)備圖像編碼部(104)以比所述圖像編碼部的幀速率都小的幀速率對圖像數(shù)據(jù)進(jìn)行編碼。
3.根據(jù)權(quán)利要求1記載的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，其特征在于，所述預(yù)備圖像編碼部(104)不進(jìn)行基準(zhǔn)圖像數(shù)據(jù)的編碼，只進(jìn)行差分圖像數(shù)據(jù)的編碼。
4.根據(jù)權(quán)利要求1記載的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，其特征在于，所述聲音圖像多路復(fù)用部(109)與補(bǔ)充編碼處理的圖像數(shù)據(jù)連續(xù)地對補(bǔ)充編碼處理的所述預(yù)備圖像數(shù)據(jù)連續(xù)進(jìn)行多路復(fù)用。
5.根據(jù)權(quán)利要求1記載的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置，其特征在于，具有與所述聲音編碼部(701)相同的聲音輸入的預(yù)備聲音編碼部(702)、將在所述預(yù)備聲音編碼部(702)編碼的預(yù)備聲音數(shù)據(jù)加以存放的預(yù)備聲音數(shù)據(jù)存放部(707)，所述預(yù)備聲音編碼部(702)采用相比所述聲音編碼部(701)處理量小的簡易編碼，生成預(yù)備聲音數(shù)據(jù)。
6.一種聲音圖像多路復(fù)用數(shù)據(jù)重放裝置，是一種對聲音圖像數(shù)據(jù)多路復(fù)用后的數(shù)據(jù)解多路復(fù)用的裝置，其特征在于，具備將輸入的多路復(fù)用數(shù)據(jù)解多路復(fù)用為聲音數(shù)據(jù)、圖像數(shù)據(jù)、預(yù)備圖像數(shù)據(jù)、同步信息的聲音圖像解多路復(fù)用部(201)、將由所述聲音圖像解多路復(fù)用部解多路復(fù)用的聲音數(shù)據(jù)加以存放的聲音數(shù)據(jù)存放部(202)、將由所述聲音圖像解多路復(fù)用部解多路復(fù)用的圖像數(shù)據(jù)加以存放的圖像數(shù)據(jù)存放部(204)、將由所述聲音圖像解多路復(fù)用部解多路復(fù)用的預(yù)備圖像數(shù)據(jù)加以存放的預(yù)備圖像數(shù)據(jù)存放部(205)、將由所述聲音圖像解多路復(fù)用部解多路復(fù)用的同步信息加以存放的同步信息存放部(203)、對所述聲音數(shù)據(jù)進(jìn)行譯碼的聲音譯碼部(206)、選擇對所述圖像數(shù)據(jù)和所述預(yù)備圖像數(shù)據(jù)中的哪一個(gè)進(jìn)行譯碼的圖像選擇部(208)、對所述圖像選擇部選擇的圖像數(shù)據(jù)進(jìn)行譯碼的圖像譯碼部(209)、以及將所述同步信息復(fù)原，對所述聲音譯碼部、所述圖像選擇部以及圖像譯碼部實(shí)行控制，并將多路復(fù)用數(shù)據(jù)重放的同步控制部(207)。
7.根據(jù)權(quán)利要求6記載的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置，其特征在于，在所述同步控制部(207)發(fā)出圖像譯碼的要求時(shí)，所述圖像選擇部(208)在前面的圖像數(shù)據(jù)的譯碼完成的情況下，從圖像數(shù)據(jù)存放部選擇圖像數(shù)據(jù)，將所述圖像數(shù)據(jù)輸入圖像譯碼部(209)，進(jìn)行圖像譯碼。
8.根據(jù)權(quán)利要求6記載的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置，其特征在于，在所述同步控制部(207)發(fā)出圖像譯碼的要求時(shí)，所述圖像選擇部(208)在前面的圖像數(shù)據(jù)的譯碼沒有完成的情況下，從預(yù)備圖像數(shù)據(jù)存放部選擇預(yù)備圖像數(shù)據(jù)，將所述預(yù)備圖像數(shù)據(jù)輸入圖像譯碼部(209)，進(jìn)行圖像譯碼。
9.根據(jù)權(quán)利要求6記載的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置，其特征在于，具有將由所述聲音圖像解多路復(fù)用部(201＝901)解多路復(fù)用的預(yù)備聲音數(shù)據(jù)加以存放的預(yù)備聲音數(shù)據(jù)存放部(903)、以及選擇對所述聲音數(shù)據(jù)與所述預(yù)備聲音數(shù)據(jù)中的哪一個(gè)進(jìn)行譯碼的聲音選擇部(907)，所述聲音選擇部在所述同步控制部發(fā)出聲音譯碼要求時(shí)，在判斷為來不及進(jìn)行聲音數(shù)據(jù)的譯碼處理時(shí)，從預(yù)備聲音數(shù)據(jù)存放部中選擇預(yù)備聲音數(shù)據(jù)，將所述預(yù)備聲音數(shù)據(jù)輸入聲音譯碼部并進(jìn)行聲音譯碼。
10.一種移動(dòng)圖像譯碼裝置，是對移動(dòng)圖像數(shù)據(jù)進(jìn)行譯碼的裝置，其特征在于，具有判定圖像譯碼處理是否在規(guī)定時(shí)間內(nèi)完成的圖像譯碼判定部(步驟1001)、以宏數(shù)據(jù)塊(macroblock)單位對輸入的圖像數(shù)據(jù)進(jìn)行譯碼的圖像譯碼部(步驟1003)、對所述圖像譯碼部輸入的譯碼結(jié)果進(jìn)行顏色變換的顏色變換部(步驟1004)、以及顯示所述顏色變換部輸出的顏色變換結(jié)果的圖像顯示部(步驟1005)，所述圖像譯碼部根據(jù)所述圖像譯碼判定部的判斷結(jié)果按照規(guī)定的規(guī)則省略圖像譯碼處理，削減處理量。
11.根據(jù)權(quán)利要求10記載的移動(dòng)圖像譯碼裝置，其特征在于，在所述圖像譯碼判定部(步驟1201)之后，所述圖像譯碼部(步驟1203)之前具有交直流變換單位判定部(步驟1202)，在所述圖像譯碼判定部判定為圖像譯碼處理難以在規(guī)定時(shí)間內(nèi)完成的情況下，在所述交直流變換單位判定部(步驟1202)中將交直流變換的處理單位設(shè)定為小于通常值的值，并削減所述圖像譯碼部的處理。
12.根據(jù)權(quán)利要求10記載的移動(dòng)圖像譯碼裝置，其特征在于，在所述圖像譯碼判定部(步驟1201)之后，所述圖像譯碼部(步驟1204)之前具有圖像譯碼規(guī)則判定部(1203)，在所述圖像譯碼判定部判定為圖像譯碼處理難以在規(guī)定時(shí)間內(nèi)完成的情況下，依據(jù)與所述圖像譯碼規(guī)則判定部(1203)的判定相應(yīng)的規(guī)則，以宏數(shù)據(jù)塊單位省略譯碼處理，關(guān)于省略譯碼處理的宏數(shù)據(jù)塊，采用與前面的幀相同的值。
13.根據(jù)權(quán)利要求10記載的移動(dòng)圖像譯碼裝置，其特征在于，在所述在圖像譯碼判定部(步驟1401)之后，所述圖像譯碼部(步驟1404)之前，具備移動(dòng)矢量判定部(步驟1403)，在所述圖像譯碼判定部判定圖像譯碼處理難以在規(guī)定的時(shí)間內(nèi)完成的情況下，對于在所述移動(dòng)矢量判定部判定為移動(dòng)矢量小的宏數(shù)據(jù)塊，省略譯碼處理，對于在所述移動(dòng)矢量判定部判定為移動(dòng)矢量大的宏數(shù)據(jù)塊實(shí)行譯碼處理，關(guān)于省略譯碼處理的宏數(shù)據(jù)塊，采用與前面的幀相同的值。
14.根據(jù)權(quán)利要求10記載的移動(dòng)圖像譯碼裝置，其特征在于在所述圖像譯碼部(步驟1602)之后，所述顏色變換部(步驟1604)之前，具備顏色變換實(shí)行判定部(步驟1603)，對于在所述顏色變換實(shí)行判定部判定為實(shí)時(shí)重放困難的圖像數(shù)據(jù)，通過省略顏色變換部(步驟1604)以及圖像顯示部(1605)處理削減處理量。
15.根據(jù)權(quán)利要求6～9中的任意一項(xiàng)中記載的聲音圖像多路復(fù)用數(shù)據(jù)重放裝置，是一種對多路復(fù)用的數(shù)據(jù)進(jìn)行重放的裝置，其特征在于，對解多路復(fù)用的圖像數(shù)據(jù)進(jìn)行譯碼的情況下，使用權(quán)利要求10～權(quán)利要求14記載的任意一項(xiàng)的移動(dòng)圖像譯碼裝置。
16.一種聲音圖像多路復(fù)用數(shù)據(jù)生成重放系統(tǒng)，其特征在于，對聲音數(shù)據(jù)以及圖像數(shù)據(jù)進(jìn)行編碼，對其進(jìn)行多路復(fù)用，形成聲音圖像多路復(fù)用數(shù)據(jù)，對聲音圖像多路復(fù)用數(shù)據(jù)進(jìn)行重放時(shí)，在聲音圖像多路復(fù)用數(shù)據(jù)生成工序中，在圖像編碼部(103)對被輸入的圖像數(shù)據(jù)進(jìn)行編碼，同時(shí)在預(yù)備圖像編碼部(104)生成以不同于所述圖像編碼部的幀速率對圖像數(shù)據(jù)進(jìn)行編碼的預(yù)備圖像數(shù)據(jù)，生成對多路復(fù)用的數(shù)據(jù)進(jìn)行重放時(shí)使聲音數(shù)據(jù)與圖像數(shù)據(jù)同步用的同步信息，對聲音數(shù)據(jù)的編碼信號、在圖像編碼部(103)編碼的編碼信號、所述同步信號以及所述預(yù)備圖像數(shù)據(jù)進(jìn)行多路復(fù)用，在聲音圖像多路復(fù)用數(shù)據(jù)重放工序中，將聲音圖像多路復(fù)用數(shù)據(jù)生成工序中被多路復(fù)用的多路復(fù)用數(shù)據(jù)解多路復(fù)用(201)為聲音數(shù)據(jù)、圖像數(shù)據(jù)、同步信息、預(yù)備圖像數(shù)據(jù)。根據(jù)所述同步信息對實(shí)行對解多路復(fù)用的所述聲音數(shù)據(jù)的譯碼處理的聲音譯碼部(206)、以及實(shí)行對解多路復(fù)用的所述圖像的譯碼處理的圖像譯碼部(209)的各處理進(jìn)行控制，使重放聲音與重放圖像能夠同步輸出，在所述圖像譯碼部(209)的處理來不及的情況下，取代解多路復(fù)用的所述圖像數(shù)據(jù)，用所述圖像譯碼部(209)對預(yù)備圖像數(shù)據(jù)進(jìn)行譯碼，在所述圖像譯碼部(209)的處理在規(guī)定時(shí)間內(nèi)完成的時(shí)刻，取代所述預(yù)備圖像數(shù)據(jù)，在所述圖像譯碼部(209)對解多路復(fù)用的所述圖像數(shù)據(jù)進(jìn)行譯碼，恢復(fù)到原來幀速率的移動(dòng)圖像重放。
全文摘要
本發(fā)明的聲音圖像多路復(fù)用數(shù)據(jù)生成裝置以小于圖像數(shù)據(jù)的幀速率，將編碼的預(yù)備圖像數(shù)據(jù)經(jīng)預(yù)備圖像編碼部和預(yù)備圖像數(shù)據(jù)存放部，與聲音/圖像數(shù)據(jù)一起多路復(fù)用。聲音圖像多路復(fù)用數(shù)據(jù)重放裝置在圖像譯碼處理于規(guī)定時(shí)間內(nèi)沒有完成的情況下，進(jìn)行對預(yù)備圖像數(shù)據(jù)的譯碼，如果圖像譯碼處理來得及處理，則進(jìn)行通常的圖像數(shù)據(jù)的譯碼處理。這樣，通過預(yù)先對幀速率小的預(yù)備圖像數(shù)據(jù)進(jìn)行多路復(fù)用，能夠?qū)?shí)時(shí)重放發(fā)生困難時(shí)的圖像紊亂控制在最小限度，并恢復(fù)聲音/圖像數(shù)據(jù)的同步確立。
文檔編號H04N7/58GK1503571SQ20031011992
公開日2004年6月9日 申請日期2003年11月24日 優(yōu)先權(quán)日2002年11月22日
發(fā)明者八木順子, 舟橋和年, 西村憲吾, 風(fēng)間裕司, 司, 吾, 年 申請人:松下電器產(chǎn)業(yè)株式會(huì)社