專利名稱:防止在視頻序列中誤差傳播的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域:
本發(fā)明涉及轉(zhuǎn)發(fā)在解碼運(yùn)算的視頻圖像序列中的校正誤差的字段。
背景技術(shù):
隨著通信網(wǎng)絡(luò)(網(wǎng)絡(luò)結(jié)構(gòu))的發(fā)展,如因特網(wǎng)和廣泛接受的寬帶連接,客戶對(duì)能選擇并能通過(guò)通信網(wǎng)絡(luò)根據(jù)需求傳遞的視頻和音頻服務(wù)(例如,電視節(jié)目,電影,電視會(huì)議,無(wú)線電節(jié)目)有需求。由于帶寬限制和通常用于流媒體傳遞的通信網(wǎng)絡(luò)的沖擊性質(zhì),稱為媒體目標(biāo)或流音頻/視頻的視頻服務(wù)常常遇到質(zhì)量問(wèn)題。因此,流媒體傳遞系統(tǒng)的設(shè)計(jì)必須考慮用于傳遞媒體目標(biāo)的多媒體數(shù)字信號(hào)編解碼器(編碼器/解碼器程序),出現(xiàn)在傳遞的媒體目標(biāo)中的業(yè)務(wù)質(zhì)量(QoS)問(wèn)題,和在通信網(wǎng)絡(luò)上用于傳遞媒體目標(biāo)的信息的傳輸,如信號(hào)中傳遞的音頻和視頻數(shù)據(jù)。
多媒體數(shù)字信號(hào)編解碼器典型的通過(guò)軟件和硬件的組合實(shí)現(xiàn)。此系統(tǒng)用于編碼在通信網(wǎng)絡(luò)的發(fā)送終端表示媒體目標(biāo)的數(shù)據(jù),或解碼在通信網(wǎng)絡(luò)的接收器終端的數(shù)據(jù)。多媒體數(shù)字信號(hào)編解碼器的設(shè)計(jì)考慮包括如在網(wǎng)絡(luò)上的帶寬可縮放性,編碼/解碼數(shù)據(jù)的計(jì)算復(fù)雜性,網(wǎng)絡(luò)損失(數(shù)據(jù)的損失)的復(fù)原能力,和發(fā)送表示流媒體的數(shù)據(jù)的編碼器/解碼器等待時(shí)間。利用離散余弦變換(DCT)(例如,H.263+)和非DCT技術(shù)(例如,小波,整數(shù)變換,和分形)的共同使用的多媒體數(shù)字信號(hào)編解碼器是考慮那些上面詳細(xì)說(shuō)明的問(wèn)題的多媒體數(shù)字信號(hào)編解碼器的例子。因?yàn)橥ㄟ^(guò)通信網(wǎng)絡(luò)可用的有限的帶寬,多媒體數(shù)字信號(hào)編解碼器也用于壓縮和解壓縮數(shù)據(jù)。
通常使用的基于如MPEG-2(運(yùn)動(dòng)圖像標(biāo)準(zhǔn)組標(biāo)準(zhǔn)ISO/IEC13818-12000)和ITU-TH.264/MPEG AVC(ISO/IEC 14496-10)標(biāo)準(zhǔn)的多媒體數(shù)字信號(hào)編解碼器的視頻壓縮視頻數(shù)據(jù)為視頻圖像序列,或利用如已知技術(shù)的內(nèi)部-幀和中間-幀編碼的技術(shù)的圖像。當(dāng)執(zhí)行中間-幀編碼時(shí),各視頻圖像序列有至少一個(gè)參考圖像,使用其它視頻數(shù)據(jù)和根據(jù)選擇的視頻標(biāo)準(zhǔn)的編解技術(shù),參考圖像用作構(gòu)建在視頻序列中其它圖像的基礎(chǔ)。此外,視頻多媒體數(shù)字信號(hào)編解碼器使用稱為誤差隱蔽的技術(shù)掩蓋接收的視頻圖像的數(shù)據(jù)的誤差,其中使用來(lái)自參考圖像的數(shù)據(jù)隱蔽或代替在此視頻圖像中不合適的數(shù)據(jù)。
當(dāng)為了誤差隱蔽使用來(lái)自參考圖像的數(shù)據(jù)時(shí),參考圖像的數(shù)據(jù)本身可以是不完整的或被破壞的。因此,多媒體數(shù)字信號(hào)編解碼器可非故意地使用來(lái)自參考圖像的被破壞的數(shù)據(jù),產(chǎn)生在視頻圖像序列中的其它圖像,其中被破壞的數(shù)據(jù)在產(chǎn)生的圖像中引起進(jìn)一步的誤差傳播。因此,有在視頻圖像序列中最小化誤差傳播,同樣的最小化顯示的視頻圖像的不可靠的視頻多媒體數(shù)字信號(hào)編解碼器是理想的。
發(fā)明內(nèi)容
本發(fā)明的目的是提供一種構(gòu)建視頻圖像序列的方法。
當(dāng)使用誤差校正技術(shù)構(gòu)建視頻圖像時(shí),忽視預(yù)測(cè)在視頻序列中的視頻圖像的預(yù)測(cè)器圖像。本發(fā)明應(yīng)用來(lái)自序列中的其它圖像的信息為參考圖像,預(yù)測(cè)要構(gòu)建的視頻圖像。其它圖像表示預(yù)測(cè)視頻圖像的至少一個(gè)區(qū)域的參考圖像。
圖1是根據(jù)本發(fā)明的原理工作的數(shù)字視頻接收系統(tǒng)范例的框圖;圖2是根據(jù)說(shuō)明的本發(fā)明實(shí)施例的視頻圖像序列;圖3是根據(jù)說(shuō)明的本發(fā)明實(shí)施例的視頻圖像序列;圖4是說(shuō)明從表示視頻解碼運(yùn)算的視頻圖像序列的數(shù)據(jù)構(gòu)建視頻圖像的框圖。
具體實(shí)施例方式
如這里使用的,編碼和隨后發(fā)送的有關(guān)數(shù)據(jù)的多媒體表示媒體目標(biāo)。關(guān)于描述編碼的音頻/視頻數(shù)據(jù)的前或后,貫穿本發(fā)明的正文也同義的使用術(shù)語(yǔ)信息和數(shù)據(jù)。術(shù)語(yǔ)媒體目標(biāo)包括音頻,視頻,文本,多媒體數(shù)據(jù)文件,和流媒體文件。多媒體文件包括任何文本,圖像,視頻和音頻數(shù)據(jù)的組合。流媒體包括音頻,視頻,多媒體,文本,和交互式的數(shù)據(jù)文件,它們通過(guò)因特網(wǎng)或其它通信網(wǎng)絡(luò)環(huán)境傳遞到用戶的設(shè)備,并在完成整個(gè)文件的傳遞前在用戶的計(jì)算機(jī)/設(shè)備上開(kāi)始播放。流媒體的一個(gè)優(yōu)點(diǎn)是在下載整個(gè)文件前開(kāi)始播放流媒體文件,節(jié)省用戶長(zhǎng)時(shí)間的等待典型地與下載整個(gè)文件有關(guān)。數(shù)字記錄的音樂(lè),電影,電影預(yù)告片,新聞報(bào)道,無(wú)線電廣播和實(shí)況轉(zhuǎn)播都貢獻(xiàn)給全球網(wǎng)增加的流內(nèi)容。此外,通過(guò)使用高帶寬連接如電纜,DSL,T1線和無(wú)線網(wǎng)絡(luò)(例如,基于蜂窩網(wǎng)絡(luò)的2.5G或3G),通信網(wǎng)絡(luò)費(fèi)用的降低提供因特網(wǎng)用戶對(duì)來(lái)自新聞組織,好萊塢攝影棚,獨(dú)立制片人,錄音標(biāo)記,甚至家庭用戶本身的流媒體內(nèi)容更快速的接入。此外,術(shù)語(yǔ)視頻解碼和構(gòu)建是從視頻數(shù)據(jù)建立或產(chǎn)生視頻圖像的如塊的區(qū)域相似的術(shù)語(yǔ)。
參考圖1,顯示本發(fā)明的原理工作的數(shù)字視頻接收系統(tǒng)范例的框圖。視頻接收器系統(tǒng)包括天線10和輸入處理器15,用于接收和數(shù)字化具有攜帶音頻,視頻和關(guān)聯(lián)的數(shù)據(jù)調(diào)制的廣播載波信號(hào),解調(diào)器20,用于接收和解調(diào)來(lái)自輸入處理器15的數(shù)字輸出信號(hào),解碼器30輸出網(wǎng)格解碼的信號(hào),映射成為字節(jié)長(zhǎng)度數(shù)據(jù)段,解-隔行掃描,和校正的Reed-Solomon誤差。來(lái)自解碼器30的校正的輸出數(shù)據(jù)是MPEG格式,兼容包含代表多路復(fù)用的音頻,視頻,和數(shù)據(jù)分量的節(jié)目的傳輸數(shù)據(jù)流。視頻接收器系統(tǒng)還包括通信接口80,它可由電話線,以太網(wǎng),電纜等連接到服務(wù)器83或連接服務(wù)器87,因此,視頻接收器系統(tǒng)在電話線上可接收各種格式(例如,MPEG,HTML,和/或JAVA)的數(shù)據(jù)。
處理器25處理從解碼器30和/或調(diào)制解調(diào)器80輸出的數(shù)據(jù),因此根據(jù)由用戶通過(guò)遠(yuǎn)程控制單元125輸入的請(qǐng)求,處理的數(shù)據(jù)可在顯示單元75上顯示或存儲(chǔ)在存儲(chǔ)介質(zhì)105中。更特別的是,處理器25包括控制器115,它解釋從遠(yuǎn)程控制單元125通過(guò)遠(yuǎn)程單元接口120接收的請(qǐng)求,并適當(dāng)?shù)呐渲锰幚砥?5的元件實(shí)現(xiàn)用戶的請(qǐng)求(例如,信道,全球網(wǎng)網(wǎng)頁(yè),和/或屏幕顯示(OSD))。在一個(gè)范例的模式中,控制器115配置處理器25的元件提供MPEG解碼的數(shù)據(jù)和顯示在顯示單元75上的OSD。在另一個(gè)范例的模式中,控制器115配置處理器25的元件提供MPEG兼容數(shù)據(jù)流,通過(guò)存儲(chǔ)設(shè)備90和存儲(chǔ)接口95存儲(chǔ)在存儲(chǔ)介質(zhì)105上。在另一個(gè)范例的模式中,控制器115配置其它的通信模式的處理器25的元件,如通過(guò)服務(wù)器83或連接服務(wù)器87接收雙向的通信(例如因特網(wǎng))。
處理器25包括解碼PID選擇單元45,它識(shí)別并將在傳輸?shù)臄?shù)據(jù)流中選擇的數(shù)據(jù)包從解碼器30路由到傳輸解碼器55。從解碼器30傳輸?shù)臄?shù)據(jù)流被多路復(fù)用為音頻,視頻,和傳輸解碼器55的數(shù)據(jù)分量,并由處理器25的其它元件進(jìn)一步處理,如下面進(jìn)一步詳細(xì)描述的。
提供給處理器25的傳輸數(shù)據(jù)流包括數(shù)據(jù)包,它包含節(jié)目信道數(shù)據(jù),輔助的系統(tǒng)時(shí)序信息,節(jié)目特殊信息,如節(jié)目?jī)?nèi)容等級(jí),節(jié)目特征屏幕高寬比,和節(jié)目指南信息。傳輸解碼器55引導(dǎo)輔助信息數(shù)據(jù)包到控制器115,它解析,核對(duì),和匯編輔助信息為分層排列的表格。使用匯編的節(jié)目特殊信息,識(shí)別和匯編包括用戶選擇的節(jié)目信道的單個(gè)數(shù)據(jù)包。系統(tǒng)時(shí)序信息包括時(shí)間參考指示和關(guān)聯(lián)的校正數(shù)據(jù)(例如,夏時(shí)制指示和調(diào)整時(shí)間漂移,閏年等的偏移信息)。對(duì)解碼器轉(zhuǎn)換時(shí)間參考指示為建立一天的時(shí)間和由節(jié)目的播送設(shè)備進(jìn)一步傳輸節(jié)目的日期的時(shí)鐘(例如,美國(guó)東海岸時(shí)間和日期),此時(shí)序信息是足夠的。對(duì)初始化調(diào)度節(jié)目處理功能如節(jié)目播放,節(jié)目記錄,節(jié)目重放,該時(shí)鐘是有用的。此外,節(jié)目特殊信息包括有條件的接入,網(wǎng)絡(luò)信息,和身份識(shí)別,和鏈接能使圖1的系統(tǒng)調(diào)整到理想的信道的數(shù)據(jù),并匯編數(shù)據(jù)包形成完全的節(jié)目。
傳輸解碼器55對(duì)MPEG解碼器65提供MPEG兼容的視頻,音頻,和子-圖像流。視頻和音頻流包含表示選擇的信道節(jié)目?jī)?nèi)容的壓縮的視頻和音頻數(shù)據(jù)。子-圖像數(shù)據(jù)包含有關(guān)信道節(jié)目?jī)?nèi)容的信息,如等級(jí)信息,節(jié)目描述信息等。
MPEG解碼器65與隨機(jī)存儲(chǔ)器(RAM)67合作,解碼和解壓縮來(lái)自單元55的MPEG兼容的數(shù)據(jù)包化的視頻和音頻數(shù)據(jù),并提供解壓縮代表象元數(shù)據(jù)的節(jié)目到顯示處理器70,以便形成視頻圖像序列和對(duì)應(yīng)于此視頻圖像的部分。解碼器65也匯編,核對(duì)和解譯來(lái)自單元55的子-圖像,產(chǎn)生輸出到內(nèi)部OSD模塊(沒(méi)有顯示)的格式化的節(jié)目指南數(shù)據(jù)。OSD模塊與RAM67合作處理子-圖像數(shù)據(jù)和其它信息,產(chǎn)生表示子題目,控制的象元映射數(shù)據(jù),信息菜單顯示包括出現(xiàn)在顯示設(shè)備75上的可選擇的菜單選項(xiàng)和其它項(xiàng)目。顯示的控制和信息菜單使得用戶能選擇要看的節(jié)目,安排將來(lái)的節(jié)目處理功能,包括調(diào)整接收選擇的要看的節(jié)目,在存儲(chǔ)介質(zhì)105上記錄節(jié)目,從介質(zhì)105重放節(jié)目。
在控制器115的控制下,以重疊象元映射數(shù)據(jù)的格式產(chǎn)生控制和包括由OSD模塊(沒(méi)有顯示)生成的文本和圖形的信息顯示。在控制器115的控制下,來(lái)自O(shè)SD模塊的重疊象元映射數(shù)據(jù)與來(lái)自MPEG解碼器65的數(shù)據(jù)表示的解壓縮象元組合和同步。表示在選擇的信道上的視頻節(jié)目的組合象元映射數(shù)據(jù)與關(guān)聯(lián)的子-圖像數(shù)據(jù)一起由顯示處理器70編碼并輸出到設(shè)備75顯示。
本發(fā)明的原理可用于陸地,電纜,衛(wèi)星,DSL,因特網(wǎng)或計(jì)算機(jī)網(wǎng)絡(luò)廣播系統(tǒng),在其中可以改變編碼類型或調(diào)制格式。例如,此系統(tǒng)可包括非-MPEG兼容系統(tǒng),涉及其它類型的編碼數(shù)據(jù)流和輸送節(jié)目特殊信息的其它方法。此外,雖然描述公開(kāi)的系統(tǒng)為處理視頻數(shù)據(jù),視頻數(shù)據(jù)處理為視頻圖像序列,這僅是范例。圖1的結(jié)構(gòu)不是唯一的。根據(jù)本發(fā)明的原理可導(dǎo)出其它的結(jié)構(gòu)完成同樣的目標(biāo)。
雖然意識(shí)到本發(fā)明的概念用于其它的視頻編碼標(biāo)準(zhǔn),但使用視頻編碼標(biāo)準(zhǔn)為MPEG-2的I,B和P圖像描述本發(fā)明優(yōu)選的實(shí)施例。如在圖2中顯示的,視頻圖像序列200包括表示I或P圖像的圖像205,圖像210是P圖像,圖像215表示P或B圖像。圖像215是在視頻圖像序列中的當(dāng)前圖像,其中從來(lái)自圖像210的信息預(yù)測(cè)圖像215。此預(yù)測(cè)使用預(yù)測(cè)區(qū)域(如來(lái)自一個(gè)圖像的塊/區(qū)域)預(yù)測(cè)性的構(gòu)建對(duì)應(yīng)于視頻圖像序列的第二圖像的塊。
示出了用X2表示的圖像215的塊選擇,其中,如已知的技術(shù)一樣,利用對(duì)應(yīng)于X2的運(yùn)動(dòng)矢量從來(lái)自圖像210的區(qū)域構(gòu)建此區(qū)域。當(dāng)接收到表示圖像210的視頻數(shù)據(jù)時(shí),視頻數(shù)據(jù)包含誤差,其中應(yīng)用誤差隱蔽技術(shù)刪除此誤差。不同的誤差隱蔽和誤差校正技術(shù)是已知的技術(shù),該技術(shù)可在信號(hào)處理圖像通信10(1997)249-268頁(yè)發(fā)表的Huifang Sun等寫(xiě)的論文“解碼MPEG壓縮的視頻的誤差隱蔽算法”中找到。在本例子中,考慮到至少一個(gè)誤差隱蔽技術(shù),在圖像210中包含X1的塊是構(gòu)建的塊。
本發(fā)明引入產(chǎn)生誤差映射的概念,誤差映射存儲(chǔ)在保持塊的軌跡,和接收的有誤差視頻圖像的段的存儲(chǔ)器中。當(dāng)使用誤差隱蔽技術(shù)構(gòu)建圖像210時(shí),在此映射中表示由誤差隱蔽技術(shù)調(diào)整的塊。映射可作為陣列存在,其中,誤差校正的/隱蔽的塊用它們?cè)趫D像中的坐標(biāo)如(i,j)和在視頻圖像序列中圖像的次序數(shù)存儲(chǔ)在解碼器65中。對(duì)本領(lǐng)域的技術(shù)人員知道存儲(chǔ)此誤差映射信息的其它實(shí)現(xiàn)方法。
當(dāng)構(gòu)建圖像215時(shí),查閱映射,考慮到預(yù)測(cè)區(qū)域(例如塊)是在圖像210中前面誤差隱蔽的,做出當(dāng)前構(gòu)建的塊是否是預(yù)測(cè)性構(gòu)建的決定。如果塊區(qū)域是從圖像210前面誤差隱蔽的,如用塊Y1表示的,使用來(lái)自另一視頻圖像的如圖像205的信息構(gòu)建圖像215受到影響的塊。因此,構(gòu)建在圖像215中用X2表示的塊的信息使用來(lái)自圖像205中用Y0表示的塊區(qū)域的信息作為預(yù)測(cè)塊而不是來(lái)自圖像210的Y1。對(duì)于本發(fā)明的目的,在此公開(kāi)中描述的能用作預(yù)測(cè)區(qū)域的圖像的區(qū)域可以取實(shí)現(xiàn)本發(fā)明的原理要求的塊,宏塊,圓圈,或任何其它的多邊形的形式。
在本發(fā)明中,在圖像210中用X2表示的塊表示考慮到誤差隱蔽技術(shù)構(gòu)建的區(qū)域,其中,指出此誤差的信息記錄在誤差映射中。
當(dāng)考慮到對(duì)應(yīng)的運(yùn)動(dòng)矢量構(gòu)建塊時(shí),本發(fā)明的實(shí)施例考慮所用假設(shè)的預(yù)測(cè)塊是否構(gòu)建性的預(yù)測(cè)構(gòu)建的塊受到誤差隱蔽運(yùn)算的影響。例如,在圖像215中塊X2有對(duì)應(yīng)的運(yùn)動(dòng)矢量,其中,考慮到運(yùn)動(dòng)矢量和圖像210的預(yù)測(cè)器塊X1產(chǎn)生假設(shè)的塊X2。本發(fā)明查閱誤差映射,以決定圖像210的塊X1是否由使用誤差隱蔽運(yùn)算構(gòu)建。如果此情況是真,本發(fā)明利用來(lái)自塊X0的信息和運(yùn)動(dòng)矢量構(gòu)建塊X2。如果此情況不是真,本發(fā)明使用來(lái)自圖像210的信息構(gòu)建塊X2。在本發(fā)明的優(yōu)選實(shí)施例中,對(duì)應(yīng)于塊的運(yùn)動(dòng)矢量(例如,X2)相對(duì)于要構(gòu)建的塊(X2)的距離換算,使用來(lái)自參考圖像的塊(X0)修改運(yùn)動(dòng)矢量。根據(jù)本發(fā)明的原理可使用換算此運(yùn)動(dòng)矢量的任何其它方法。術(shù)語(yǔ)“距離”從MPEG-2是已知的,以便描述在圖像序列中兩個(gè)圖像之間的相對(duì)時(shí)間參考值。
在本發(fā)明的可選擇的實(shí)施例中,如果當(dāng)構(gòu)建此參考圖像時(shí)超過(guò)對(duì)應(yīng)誤差數(shù)的預(yù)先確定的數(shù),本發(fā)明排除使用作為參考圖像的圖像。因此,在本發(fā)明中,如果圖像210包括考慮到誤差隱蔽技術(shù)產(chǎn)生的塊數(shù),圖像215的構(gòu)建利用來(lái)自圖像205的視頻信息作為預(yù)測(cè)器區(qū)域而不是假設(shè)使用的來(lái)自圖像210的預(yù)測(cè)區(qū)域。
本發(fā)明也可選擇的使用圖像205和210作為圖像215的參考圖像,如現(xiàn)有技術(shù)已知的試驗(yàn),當(dāng)構(gòu)建對(duì)應(yīng)圖像215的塊時(shí),使用邊緣-平滑試驗(yàn)確定哪個(gè)參考圖像產(chǎn)生較好的結(jié)果。有較好結(jié)果的參考圖像用作構(gòu)建圖像215的塊的基礎(chǔ)。
當(dāng)使用權(quán)重因子互相構(gòu)建圖像時(shí),考慮到誤差隱蔽的圖像和要構(gòu)建的圖像之間與選擇的參考圖像和要構(gòu)建的圖像的相對(duì)距離,本發(fā)明可換算此權(quán)重因子。在本發(fā)明說(shuō)明的實(shí)施例中,圖像210使用誤差隱蔽技術(shù)構(gòu)建圖像。因此,當(dāng)產(chǎn)生圖像215時(shí),基于圖像215和圖像210之間的相對(duì)距離與從圖像205(用作參考圖像,因?yàn)閳D像210有誤差)到圖像215的距離的比較,使用和換算圖像210的權(quán)重因子。
當(dāng)實(shí)現(xiàn)雙預(yù)測(cè)編碼運(yùn)算構(gòu)建視頻圖像時(shí),使用本發(fā)明的原理。參考圖3,視頻圖像序列300呈現(xiàn)是I,P或B圖像的圖像305和315,圖像310是B圖像。在本例子中,使用來(lái)自圖像305和315的信息構(gòu)建圖像310。在使用誤差隱蔽技術(shù)構(gòu)建圖像305的區(qū)域的情況中(在圖像305中的塊A1),本發(fā)明利用來(lái)自圖像315的信息為參考圖像(塊A3)預(yù)測(cè)圖像310的可應(yīng)用的區(qū)域(塊A2)。當(dāng)使用誤差隱蔽技術(shù)構(gòu)建圖像315時(shí),本發(fā)明的實(shí)施例的原理也應(yīng)用到使用圖像305預(yù)測(cè)圖像310的地方。考慮到圖像305,不是圖像315,在此情況中本發(fā)明預(yù)測(cè)的構(gòu)建圖像310的塊。
本發(fā)明可選擇的實(shí)施例存在為從視頻圖像的其它圖像序列構(gòu)建雙預(yù)測(cè)的圖像。參考圖3,圖像305有使用誤差隱蔽技術(shù)構(gòu)建的圖像的區(qū)域。圖像305的塊C1是誤差隱蔽運(yùn)算影響的圖像的區(qū)域。當(dāng)構(gòu)建圖像310時(shí),在圖像302是I,P或B圖像的任一個(gè)的情況中,從本發(fā)明說(shuō)明的實(shí)施例使用來(lái)自圖像305前的前面的圖像的信息。因此,考慮到來(lái)自圖像302的塊C0,并使用來(lái)自圖像305和來(lái)自塊C3的通常的預(yù)測(cè)器,調(diào)整對(duì)應(yīng)塊C2的運(yùn)動(dòng)矢量,平均兩個(gè)預(yù)測(cè)器構(gòu)建雙預(yù)測(cè)圖像310的塊C2。
當(dāng)在兩個(gè)列出的構(gòu)建B型圖像的實(shí)施例之間選定時(shí),可考慮圖像305和315兩者的權(quán)重因子來(lái)決定哪個(gè)技術(shù)產(chǎn)生較好的結(jié)果。如果圖像315的權(quán)重因子大于圖像305的權(quán)重因子,單獨(dú)使用來(lái)自圖像315對(duì)應(yīng)的塊作為產(chǎn)生圖像310的對(duì)應(yīng)塊的預(yù)測(cè)的塊。否則,使用圖像302的對(duì)應(yīng)塊雙預(yù)測(cè)地構(gòu)建圖像310而不是用適當(dāng)換算正常使用圖像315的對(duì)應(yīng)的塊的權(quán)重因子的圖像305。
圖4顯示如上面描述的從表示視頻圖像序列的數(shù)據(jù)構(gòu)建視頻圖像的實(shí)施例的框圖。由解碼器65執(zhí)行步驟405,確定用于構(gòu)建對(duì)應(yīng)視頻圖像的塊的對(duì)應(yīng)預(yù)測(cè)圖像(如塊)的區(qū)域是否由使用誤差隱蔽或誤差校正技術(shù)構(gòu)建。例如,解碼器65可使用上面描述的誤差映射獲得此運(yùn)算,雖然可使用上面描述的任何技術(shù)。在此范例中考慮構(gòu)建的塊可以有不是方的形狀,例如,根據(jù)構(gòu)建此塊的視頻標(biāo)準(zhǔn)的要求,實(shí)際上,塊可以是矩形,圓形,或任何其它類型的多邊形。例如,當(dāng)構(gòu)建此區(qū)域時(shí),通常產(chǎn)生圖像215對(duì)應(yīng)塊(作為預(yù)測(cè)器區(qū)域)的圖像210的區(qū)域要求誤差隱蔽。
如果真,那么步驟410,解碼器65從用作為參考圖像的視頻圖像序列選擇圖像,以便預(yù)測(cè)地構(gòu)建對(duì)應(yīng)視頻圖像的塊。為了預(yù)測(cè)地構(gòu)建塊,這也可以有本發(fā)明在視頻圖像前或后選擇圖像。根據(jù)上面描述的實(shí)施例可做此確定。在本范例中,選擇圖像205作為可選擇的圖像,并從可選擇的圖像選擇可選擇的預(yù)測(cè)器區(qū)域。
通過(guò)使用對(duì)應(yīng)參考圖像的視頻數(shù)據(jù)代替使用誤差隱蔽/校正運(yùn)算構(gòu)建的預(yù)測(cè)圖像的區(qū)域,步驟415是實(shí)際地構(gòu)建對(duì)應(yīng)視頻圖像的塊。因此,解碼器65使用區(qū)域如來(lái)自參考圖像的塊作為可選擇的預(yù)測(cè)器區(qū)域構(gòu)建對(duì)應(yīng)視頻圖像的區(qū)域而不使用預(yù)測(cè)圖像的區(qū)域。完成本范例時(shí),使用圖像205的區(qū)域預(yù)測(cè)地構(gòu)建對(duì)應(yīng)視頻圖像的塊而不使用來(lái)自校正了誤差的圖像210的區(qū)域。如果圖像是雙預(yù)測(cè)編碼的,根據(jù)上面描述的原理,第二可選擇的圖像可用在預(yù)測(cè)解碼處理中。
本發(fā)明可嵌入計(jì)算機(jī)實(shí)現(xiàn)的過(guò)程和實(shí)踐那些過(guò)程的設(shè)備。本發(fā)明也可用嵌入計(jì)算機(jī)程序代碼的形式嵌入在有形介質(zhì)中,如軟盤(pán),只讀存儲(chǔ)器(ROM),CD-ROM,硬驅(qū)動(dòng),高密度盤(pán),或任何其它計(jì)算機(jī)可讀的存儲(chǔ)介質(zhì)。其中,當(dāng)裝入計(jì)算機(jī)程序代碼并由計(jì)算機(jī)執(zhí)行時(shí),計(jì)算機(jī)成為實(shí)踐本發(fā)明的設(shè)備。本發(fā)明也可嵌入計(jì)算機(jī)程序代碼的形式,例如,不管存儲(chǔ)在存儲(chǔ)介質(zhì)中,裝入和/或由計(jì)算機(jī)執(zhí)行,或在一些傳輸介質(zhì)上傳輸,如在電線或電纜上,通過(guò)光纖,或通過(guò)電磁輻射,其中,當(dāng)裝入計(jì)算機(jī)程序代碼并由計(jì)算機(jī)執(zhí)行時(shí),計(jì)算機(jī)成為實(shí)踐本發(fā)明的設(shè)備。當(dāng)在一般用途的處理器上實(shí)現(xiàn)時(shí),計(jì)算機(jī)程序代碼分段配置處理器,以建立特殊的邏輯電路。
權(quán)利要求
1.一種從表示視頻圖像序列的視頻數(shù)據(jù)構(gòu)建視頻圖像塊的方法,包括步驟確定(405)使用誤差校正構(gòu)建的可預(yù)測(cè)圖像的至少一個(gè)區(qū)域;選擇(410)來(lái)自視頻圖像序列的可選擇的圖像作為參考圖像,預(yù)測(cè)地構(gòu)建塊;使用對(duì)應(yīng)參考圖像的數(shù)據(jù)代替使用誤差校正構(gòu)建的可預(yù)測(cè)的圖像的至少一個(gè)區(qū)域構(gòu)建視頻塊,以便預(yù)測(cè)地構(gòu)建視頻塊。
2.根據(jù)權(quán)利要求1所述的方法,其特征在于至少一個(gè)區(qū)域?qū)?yīng)至少塊、宏塊和多邊形中的一個(gè)。
3.根據(jù)權(quán)利要求1所述的方法,其特征在于所述確定步驟使用誤差映射,確定由誤差校正構(gòu)建的可預(yù)測(cè)圖像的至少一個(gè)區(qū)域。
4.根據(jù)權(quán)利要求3所述的方法,其特征在于所述構(gòu)建步驟,通過(guò)使用來(lái)自代替圖像的塊的信息并考慮來(lái)自代替圖像的塊換算運(yùn)動(dòng)矢量,修改對(duì)應(yīng)視頻圖像的塊的運(yùn)動(dòng)矢量。
5.根據(jù)權(quán)利要求1所述的方法,其特征在于所述構(gòu)建步驟使用來(lái)自參考圖像的塊代替來(lái)自考慮到誤差校正構(gòu)建的預(yù)測(cè)的圖像的塊;使用來(lái)自參考圖像的塊作為構(gòu)建視頻圖像的塊的預(yù)測(cè)運(yùn)算的基礎(chǔ)。
6.根據(jù)權(quán)利要求5所述的方法,其特征在于所述預(yù)測(cè)運(yùn)算關(guān)聯(lián)來(lái)自從B圖像,P圖像和I圖像中的至少一個(gè)選擇的參考圖像構(gòu)建的B圖像。
7.根據(jù)權(quán)利要求1所述的方法,其特征在于所述參考圖像順序地位于視頻圖像序列中的預(yù)測(cè)圖像前。
8.根據(jù)權(quán)利要求7所述的方法,其特征在于所述構(gòu)建步驟使用來(lái)自代替圖像的塊的信息和換算的運(yùn)動(dòng)矢量修改對(duì)應(yīng)視頻圖像的塊的運(yùn)動(dòng)矢量,根據(jù)視頻圖像和利用在圖像序列中的對(duì)應(yīng)圖像的相對(duì)時(shí)間參考值的參考圖像之間的距離,由運(yùn)算運(yùn)動(dòng)矢量確定運(yùn)動(dòng)矢量。
9.根據(jù)權(quán)利要求1所述的方法,其特征在于當(dāng)確定的誤差數(shù)超過(guò)誤差校正預(yù)測(cè)圖像時(shí),使用來(lái)自參考圖像的區(qū)域作為構(gòu)建視頻圖像的預(yù)測(cè)器。
10.根據(jù)權(quán)利要求1所述的方法,其特征在于還包括使用構(gòu)建視頻圖像的參考圖像的試驗(yàn)結(jié)果和使用構(gòu)建視頻圖像的預(yù)測(cè)圖像的試驗(yàn)結(jié)果,執(zhí)行邊緣-平滑試驗(yàn);考慮來(lái)自邊緣-平滑試驗(yàn)的結(jié)果,在預(yù)測(cè)圖像和參考圖像之間選擇。
11.根據(jù)權(quán)利要求1所述的方法,其特征在于所述構(gòu)建步驟使用權(quán)重因子預(yù)測(cè)性地構(gòu)建視頻圖像,從對(duì)應(yīng)預(yù)測(cè)的圖像的權(quán)重因子改變權(quán)重因子,以改變對(duì)應(yīng)參考圖像的權(quán)重因子。
12.根據(jù)權(quán)利要求1所述的方法,其特征在于所述構(gòu)建步驟使用權(quán)重因子預(yù)測(cè)性地構(gòu)建視頻圖像,從對(duì)應(yīng)預(yù)測(cè)的圖像的權(quán)重因子計(jì)算權(quán)重因子,并基于以下內(nèi)容換算權(quán)重因子預(yù)測(cè)的圖像和在視頻圖像序列中的視頻圖像之間的相對(duì)距離到參考圖像和在視頻圖像序列中的視頻圖像之間的相對(duì)距離。
13.根據(jù)權(quán)利要求1所述的方法,其特征在于視頻圖像是使用來(lái)自參考圖像和預(yù)測(cè)的圖像的數(shù)據(jù)雙預(yù)測(cè)性地編碼圖像;對(duì)應(yīng)視頻圖像的塊的構(gòu)建步驟是使用來(lái)自參考圖像的數(shù)據(jù)代替來(lái)自預(yù)測(cè)圖像的數(shù)據(jù)的解碼運(yùn)算。
14.根據(jù)權(quán)利要求1所述的方法,其特征在于視頻圖像是使用來(lái)自參考圖像和預(yù)測(cè)圖像雙預(yù)測(cè)性地編碼的圖像;構(gòu)建的塊有對(duì)應(yīng)它自己的運(yùn)動(dòng)矢量,其中,使用有運(yùn)動(dòng)矢量的預(yù)測(cè)圖像的區(qū)域構(gòu)建塊;使用來(lái)自第二可選擇的圖像的區(qū)域,調(diào)整對(duì)應(yīng)要構(gòu)建的塊的運(yùn)動(dòng)矢量;使用來(lái)自參考圖像的表示預(yù)測(cè)器區(qū)域的數(shù)據(jù)和調(diào)整的運(yùn)動(dòng)矢量,預(yù)測(cè)性地構(gòu)建要構(gòu)建的塊。
15.一種從表示用于解碼運(yùn)算的視頻圖像序列的視頻數(shù)據(jù)構(gòu)建對(duì)應(yīng)視頻圖像的塊的設(shè)備,包括裝置,用于確定(405)使用誤差校正構(gòu)建的預(yù)測(cè)圖像的至少一個(gè)區(qū)域,其中,此區(qū)域?qū)⒂米鳛闃?gòu)建對(duì)應(yīng)視頻圖像的塊的預(yù)測(cè)區(qū)域;裝置,從視頻圖像序列選擇可選擇的圖像為參考圖像(410),預(yù)測(cè)性地構(gòu)建塊;裝置,使用對(duì)應(yīng)參考圖像的數(shù)據(jù)代替使用誤差校正構(gòu)建的預(yù)測(cè)的圖像的至少一個(gè)區(qū)域,預(yù)測(cè)性地構(gòu)建視頻塊(415)。
全文摘要
公開(kāi)了一種構(gòu)建視頻圖像序列的方法。當(dāng)使用誤差校正技術(shù)構(gòu)建預(yù)測(cè)區(qū)域時(shí),忽略視頻圖像區(qū)域,這是假設(shè)用作為預(yù)測(cè)器構(gòu)建對(duì)應(yīng)在視頻序列中的第二圖像(405)。本發(fā)明應(yīng)用對(duì)應(yīng)來(lái)自視頻序列中的作為選擇的圖像的區(qū)域的信息為預(yù)測(cè)區(qū)域的替代(410)。此替代的信息用作根據(jù)視頻解碼運(yùn)算預(yù)測(cè)性的構(gòu)建塊的基礎(chǔ)(415)。
文檔編號(hào)H04N7/36GK1774924SQ200480002110
公開(kāi)日2006年5月17日 申請(qǐng)日期2004年1月23日 優(yōu)先權(quán)日2003年1月23日
發(fā)明者普爾溫·比比哈斯·潘迪特, 吉爾·麥克唐納·博伊斯 申請(qǐng)人:湯姆森許可貿(mào)易公司