專利名稱:利用水環(huán)掃描設備編碼/解碼視頻序列的設備和方法
技術領域:
本發(fā)明涉及水環(huán)掃描設備和方法、和利用它們編碼/解碼視頻序列的設備和方法。
背景技術:
無論是靜止圖像,還是運動圖像,都同樣迫切需要一種可伸縮編碼方法作為圖像編碼方法。尤其是,人們想要利用使任何一個人無論在何時何地都可以利用圖像信息與任何人通信的移動電信業(yè)務、和隨著無線因特網(wǎng)的引入而已經(jīng)進入的、與諸如膝上型電腦、掌上型計算機、和PDA(個人數(shù)字助理)之類的各種各樣計算機相連接的信息家用電器,獲取、管理和修改圖像信息。
因此,諸如IMT-2000(國際移動電信標準)可視電話和HDTV(高清晰度電視)之類的各種形式圖像信息家用電器將出現(xiàn)在市場上,并且,這些圖像信息家用電器的解碼能力或信息發(fā)送環(huán)境將彼此不同,因為各種特性和應用環(huán)境因終端的類型而異。
這里需要考慮的是如何發(fā)送適合于每個終端的運動圖像。例如,如果與低質(zhì)量解碼器保持一致地進行編碼,那么,擁有高質(zhì)量解碼器的用戶將用他昂貴的解碼器接收低質(zhì)量圖像,沒有人希望如此。也就是說,擁有高質(zhì)量解碼器的用戶應當很好地獲得高質(zhì)量圖像,和甚至擁有低質(zhì)量解碼器的用戶也將獲得相當水平的圖像。
為了解決這個問題,把MPEG-4(運動圖像專家組-4)設計成根據(jù)接收部分上終端的環(huán)境和性能提供各種水平的圖像質(zhì)量。例如,當接收部分的終端具有高計算能力和傳輸層,例如,無線、ATM(異步傳輸模式)、LAN(局域網(wǎng))等,處在良好條件下時,它可以接收和顯示高質(zhì)量運動圖像。但是,當它的計算能力和傳輸線處在不良條件下時,它不能接收高質(zhì)量圖像。為了適應這兩種情況,MPEG-4被設計成進行可伸縮編碼。
可伸縮編碼是編碼部分構(gòu)造和發(fā)送可伸縮位流,以便接收部分能夠接收從低質(zhì)量到高質(zhì)量各種不同質(zhì)量的圖像的方法。也就是說,如果位流是可伸縮的,那么,低性能接收終端將接收和顯示已經(jīng)在基本層中編碼的基本質(zhì)量的圖像位流,而高性能接收終端將接收和顯示已經(jīng)在增強層中編碼的高質(zhì)量圖像位流。
可伸縮編碼方法主要由基本層和增強層組成。編碼部分的基本層發(fā)送基本運動圖像信息,和它的增強層發(fā)送用于提供運動圖像信息的除了基本質(zhì)量之外,還有高級質(zhì)量的圖像的信息,以便接收部分可以把該信息與來自基本層的信息放在一起,將其解碼成高質(zhì)量圖像。
因此,接收部分開始解碼根據(jù)接收終端的計算能力和傳輸層的條件發(fā)送的兩個層的圖像信息。于是,如果解碼器對于通過傳輸層發(fā)送的所有信息不具有足夠的解碼能力,那么,它就只能解碼作為最低圖像質(zhì)量補償層的基本層的信息,不解碼和放棄增強層的信息。同時,高質(zhì)量接收設備可以吸取來自所有層的信息,實現(xiàn)高質(zhì)量的圖像。這樣,利用可伸縮編碼方法,可以發(fā)送既滿足擁有高質(zhì)量解碼器的用戶,又滿足擁有低質(zhì)量解碼器的用戶的圖像。
目前的可伸縮編碼方法分為兩種類型一種是空間可伸縮編碼方法,另一種是時間可伸縮編碼方法??臻g可伸縮編碼方法用于逐步提高空間分辨率,而時間可伸縮編碼方法用于提高在時間軸上單位時間顯示的圖像數(shù)(在TV(電視)廣播的情況下,30幀/秒)(例如,10Hz→30Hz)。為了進行可伸縮編碼,MPEG-4形成一個或多個增強層,和把數(shù)種位流發(fā)送到接收部分。在運動圖像編碼利用一個增強層的情況下,基本層主要編碼和發(fā)送在空間上和時間上低分辨率的圖像,而增強層除了編碼和發(fā)送從基本層發(fā)送的圖像信息之外,另外還編碼和發(fā)送具體體現(xiàn)提高分辨率的圖像信息。
上述傳統(tǒng)可伸縮編碼方法被設計成適合于傳輸層處在相對穩(wěn)定和良好條件下的時候。也就是說,只有當接收部分接收到從增強層發(fā)送的所有位流時,才可以恢復圖像幀。如果傳輸層的條件發(fā)生改變(傳輸層可以接受的位流帶寬發(fā)生改變像因特網(wǎng)那樣的傳輸層通過諸如因特網(wǎng)用戶數(shù)量之類的外在因素改變要分配給用戶的帶寬),和接收不到來自增強層的所有位流,那么,就不能正常地恢復相應圖像。在這種情況下,接收部分應該請求發(fā)送部分重新發(fā)送,或者在接收到所有位流之前不進行圖像恢復,或利用前幀圖像進行發(fā)送錯誤偽裝。
在有線/無線因特網(wǎng)中經(jīng)常發(fā)生的是,由于傳輸層條件的不穩(wěn)定,不能與實時并駕齊驅(qū)那么快地發(fā)送圖像位流。簡而言之,即使由于像發(fā)生在有線/無線因特網(wǎng)中那樣的不穩(wěn)定傳輸層條件而使帶寬發(fā)生改變,為了實時恢復發(fā)送圖像,接收部分也必須能夠利用直到那時已經(jīng)接收到的一部分圖像位流實時恢復圖像,盡管它還沒有接收到全部位流。與此有關的一個例子是由MPEG-4建議的和被當作國際標準草案建立的細粒度可伸縮(FGS)編碼方法。
細粒度可伸縮編碼方法使得當接收部分沒有接收到在基本層編碼器和增強層編碼器中編碼的和從基本層編碼器和增強層編碼器發(fā)送的所有位流時,例如,當傳輸層不穩(wěn)定,和在進行可伸縮編碼的同時,在,譬如,有線/無線因特網(wǎng)中傳輸層突然發(fā)生改變,和要分配給用戶的帶寬發(fā)生改變時,利用直到那時接收的位流恢復發(fā)送圖像成為可能。這種方法用來彌補只有接收到所有位流之后,才可以最后恢復圖像,從而導致接收圖像延遲,和當產(chǎn)生發(fā)送錯誤時,不得不請求重新發(fā)送或應該進行發(fā)送錯誤偽裝的、在考慮了穩(wěn)定傳輸層的情況下具體實現(xiàn)的傳統(tǒng)可伸縮編碼方法的不足。
為了接收一部分圖像位流和使發(fā)送圖像在接收部分中得到有效恢復,當發(fā)送部分根據(jù)發(fā)送圖像,在基本層上具體實現(xiàn)質(zhì)量改進了的圖像和發(fā)送它時,細粒度可伸縮編碼方法以位面為基礎發(fā)送圖像位流。也就是說,它與傳統(tǒng)可伸縮編碼方法的相似之處在于,當把增強層所需的位流從發(fā)送部分發(fā)送到接收部分時,通過發(fā)出原始圖像與從基本層發(fā)送的圖像之間的圖像差,改進發(fā)送圖像的質(zhì)量。但是,即使傳輸層的帶寬突然發(fā)生改變,和沒有接收到圖像恢復所需的所有位,通過根據(jù)每個位面劃分要發(fā)送的圖像信息,優(yōu)先發(fā)送最高有效位(MSB),然后根據(jù)每個位面劃分下一個有效位,和如此繼續(xù)不斷地發(fā)送它們,目前的方法利用直到那時接收的那么多的位流,可以在一定程度上恢復圖像。
例如,當我們假設存在要發(fā)送的圖像信息25時,和當我們將其表示成二進制數(shù)時,它變成由5個位面組成的“11001”。為了按照位面發(fā)送這個信息,首先,發(fā)送部分應當通知接收部分發(fā)送信息由5個位面組成。然后,當假設以位為基礎從最高有效位(MSB)到最低有效位(LSB)將其發(fā)送到接收部分時,如果第1個MSB的發(fā)送完成了,那么,接收部分將確認,發(fā)送信息除了16(10000)之外的數(shù)字,和在發(fā)送了次MSB之后,它將開始知道將要把除了24(11000)之外的數(shù)字發(fā)送給它。如果由于傳輸層的帶寬限制,不能把更多的位流發(fā)送到接收部分,那么,利用直到那時發(fā)送的位流(11000),接收部分可以恢復數(shù)字24,一個與原來打算發(fā)送的數(shù)字相近的數(shù)字。
用在MPEG-4中的細粒度可伸縮編碼方法考慮了傳輸層的帶寬在任何時候都有可能改變的情況?;炯毩6瓤缮炜s編碼方法的結(jié)構(gòu)顯示在圖1A中。
圖1A是傳統(tǒng)基本細粒度可伸縮(FGS)編碼方法的結(jié)構(gòu)圖。如圖所示,它含有基本層和作為增強層的細粒度可伸縮層?;緦硬豢紤]任何完整性地采用傳統(tǒng)MPEG-4編碼方法。它的獨特之處在于,由于認為傳輸層應該如此,它只力圖提高基本層的編碼效率,不考慮提高FGS層,即增強層的編碼效率的任何方法。
正如所示的那樣,空間可伸縮性應該采用圖1A所示的結(jié)構(gòu),而對于時間可伸縮性,則要采用圖1B和1C所示的結(jié)構(gòu)。
圖1B顯示了含有FGS和FGST(細粒度時間可伸縮性)兩個改進步驟的傳統(tǒng)細粒度可伸縮(FGS)編碼方法的結(jié)構(gòu)圖,和圖1C代表含有把FGS和FGST合并在一起的一個增強步驟的傳統(tǒng)細粒度可伸縮(FGS)編碼方法的結(jié)構(gòu)圖。
這里,F(xiàn)GST(細粒度時間可伸縮性)進行運動估計和補償,以提高編碼效率。但是,這也考慮了只在基本層中提高編碼效率的方法。
圖2A顯示了用在MPEG-4國際標準草案中的的細粒度可伸縮編碼方法中的編碼器,即,發(fā)送部分的結(jié)構(gòu)。
該圖形,即圖2A,是描繪基于本發(fā)明實施例的傳統(tǒng)細粒度可伸縮(FGS)編碼方法的編碼器的結(jié)構(gòu)圖。
如圖所示,基本層不考慮任何完整性地照原來樣子使用MPEG-4圖像編碼方法。用在基本層中的圖像編碼方法包括通過進行離散余弦變換(DCT)、量化(Q)、運動估計(ME)、運動補償(MC)、逆量化(Q-1)、和離散余弦逆變換(IDCT),沿著空間軸和時間軸方向進行圖像數(shù)據(jù)壓縮,通過可變長度編碼(VLC)實現(xiàn)基于符號生成概率的優(yōu)勢的熵編碼,和利用發(fā)送緩沖器把在編碼的同時生成的基本層位流發(fā)送到傳輸層。
如圖所示,增強層的FGS編碼是通過如下一系列過程進行的獲取原始圖像與在基本層中恢復的圖像之間的殘量,進行離散余弦變換(DCT),進行位面移動,求出最大值,和進行位面可變長度編碼(位面VLC)。
在獲取殘量的過程中,殘量是通過計算原始圖像與在基本層中恢復的圖像,即在圖中經(jīng)過Q-1和IDCT和得到限幅的圖像之間的差值獲得的。
在離散余弦變換的處理中,利用以大小為8×8的塊為單元進行的DCT,把上面過程中獲得的基于圖像的殘量變換到DCT塊。
這里,如果你想要可選地具有更高質(zhì)量的塊,那么,在處理任何其它事務之前,必須發(fā)送相應的值,為此,可選地,可以進行位面移動。這被稱為選擇性增強,并且在位面移動過程中進行。
在求最大值的過程中,根據(jù)它們的絕對值從已經(jīng)經(jīng)過離散余弦變換的所有其它值當中獲取最大值。該最大值用于計算發(fā)送相應圖像幀的最大位面?zhèn)€數(shù)。
在位面可變長度編碼的過程中,以折線掃描順序把根據(jù)每個位面,以塊為基礎獲得的64個DCT系數(shù)插入矩陣中,DCT系數(shù)的相應位的位面是0或1,并且,根據(jù)可變長代碼表(VLC表),流程長度編碼每個矩陣。
圖2B顯示了用在MPEG-4國際標準草案中的細粒度可伸縮編碼方法的解碼器,即,接收部分的結(jié)構(gòu)。
圖2B是描繪基于本發(fā)明實施例的傳統(tǒng)細粒度可伸縮(FGS)編碼方法的解碼部分的結(jié)構(gòu)圖。
如圖所示,與在圖2A中描繪的編碼器的編碼相反進行從傳輸層發(fā)送的和被劃分成基本層和增強層的發(fā)送位流的解碼。
在基本層中,不考慮任何完整性地照原來樣子使用MPEG-4圖像解碼方法。通過在基本層中輸入位流之后,進行可變長度解碼(VLD),進行逆量化(Q-1)、對相應值進行離散余弦逆變換(IDCT),把它們加入運動補償(MC)值中,和把相應值限幅在從0到255的值之間,恢復從基本層發(fā)送的圖像。
在細粒度可伸縮編碼方法的增強層中,以與編碼器的編碼相反地進行對發(fā)送到增強層的位流的解碼。首先,對輸入的增強位流進行位面VLD,并且,如果想要定位質(zhì)量可選得更高一些的塊,那么,可選地,可以進行位面移動。
在進行位面VLD和可選地,進行位面移動獲得的值上,進行基于塊(8×8)的離散余弦逆變換(IDCT)和恢復從增強層發(fā)送的圖像。然后,將該圖像與在基本層中解碼的圖像組合在一起,和把和值限幅成從0到255之間的值,最后獲得改善了的圖像。
如上所述的傳統(tǒng)技術存在如下問題 傳統(tǒng)上已經(jīng)用在編碼運動圖像中的可變長度編碼方法被設計成適合于傳輸層相對穩(wěn)定的條件。只有當在接收部分中接收到從發(fā)送部分的增強層發(fā)送的所有位流時,才可以恢復相應圖像幀。這里,如果如果傳輸層的條件突然發(fā)生改變,例如,傳輸層可以接受的帶寬發(fā)生改變,或者,在像因特網(wǎng)那樣的傳輸層中,要分配給用戶的帶寬因像因特網(wǎng)用戶數(shù)量那樣的外在因素而改變,和不能接收到來自增強層的所有位流,那么,就不能適當?shù)鼗謴秃惋@示那個圖像。因此,存在著接收部分不得不請求重新發(fā)送,放棄圖像恢復,除非接收到所有位流,或者,利用前幀的圖像進行發(fā)送錯誤偽裝的缺陷。
通過考慮傳統(tǒng)可伸縮編碼方法穩(wěn)定的傳輸層來彌補這些缺陷之后,即使帶寬由于諸如有線/無線因特網(wǎng)之類的不穩(wěn)定傳輸層而改變,也應該實時恢復從發(fā)送部分發(fā)送到接收部分的圖像。與此有關的一種方法是細粒度可伸縮(FGS)方法,當接收部分沒有接收到整個位流時,它利用直到那時接收的圖像位流實時恢復發(fā)送圖像。這里,為了只利用整個位流的一部分就使圖像得以恢復,應該只使用使來自基本層的編碼效率達到最大的方法。像增加增強層之間的圖像編碼效率那樣的方法就無能為力了。
應當找出以宏塊和8×8塊為基礎編碼和發(fā)送圖像的、主要用在JPEG(聯(lián)合圖像專家組)、H.263、和MPEG等中的、利用DCT的運動圖像編碼方法。這里,所有圖像幀或視頻對象平面(VOP)的編碼和解碼從圖像的左上角上的宏塊或塊開始,連續(xù)進行到處在右下角上的那一個為止。在本發(fā)明中,如圖3A所示,稱此為正常掃描順序。
正常掃描順序是務必用于在接收部分上正?;謴蛨D像的掃描順序。它使用像增加基本層和增強層之間,或增強層與增強層之間的編碼效率的運動估計和補償,即DC值估計那樣的方法。
當把掃描順序應用于使只利用接收的一部分位流恢復圖像成為可能的可伸縮編碼方法時,解碼在上部的一部分宏塊或塊,和像圖3B所示那樣,在接收部分的屏幕上顯示恢復的圖像。黑塊是解碼塊,而白塊是還沒有解碼的塊。
也就是說,與從增強層接收和解碼的那些部分位流加在一起的、從基本層發(fā)送的位流在接收部分中顯示成改進圖像。如圖3B所示,如果從增強層只接收和解碼圖像數(shù)據(jù)的上部,那么,恢復圖像只在在增強層中進行解碼的那一部分上開始含有改進圖像。但是,存在著在恢復圖像的改進部分是觀眾不關心的地方,譬如,背景,或除了演員的面部之外的其它地方的情況下,這種接收和恢復增強層的位流的處理變得毫無用處的缺陷。
同時,如圖4所示,借助于使用像子波編碼那樣的方法的子頻帶編碼實施的編碼圖像和運動圖像的傳統(tǒng)方法使用正常掃描順序,根據(jù)來源于從左上角像素到右下解像素的圖像數(shù)據(jù)的每個子頻帶,以像素為基礎進行編碼和解碼。當把這種方法應用于利用部分位流的接收恢復圖像的可伸縮編碼方法時,解碼在最后接收的子頻帶上面的像素值,和在接收部分的屏幕上顯示它們的恢復圖像。也就是說,接收從基本層發(fā)送的位流,將其加入在增強層中解碼的那些部分位流中,在接收部分中生成改進圖像。這里,在接收和解碼圖像上部的數(shù)據(jù)的情況下,在在圖4中加上標記的、在增強層中解碼圖像數(shù)據(jù)的部分中,恢復圖像將顯示出改進了的圖像質(zhì)量。但是,存在著在恢復圖像的改進部分是觀眾不關心的地方,譬如,背景,或除了演員的面部之外的其它地方的情況下,由于他們不需要看清它而使這種接收和恢復增強層的位流的處理變得毫無用處的缺陷。
發(fā)明內(nèi)容
因此,本發(fā)明的一個目的是提供一種最優(yōu)先地編碼圖像信息的某個部分,然后,重復地執(zhí)行編碼圖像信息的相鄰部分的過程的水環(huán)掃描設備和方法、和記錄具體體現(xiàn)這種方法的程序的基于計算機的記錄媒體。
本發(fā)明的另一個目的是提供一種利用水環(huán)掃描順序,以適合人體視覺系統(tǒng)(HVS)的方式發(fā)送圖像信息的圖像編碼/解碼視頻設備和方法,和記錄具體體現(xiàn)這種方法的程序的基于計算機的記錄媒體。
根據(jù)本發(fā)明的一個方面,提供了一種利用水環(huán)掃描設備的圖像編碼/解碼設備,包括第一水環(huán)生成裝置,用于生成水環(huán)的至少一個原點開始的、預定區(qū)域的數(shù)據(jù)的第一水環(huán);編碼裝置,用于編碼和向解碼設備發(fā)送基于由第一水環(huán)生成裝置生成的第一水環(huán)的數(shù)據(jù);第二水環(huán)生成裝置,用于從水環(huán)的至少一個原點開始為預定區(qū)域的數(shù)據(jù)產(chǎn)生第二一水環(huán);和解碼裝置,用于解碼基于由第二水環(huán)生成裝置生成的第二水環(huán)的接收的編碼數(shù)據(jù)。
根據(jù)本發(fā)明的另一個方面,提供了一種用于編碼/解碼圖像幀的方法,包括如下步驟a)從水環(huán)的至少一個原點開始為預定區(qū)域的數(shù)據(jù)順序地產(chǎn)生第一水環(huán);b)順序地編碼和向解碼設備發(fā)送基于在步驟a)中依次生成的第一水環(huán)的數(shù)據(jù);c)順序地生成從水環(huán)的至少一個原點開始的、為接收的編碼數(shù)據(jù)的第二水環(huán);和d)順序地解碼基于第二水環(huán)的接收的編碼數(shù)據(jù)。
根據(jù)本發(fā)明的另一個方面,提供了一種利用水環(huán)掃描設備的可伸縮圖像編碼/解碼設備,包括基本層編碼裝置,用于編碼基本層上的輸入圖像幀,生成基本層位流和把基本層位流發(fā)送到解碼設備;增強層編碼裝置,用于利用水環(huán)掃描設備從水環(huán)的至少一個原點開始在增強層上編碼輸入的圖像幀,生成增強位流和把增強位流發(fā)送到解碼裝置;基本層解碼裝置,用于接收來自基本層編碼裝置的基本層位流,和通過進行基本層解碼,恢復圖像幀;和增強層解碼裝置,用于接收來自增強層編碼裝置的增強層位流,和通過對來自水環(huán)原點的解碼增強位流,恢復圖像幀。
根據(jù)本發(fā)明的另一個方面,提供了一種可伸縮圖像編碼/解碼方法,包括如下步驟a)編碼基本層上的輸入圖像幀,生成基本層位流和把基本層位流發(fā)送到解碼設備;b)利用水環(huán)掃描設備從水環(huán)原點開始,在增強層上編碼輸入的圖像幀,生成增強層流和把增強位流發(fā)送到解碼裝置;c)接收在基本層中編碼的基本層位流,和通過進行基本層解碼,恢復圖像幀;和d)接收在增強層中編碼的增強層位流,和通過從水環(huán)原點開始解碼增強位流,以恢復圖像幀。
根據(jù)本發(fā)明的另一個方面,提供了一種利用水環(huán)掃描設備的細粒度可伸縮圖像編碼/解碼設備,包括基本層編碼裝置,用于編碼基本層上的輸入圖像幀,生成基本層位流和把基本層位流發(fā)送到解碼設備;增強層編碼裝置,用于利用水環(huán)掃描設備從水環(huán)的至少一個原點開始在增強層上編碼輸入的圖像幀,生成增強位流和把增強位流發(fā)送到解碼裝置;基本層解碼裝置,用于接收來自基本層編碼裝置的基本層位流,和通過進行基本層解碼,恢復圖像幀;和增強層解碼裝置,用于接收來自增強層編碼裝置的增強層位流,和通過從水環(huán)原點開始解碼增強位流,恢復圖像幀。
根據(jù)本發(fā)明的另一個方面,提供了一種細粒度可伸縮圖像編碼/解碼方法,包括如下步驟a)編碼基本層上的輸入圖像幀,生成基本層位流和把基本層位流發(fā)送到解碼設備;b)利用水環(huán)掃描設備從水環(huán)原點開始在增強層上編碼輸入的圖像幀,生成增強位流和把增強位流發(fā)送到解碼裝置;c)接收在基本層中編碼的基本層位流,和通過進行基本層解碼,恢復圖像幀;和d)接收在增強層中編碼的增強層位流,和通過從水環(huán)原點開始解碼增強位流,恢復圖像幀。
通過對與附圖一起給出的優(yōu)選實施例進行如下描述,本發(fā)明的上面和其它目的和特征將更加清楚,在附圖中 圖1A是基于本發(fā)明實施例的傳統(tǒng)基本細粒度可伸縮(FGS)編碼方法的結(jié)構(gòu)圖; 圖1B顯示了基于本發(fā)明實施例的、含有FGS和FGST(細粒度時間可伸縮性)兩個改進步驟的傳統(tǒng)細粒度可伸縮(FGS)編碼方法的結(jié)構(gòu)圖; 圖1C代表基于本發(fā)明實施例的、含有把FGS和FGST合并在一起的一個增強步驟的傳統(tǒng)細粒度可伸縮(FGS)編碼方法的結(jié)構(gòu)圖; 圖2A是描繪基于本發(fā)明實施例的傳統(tǒng)基本細粒度可伸縮(FGS)編碼方法的編碼部分的結(jié)構(gòu)圖; 圖2B是描繪基于本發(fā)明實施例的傳統(tǒng)基本細粒度可伸縮(FGS)編碼方法的解碼部分的結(jié)構(gòu)圖; 圖3A是顯示在利用DCT的傳統(tǒng)圖像和運動圖像編碼方法中的正常掃描順序的示范圖; 圖3B是描繪應用于可伸縮編碼方法的傳統(tǒng)正常掃描順序的示范圖; 圖4是顯示應用于可伸縮編碼方法的傳統(tǒng)正常掃描順序的另一個示范圖; 圖5是描述基于本發(fā)明的水環(huán)掃描順序的基本原理的概念圖; 圖6A是基于本發(fā)明實施例的水環(huán)掃描方法的流程圖; 圖6B是基于本發(fā)明實施例的水環(huán)掃描設備的圖形; 圖7是描述沿著基于本發(fā)明的水環(huán)掃描順序,第i次生成的水環(huán)的圖像信息位置的圖形; 圖8A是顯示利用基于本發(fā)明實施例的水環(huán)掃描順序的圖像編碼設備的結(jié)構(gòu)圖; 圖8B是顯示利用基于本發(fā)明實施例的水環(huán)掃描順序的圖像解碼設備的結(jié)構(gòu)圖; 圖9A是描述把水環(huán)掃描順序應用于利用DCT的圖像編碼方法的概念的示范圖; 圖9B是描述把水環(huán)掃描順序應用于利用子波變換的圖像編碼方法的概念的示范圖; 圖10A是顯示借助于基于本發(fā)明實施例的水環(huán)掃描順序?qū)嵤┑募毩6瓤缮炜s編碼方法的編碼器的結(jié)構(gòu)圖; 圖10B是顯示借助于基于本發(fā)明實施例的水環(huán)掃描順序?qū)嵤┑募毩6瓤缮炜s編碼方法的解碼器的結(jié)構(gòu)圖; 圖11A是顯示借助于基于本發(fā)明另一個實施例的水環(huán)掃描順序?qū)嵤┑募毩6瓤缮炜s編碼方法的編碼器的結(jié)構(gòu)圖; 圖11B是顯示借助于基于本發(fā)明另一個實施例的水環(huán)掃描順序?qū)嵤┑募毩6瓤缮炜s編碼方法的解碼器的結(jié)構(gòu)圖; 圖12是描繪與水環(huán)掃描方法結(jié)合在一起的基于MPEG-4的細粒度可伸縮編碼方法的實際測試結(jié)果的示范圖; 圖13是描述基于本發(fā)明另一個實施例的顯示比為16∶9的水環(huán)掃描順序的原理的概念圖; 圖14是描述沿著基于本發(fā)明另一個實施例的顯示比為16∶9的水環(huán)掃描順序的第i個水環(huán)的圖形;和 圖15是描述沿著基于本發(fā)明另一個實施例的顯示比為16∶9的水環(huán)掃描順序,有效地掃描第i個水環(huán)的順序的圖形。
具體實施例方式 通過參照附圖,對本發(fā)明的優(yōu)選實施例進行如下描述,本發(fā)明的其它目的和方面將更加清楚。
圖5是描述基于本發(fā)明的水環(huán)掃描順序的基本原理的概念圖。
本發(fā)明的水環(huán)掃描順序從相應位置開始朝著它的周圍重復進行編碼,如果在圖像幀中任意決定要編碼的部分,那么,編碼區(qū)逐漸向它的周圍擴大。
本發(fā)明的原理就像把一塊石頭扔入湖中,從石頭落到水面上的那一點開始不斷涌現(xiàn)一樣,它的基本概念顯示在圖5中。取決于圖像或運動圖像處理方法,圖中的每個方塊代表一個像素、一個塊或一個宏塊。當將其應用于編碼運動圖像時,編碼從生成水環(huán)的那一點,即,石頭落到水面上的那一點開始,并且,處理數(shù)據(jù)就像朝著外圍依次生成水平那樣。也就是說,本發(fā)明提出了從水環(huán)原點開始,朝著依次環(huán)繞以前形成的水環(huán)的長方形水環(huán)的方向的掃描順序。
如圖5所示,在處理了處在水環(huán)原點(水環(huán)(0))上的處理之后,處理處在相鄰水環(huán)(1)中的數(shù)據(jù),即位于前水環(huán)(0)的外圍上的8個數(shù)據(jù),然后,繼續(xù)處理后面水環(huán)(2)和水環(huán)(3)的處理,這種數(shù)據(jù)處理就像水環(huán)向外擴展一樣。本發(fā)明以生成和擴展水環(huán)的形式處理數(shù)據(jù)的掃描順序被稱為水環(huán)掃描順序。
在編碼圖像或運動圖像時,可以以像素、塊或宏塊為基礎應用這種水環(huán)掃描順序。
對于使用子波變換方法的基于圖像像素的編碼方法,以像素為基礎應用水環(huán)掃描順序,和對于利用DCT的方法,以塊或宏塊為基礎,利用水環(huán)掃描順序處理運動圖像數(shù)據(jù)。
圖6A是基于本發(fā)明實施例的水環(huán)掃描方法的流程圖,和圖6B是基于本發(fā)明實施例的水環(huán)掃描設備的圖形。
如圖所示,在步驟S61中,在水環(huán)原點確定單元65上確定生成水環(huán)的任意點。然后,數(shù)據(jù)處理單元66處理相應位置(水環(huán)(0))上的數(shù)據(jù)。接著,在步驟S63中,在重復確定單元67上確定所有數(shù)據(jù)是否都得到處理,如果所有數(shù)據(jù)都得到處理,那么,終止邏輯流程,否則的話,在步驟S64中,在下一個水環(huán)位置確定單元68上確定相鄰水環(huán)(1)的位置,并且重復進行步驟S62在相應位置上的數(shù)據(jù)處理過程。
水環(huán)掃描設備包括水環(huán)原點確定單元65和數(shù)據(jù)處理單元66,用于確定要在圖像幀中生成的水環(huán)的任意位置,和處理相應點上的數(shù)據(jù);下一個水環(huán)位置確定單元和處理單元68和66,用于確定第i次生成的水環(huán)相對于水環(huán)原點的位置,和處理在相應位置上的數(shù)據(jù);和重復確定單元67,用于確定水環(huán)的位置和重復進行相應圖像數(shù)據(jù)處理,直到圖像幀中的所有數(shù)據(jù)都得到處理為止。
圖7是描述沿著基于本發(fā)明的水環(huán)掃描順序,第i次生成的水環(huán)的圖像信息位置的圖形。
從現(xiàn)在開始,參照圖7,詳細描述在圖6A和6B中描述的水環(huán)掃描設備和方法確定和處理水環(huán)原點的過程。
第一步確定水環(huán)的原點,即,水環(huán)(0),和處理與水環(huán)(0)的位置相對應的數(shù)據(jù)。
(a)確定任意水環(huán)原點(參見作為水環(huán)原點的用(x,y)標記的位置)。這里,可以把要發(fā)送的圖像幀的中心部分,或其它任意點指定為水環(huán)的原點。
(b)處理,即,在編碼器中編碼和在解碼器中解碼在上面確定的水環(huán)原點上的數(shù)據(jù)。
第二步確定水環(huán)(i)的位置,和處理在該位置中的數(shù)據(jù)。
(a)確定第i次生成的水環(huán)相對于水環(huán)原點的位置(在基于像素的方法,像素個數(shù);在基于塊或宏塊的方法中,相應單元的個數(shù))。
(b)處理,即,在編碼器中編碼和在解碼器中解碼在位于水環(huán)(i)中的數(shù)據(jù)。
第三步重復進行從第二步開始的過程,直到圖像幀中的所有數(shù)據(jù)都得到處理為止。
如圖7所示,水環(huán)(i)由位于1-1、1-2、2-1、2-2、3-1、3-2、3-3、3-4中的像素、塊或宏塊組成,和代表從水環(huán)原點,即,水環(huán)(0)算起第i次生成的水環(huán)。
稱為1-1的位置是在x軸上距水環(huán)原點-i和在y軸上與±i之內(nèi)的位置相對應的所有像素、塊或宏塊的圖像數(shù)據(jù)。當水環(huán)的原點是(x,y)時,1-1可以表示如下。
1-1位于x-i和(y-i<y<y+i)中的所有數(shù)據(jù)。
圖中稱為1-2的位置是在x軸上距水環(huán)原點+i和在y軸上與±i之內(nèi)的位置相對應的所有像素、塊或宏塊的圖像數(shù)據(jù)。當水環(huán)的原點是(x,y)時,1-2可以表示如下。
1-2位于x+i和(y-i<y<y+i)中的所有數(shù)據(jù)。
圖中稱為2-1的位置是在y軸上距水環(huán)原點-i和在x軸上與±i之內(nèi)的位置相對應的所有像素、塊或宏塊的圖像數(shù)據(jù)。當水環(huán)的原點是(x,y)時,2-1可以表示如下。
2-1位于y-i和(x-i<x<x+i)中的所有數(shù)據(jù)。
圖中稱為2-2的位置是在y軸上距水環(huán)原點+i和在x軸上與±i之內(nèi)的位置相對應的所有像素、塊或宏塊的圖像數(shù)據(jù)。當水環(huán)的原點是(x,y)時,2-2可以表示如下。
2-2位于y+i和(x-i<x<x+i)中的所有數(shù)據(jù)。
圖中稱為3-1、3-2、3-3、3-4的位置是在x軸上距水環(huán)原點±i和在y軸上距水環(huán)原點±i的所有像素、塊或宏塊的圖像數(shù)據(jù)。也就是說,當水環(huán)的原點是(x,y)時,3-1的位置是(x-i,y-i),3-2的位置是(x+i,y-i),3-3的位置是(x-i,y+i),和3-4的位置是(x+i,y+i)。
在水環(huán)掃描方法中,位于水環(huán)(i)中的數(shù)據(jù)是所有像素數(shù)據(jù)(在諸如子波之類的圖像域中進行處理的情況下,或如圖7所示的那樣包含在塊或宏塊中的數(shù)據(jù)(在DCT塊中進行處理的情況下),在水環(huán)(i)中的處理過程如下面例子所述的那樣。
1.在水環(huán)(i)中的處理過程的例子1 對于位于與水環(huán)(i)相對應的位置中的數(shù)據(jù),從左上角上的數(shù)據(jù)到右下角上的數(shù)據(jù)按順序進行水環(huán)掃描。如圖7所示,水環(huán)掃描把水環(huán)的形狀劃分成頂線、中間線和底線,并且按照從左到右,從頂線到中間線、再到底線的順序進行水環(huán)掃描。參照圖7,下文描述第一具體實施例的處理過程。
應當掃描頂線的數(shù)據(jù)。這里,從左到右,按照3-1(x-i,y-i)==>2-1(x-i<x<x+i,y-i)==>3-2(x+i,y-i)的順序進行掃描。
應當掃描中間線的數(shù)據(jù)。中間線數(shù)據(jù)指的是位于1-1(x-i,y-i<y<y+i)和1-2(x+i,y-i<y<y+i)的位置中的那些數(shù)據(jù)。從左到右交替對1-1線中的數(shù)據(jù)和1-2線中的那些數(shù)據(jù)進行掃描,并且,當一條線的掃描完成時,從頂線到底線重復進行掃描,直到包含在中間線中的所有數(shù)據(jù)都得到掃描為止。例如,按照1-1(x-i,y-i+1)==>1-2(x+i,y-i+1)==>1-1(x-i,y-i+2)==>1-2(x+i,y-i+2)==>1-1(x-i,y-i+3)==>1-2(x+i,y-i+3)==>......==>1-1(x-i,y+i-1)==>1-2(x+i,y+i-1)的方式重復掃描。
應當掃描底線的數(shù)據(jù)。這里,從左到右,按照3-3(x-i,y+i)==>2-2(x-i<x<x+i,y+i)==>3-4(x+i,y+i)的順序進行掃描。
具體實現(xiàn)第一實施例的例子如下。
◎初始參數(shù) n第n個環(huán) N第n個環(huán)中MB的個數(shù) prev_n第(n-1)個環(huán) start_x,start_y環(huán)的開始位置 (left_top X of Ring,left_top Y of Ring) curr_x,curr_y環(huán)中MB的每個位置 ◎算法 Step1Initial MB Fill n=1; curr_x=start_x--; curr_y=start_y--; if(InBoundary(curr_x,curr_y)) FillMB(curr_x,curr_y); Step2Top Line MB Fill n++; N=2*n-1; Prev_n=2*(n-1)-1; start_x--; start_y--; curr_x=start_x--; curr_y=start_y--; for j=1 to N{ if(InBoundary(curr_x,curr_y)) FillMB(curr_x,curr_y); Curr_x++; } Step 3Middle Line MB Fill N=prev_n; for j=1 to N{ curr_x=start_x--; curr_y=start_y+j; if(InBoundary(curr_x,curr_y)) FillMB(curr_x,curr_y); curr_x+prev_n+1; if(InBoundary(curr_x,curr_y)) FillMB(curr_x,curr_y); }<!-- SIPO <DP n="14"> --><dp n="d14"/> Step 4Bottom Line MB Fill N=2*n-1; curr_x=start_x; curr_y=start_y+prev_n+1; for j=1 to N{ if(InBoundary(curr_x,curr_y)) FillMB(curr_x,curr_y); curr_x++; } Step 4 if(not VOP Fill) goto Step 2 else stop 2.在水環(huán)(i)中的處理過程的例子2 對于位于與水環(huán)(i)相對應的位置中的數(shù)據(jù),以3(3-1,3-2,3-3,3-4)==>2-1==>1-1==>2-2的順序進行水環(huán)掃描。
掃描3-1(x-i,y-i)、3-2(x+i,y-i)、3-3(x-i,y+i)、3-4(x+i,y+i)的位置和處理相應數(shù)據(jù), 掃描2-1(x-i<x<x+i,y-i)的位置和處理相應數(shù)據(jù), 掃描1-1(x-i,y-i<y<y+i)的位置和處理相應數(shù)據(jù), 掃描1-2(x+i,y-i<y<y+i)的位置和處理相應數(shù)據(jù), 掃描2-2(x-i<x<x+i,y+i)的位置和處理相應數(shù)據(jù)。
3.在水環(huán)(i)中的處理過程的例子3 對于位于與水環(huán)(i)相對應的位置中的數(shù)據(jù),以2-1==>1-1==>1-2==>2-2==>3(3-1,3-2,3-3,3-4)的順序進行水環(huán)掃描。
掃描2-1(x-i<x<x+i,y-i)的位置和處理相應數(shù)據(jù), 掃描1-1(x-i,y-i<y<y+i)的位置和處理相應數(shù)據(jù), 掃描1-2(x+i,y-i<y<y+i)的位置和處理相應數(shù)據(jù), 掃描2-2(x-i<x<x+i,y+i)的位置和處理相應數(shù)據(jù), 掃描3-1(x-i,y-i)、3-2(x+i,y-i)、3-3(x-i,y+i)、3-4(x+i,y+i)的位置和處理相應數(shù)據(jù)。
4.在水環(huán)(i)中的處理過程的例子4 對于位于與水環(huán)(i)相對應的位置中的數(shù)據(jù),以2-1==>2-2==>1-1==>1-2==>3(3-1,3-2,3-3,3-4)的順序進行水環(huán)掃描。
掃描2-1(x-i<x<x+i,y-i)的位置和處理相應數(shù)據(jù), 掃描2-2(x-i<x<x+i,y+i)的位置和處理相應數(shù)據(jù), 掃描1-1(x-i,y-i<y<y+i)的位置和處理相應數(shù)據(jù), 掃描1-2(x+i,y-i<y<y+i)的位置和處理相應數(shù)據(jù), 掃描3-1(x-i,y-i)、3-2(x+i,y-i)、3-3(x-i,y+i)、3-4(x+i,y+i)的位置和處理相應數(shù)據(jù)。
5.在水環(huán)(i)中的處理過程的例子5 對于位于與水環(huán)(i)相對應的位置中的數(shù)據(jù), 以1-1==>1-2==>2-1==>2-2==>3(3-1,3-2,3-3,3-4)的順序進行水環(huán)掃描。
掃描1-1(x-i,y-i<y<y+i)的位置和處理相應數(shù)據(jù), 掃描1-2(x+i,y-i<y<y+i)的位置和處理相應數(shù)據(jù), 掃描2-1(x-i<x<x+i,y-i)的位置和處理相應數(shù)據(jù), 掃描2-2(x-i<x<x+i,y+i)的位置和處理相應數(shù)據(jù), 掃描3-1(x-i,y-i)、3-2(x+i,y-i)、3-3(x-i,y+i)、3-4(x+i,y+i)的位置和處理相應數(shù)據(jù)。
同時,如圖8A所示,用于把水環(huán)掃描順序應用于圖像或運動圖像的編碼的方法和設備可以劃分為用于處理水環(huán)位置中的相應數(shù)據(jù)的水環(huán)原點確定單元81、水環(huán)生成單元82、和圖像編碼單元83。如圖8B所示,用于把水環(huán)掃描順序應用于圖像或運動圖像的解碼的方法和設備可以劃分為用于處理水環(huán)位置中的相應數(shù)據(jù)的水環(huán)原點確定單元84、水環(huán)生成單元85、和圖像解碼單元86。
圖8A是顯示利用基于本發(fā)明實施例的水環(huán)掃描順序的圖像編碼設備的結(jié)構(gòu)圖,和圖8B是顯示利用基于本發(fā)明實施例的水環(huán)掃描順序的圖像解碼設備的結(jié)構(gòu)圖。
在水環(huán)原點確定單元81和84當中,在編碼器中的那一個確定生成水環(huán)的任意點,和執(zhí)行把水環(huán)原點的坐標發(fā)送到解碼器的功能。在解碼器部分中的水環(huán)原點確定單元84根據(jù)從編碼器發(fā)送的坐標,確定要在圖像幀中形成的水環(huán)的位置。同時,在水環(huán)原點已經(jīng)由編碼器和解碼器事先確定,把它放在圖像的中心部分上的情況下,跳過這個確定單元的功能。
水環(huán)生成單元82和85起利用產(chǎn)生水環(huán)的各種方法生成第i個水環(huán),即水環(huán)(i),和把水環(huán)(i)生成的位置通知圖像編碼單元(或圖像解碼單元),以便圖像編碼單元(或圖像解碼單元)可以對相應圖像幀進行編碼(或解碼)的作用。
圖像編碼單元(或圖像解碼單元)處理在水環(huán)生成單元82和85中確定的坐標的圖像數(shù)據(jù)。
下面參照圖9A和9B描述把本發(fā)明的水環(huán)掃描順序?qū)嶋H應用于編碼的例子。
圖9A是描述把水環(huán)掃描順序應用于利用DCT的圖像編碼方法的概念的示范圖,和圖9B是描述把水環(huán)掃描順序應用于利用子波變換的圖像編碼方法的概念的示范圖。
在利用DCT的編碼方法的情況下,通過以8×8塊為基礎,或以16×16宏塊為基礎生成水環(huán),進行圖像的編碼。在利用子波變換等的基于像素的編碼方法的情況下,以像素為基礎生成水環(huán),進行圖像的編碼。
圖9A是把水環(huán)掃描順序應用于根據(jù)DCT處理運動圖像的例子。當將水環(huán)掃描順序應用于QCIF(176×144個像素)圖像幀時,存在11×9個宏塊(16×16)。這個例子通過從位于圖像幀的中心部分中的宏塊開始,以宏塊為單位生成水環(huán),將水環(huán)掃描順序應用于編碼。借助于從原點開始生成的6個水環(huán),即,從水環(huán)(0)、水環(huán)(1)、......、到水環(huán)(5)、編碼整個圖像。在由于傳輸層帶寬的限制在解碼器上沒有接收到所有數(shù)據(jù)的情況下,由于優(yōu)先發(fā)送從水環(huán)(0)到水環(huán)(1)等的圖像幀的中心部分的宏塊中的數(shù)據(jù),因此,它們很有可能性被接收和解碼。于是,盡管邊緣中宏塊的數(shù)據(jù)沒有得到處理,但是保證中心部分中圖像的質(zhì)量得到改進。
圖9B是把水環(huán)掃描順序應用于利用子波的圖像編碼方法的例子,這個例子通過在與每個子頻帶相對應的圖像上,以像素為基礎,從子頻帶的中心開始生成水環(huán),將水環(huán)掃描順序應用于圖像的編碼。該圖顯示了利用已經(jīng)在那里生成的水環(huán)編碼右上角中的子頻帶,但是,由于傳輸層帶寬的限制,不是處理整個圖像的所有數(shù)據(jù),而是只處理圖像幀的中心部分中的圖像數(shù)據(jù)的例子。
同時,作為可伸縮運動圖像編碼的像素,下面描述把水環(huán)掃描順序應用于細粒度可伸縮(FGS)編碼的情況。
這里提供兩個例子。一個集中在水環(huán)形成的位置和處理在那里的數(shù)據(jù)上,而另一個例子集中在進行確定生成水環(huán)的地方和處理在水環(huán)上的數(shù)據(jù)的過程上。
第一個例子顯示了當進行位面VLC或以位面為基礎解碼時,存在著在任意位置上進行水環(huán)掃描,確定要首先編碼或解碼的塊或宏塊的位置,和一旦在編碼器和解碼器兩者上確定下來它的位置,就處理有關塊或宏塊的圖像信息的過程的情況。
圖10A是顯示借助于基于本發(fā)明實施例的水環(huán)掃描順序?qū)嵤┑募毩6瓤缮炜s編碼的編碼器的結(jié)構(gòu)圖,和圖10B是顯示借助于基于本發(fā)明實施例的水環(huán)掃描順序?qū)嵤┑募毩6瓤缮炜s編碼的解碼器的結(jié)構(gòu)圖。
如圖10A所示,通過獲取原始圖像和在基本層中恢復的圖像之間的殘量,進行離散余弦變換(DCT),求出最大值,和當實現(xiàn)它時,進行適合于水環(huán)掃描順序的位面VLC(即,按照水環(huán)掃描順序進行位面VLC的過程)的過程,進行FGS增強層編碼。
在獲取殘量的過程中,殘量是通過獲取原始圖像與在基本層中被編碼之后恢復的圖像之間的差值獲得的。
在進行DCT的過程中,利用基于塊(8×8)的DCT把上面步驟中獲得的殘量變換到DCT域。
這里,如果存在可選地需要具有優(yōu)質(zhì)圖像的塊,那么,應用最優(yōu)先地發(fā)送與它相對應的數(shù)據(jù),為此,可選地,可以進行位面移動。這被稱為選擇性增強,并且在位面移動過程中進行。
在求最大值的過程中,根據(jù)它們的絕對值獲取已經(jīng)經(jīng)過DCT(離散余弦變換)的所有值當中獲取最大值。該值用于獲取發(fā)送相應圖像幀的最大位面?zhèn)€數(shù)。
在基于水環(huán)掃描順序的位面VLC的過程中,當根據(jù)位面進行位面VLC時,同時完成從某個位置開始進行水環(huán)掃描和確定要優(yōu)先編碼的塊或宏塊的位置,以折線掃描順序把根據(jù)所確定的編碼順序(即,優(yōu)先順序),從每個塊中獲得的64個DCT系數(shù)(DCT系數(shù)的相應位面的位0或1)輸入矩陣中,和根據(jù)VLC表,對它們進行流程長度編碼的過程?;緦拥钠渌幋a過程與傳統(tǒng)技術的編碼過程相同,因此,略去不述。
如圖10B所示,F(xiàn)GS增強層的解碼以與編碼器相反的順序,對發(fā)送到增強層的位流進行解碼。解碼包括如下過程,從與編碼器協(xié)商好的水環(huán)原點(從編碼器發(fā)送的、從那里開始的位置,或事先協(xié)商好的位置例如,圖像幀的中心塊或中心宏塊)開始,沿著水環(huán)掃描順序,對輸入的增強層位流進行位面可變長度解碼(VLD),如果發(fā)送可選地具有優(yōu)質(zhì)圖像的塊的位置,那么,可選地進行位面移動,對進行位面VLD和可選地進行移動獲得的值進行IDCT(離散余弦逆變換)和恢復從增強層發(fā)送的圖像,和通過將其與從基本層中解碼的圖像在一起,和把這些值限幅成在0到255之間的值,恢復最后改進了的圖像?;緦拥钠渌獯a過程與傳統(tǒng)技術的解碼過程相同,因此,略去不述。
同時,作為可伸縮運動圖像編碼的例子,把水環(huán)掃描順序應用于細粒度可伸縮(FGS)編碼的第二個例子如下。它與第一個例子的不同之處在于,它進行確定水環(huán)原點的過程和處理在水環(huán)原點上的相應數(shù)據(jù)的過程。
這里,當進行細粒度可伸縮編碼時,編碼器利用水環(huán)掃描確定要生成水環(huán)的位置,以生成的順序把要編碼的圖像信息排列在緩沖器中,和以排列在緩沖器中的順序進行位面VLC,而解碼器進行位面VLD,利用水環(huán)掃描順序重新排列恢復圖像信息的位置,和進行位面移動和IDCT。
圖11A是顯示借助于基于本發(fā)明另一個實施例的水環(huán)掃描順序?qū)嵤┑募毩6瓤缮炜s編碼方法的編碼器的結(jié)構(gòu)圖,和圖11B是顯示借助于基于本發(fā)明另一個實施例的水環(huán)掃描順序?qū)嵤┑募毩6瓤缮炜s編碼方法的解碼器的結(jié)構(gòu)圖。
如圖11A所示,在FGS增強層中的編碼包括如下過程,獲取原始圖像和在基本層中恢復的圖像之間的殘量,進行DCT,進行位面移動,求出最大值,沿著水環(huán)掃描順序重新構(gòu)造圖像幀中的圖像信息,和進行位面VLC。
在獲取殘量的過程中,殘量是通過獲取原始圖像與在基本層中被編碼之后恢復的圖像之間的差值獲得的。
在進行DCT的過程中,利用基于塊(8×8)的DCT把上面步驟中獲得的基于圖像的殘量變換到DCT域。
這里,如果需要可選地具有優(yōu)質(zhì)圖像的塊,那么,應該在處理其它事務之前發(fā)送相應值,為此,可以進行位面移動。這被稱為選擇性增強,并且在位面移動過程中進行。
在求最大值的過程中,根據(jù)它們的絕對值獲取已經(jīng)經(jīng)過DCT的所有值當中的最大值。這些值用于獲取發(fā)送相應圖像幀的最大位面?zhèn)€數(shù)。
在水環(huán)掃描的過程中,通過從某個位置開始進行水環(huán)掃描確定要編碼的塊或宏塊,和根據(jù)編碼順序重新排列圖像幀中每個位面的圖像信息。
在位面VLC的過程中,當對在水環(huán)掃描期間在某個緩沖器中重新排列的圖像信息進行位面VLC時,以折線掃描順序把按照位面,以塊為基礎獲得的64個DCT系數(shù)(DCT系數(shù)的相應位面的位0或1)輸入矩陣中,和根據(jù)可變長代碼表(VLC表),對每個矩陣進行流程長度編碼。其它過程與傳統(tǒng)技術的過程相同,因此,略去不述。
如圖11B所示,F(xiàn)GS增強層的解碼以與編碼器相反的順序,對發(fā)送到增強層的位流進行解碼。解碼包括如下過程,對輸入的增強層位流進行位面可變長度解碼(VLD),從與編碼器協(xié)商好的水環(huán)原點(從編碼器發(fā)送的、從那里開始的位置,或事先協(xié)商好的位置例如,圖像幀的中心塊或中心宏塊)開始,沿著水環(huán)掃描順序,重新排列發(fā)送的圖像數(shù)據(jù),如果發(fā)送可選地具有優(yōu)質(zhì)圖像的塊的位置,那么,可選地進行位面移動,對進行位面VLD和可選地進行移動獲得的值進行基于塊(8×8)的IDCT(離散余弦逆變換)和由此恢復從增強層發(fā)送的圖像,和通過將其與從基本層中解碼的圖像在一起,和把這些值限幅成在0到255之間的值,恢復最后改進了的圖像。在基本層中的其它解碼過程與傳統(tǒng)技術的解碼過程相同,因此,略去不述。
圖12是描繪與水環(huán)掃描方法結(jié)合在一起的基于MPEG-4的細粒度可伸縮編碼方法的實際測試結(jié)果的示范圖。
圖中的兩個畫面顯示了當假設在OCIF級別(176個像素×144個像素),即以每秒5個幀編碼和發(fā)送主要用在MPEG-4標準化規(guī)約中的工頭圖像序列,和以16kbps的速度已經(jīng)發(fā)送了基本層的位流,另一方面,盡管已經(jīng)編碼和發(fā)送了增強層的增強位流,但是由于傳輸層帶寬的限制,在解碼器上總共只接收到它們當中的48kbps位流時恢復的圖像。該圖截獲了工頭序列的第24幀的圖像。
在圖中,用1201標記的畫面是通過MPEG-2細粒度可伸縮編碼恢復的圖像,而用1202標記的那一個是通過進行把水環(huán)掃描加入其中的MPEG-2細粒度可伸縮編碼獲得的圖像。
看一下工頭的臉部,顯而易見,圖像1202顯示出比圖像1201更好的質(zhì)量。更客觀地,給出利用峰值信噪比(PSNR)將兩個信號加以比較的圖形。1205是顯示PSNR隨亮度Y而變化的圖形,而1206和1207是顯示PSNR隨色度U和V而變化的圖形。這里,可以看出,利用水環(huán)掃描的方法的PSNR大約高2.32dB。在圖中,水環(huán)掃描用“Water Ring”標記,它的結(jié)果是39.448540dB,而原來方法用“Original”標記,它的結(jié)果是37.12466dB。
考慮到人體的視覺系統(tǒng),在圖像的中心部分計算PSNR。
下面在圖中實際看到的那樣,主觀看到和客觀觀察到是一樣的把應水環(huán)掃描方法用于它的FGS編碼方法被證明具有比原來FGS方法更高的質(zhì)量。在用1203和1204標記的畫面中描述了所引起的圖像質(zhì)量差異。
在圖中,畫面1203代表在原來FGS方法中以位面為基礎解碼的宏塊,它來源于由于傳輸層帶寬的限制部總共接收到48kbps的解碼器,和利用已經(jīng)接收到圖像信息進行解碼。因此,在第3個圖中被表示成MSB的最高有效位(MSB)的圖像信息、和在第3個圖中用MSB-1標記的次最高有效位(MSB-1)的圖像信息完全被解碼(用黑色填滿)。但是,對于MSB-2位面的數(shù)據(jù),只有其中的三分之一被完全解碼(白色方格是沒有進行解碼的地方,因為沒有接收到它們的數(shù)據(jù))。當考慮到人體視覺系統(tǒng)和主觀地欣賞整個圖像幀時,感到這個圖像的質(zhì)量相對較差。這是因為圖像質(zhì)量在人不是特別想要看清的邊緣部分,即,圖像的外圍部分,而不是工頭的臉部得到改進。
相反,利用水環(huán)掃描方法的FGS編碼方法顯示了圖中用1204標記的畫面中完全解碼的宏塊。MSB和MSB-1的位面與原來方法的方式一樣完全被解碼。這里,MSB-2位面的圖像信息也部分地被解碼。但是,這種情況表示從圖像幀的中心開始進行編碼和解碼,和處理適合于人體視覺系統(tǒng)的、位于中心部分的宏塊的圖像信息。正如從圖中用1202標記的畫面中看到的那樣,中心部分中的圖像質(zhì)量相對較好,這證實了水環(huán)掃描方法的優(yōu)越性。
通過應用適合于人體視覺系統(tǒng)的水環(huán)掃描順序,這種方法從圖像幀的中心部分(或某個任意位置)開始進行編碼和發(fā)送,在解碼器中從圖像幀的中心部分(或某個任意位置)開始進行解碼,從而,即使由于傳輸層帶寬的限制,不再接收到從編碼器發(fā)送的位流,也總能恢復在圖像幀的中心部分(或在某個位置中)的優(yōu)質(zhì)圖像。
但是,本方法被設計成從左上角到右下角按順序編碼和解碼宏塊。在由于傳輸層帶寬的限制而沒有接收到所有位流的情況下,處理圖像幀的邊緣部分的位流,不能保證圖像幀中心部分的質(zhì)量,這導致了不適合于人體視覺系統(tǒng)的圖像恢復。
下文參照圖13描述把水環(huán)掃描順序應用于16∶9的屏幕比的另一個實施例。
圖13是描述基于本發(fā)明另一個實施例的顯示比為16∶9的水環(huán)掃描順序的原理的概念圖。
按照16∶9屏幕比的任意中心水環(huán)掃描順序,水環(huán)(i)的處理過程如下。
水環(huán)從任意水環(huán)的中心點的核心開始解碼。當設最中心的宏塊為任意中心(x,y)時,開始編碼的宏塊變成起點,和編碼轉(zhuǎn)到包括用1301標記的宏塊和在中心的宏塊的右邊。在核心部分的解碼完成之后,開始編碼右上部的宏塊,然后,編碼左下部用1303標記的宏塊。對宏塊1302和1303重復進行編碼,直到像從中心點開始的水波那樣編碼幀中的所有宏塊為止。
起點的位置因屏幕比而異。如下面的公式所示,把起點設在相對于給定起點為將寬向宏塊(MB)數(shù)和高向宏塊數(shù)相減所得的差值的一半的地方。例如,假設寬向有16個宏塊和高向有9個宏塊,和給定起點為(7,4),那么,編碼的起點是(4,4).<math> <mrow> <mi>Sx</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>|</mo> <mi>Width</mi> <mo>-</mo> <mi>Height</mi> <mo>|</mo> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>)</mo> </mrow> </mrow> </math> Sy=(y) 編碼開始的宏塊是(Sx,Sy),和在包括起點和任意點的右邊中MB的個數(shù)W=|Width-Height|被稱為核心,編碼是按順序向右邊進行的。
對核心進行編碼,然后,在檢查所有塊是否得到編碼之后,對它周圍的水環(huán)進行編碼。在沒有檢查所有塊是否得到編碼的情況下,額外開銷4倍的工作量。
從頂線和右線中用1302標記的宏塊到底線和左線中用1303標記的宏塊,按順序進行編碼,和沿著每條線,總是從左到右按順序進行編碼。
圖14是描述沿著基于本發(fā)明另一個實施例的顯示比為16∶9的水環(huán)掃描順序的第i個水環(huán)的圖形。
在對第i個水環(huán)進行編碼之后,對被確定為起點,即,第i個水環(huán)的起點的宏塊進行編碼,和從左到右按順序?qū)斁€進行編碼,達到W+i-1個宏塊為止,然后,從上到下對右線進行編碼,總共達到個宏塊為止。
此后,檢查所有塊是否都得到編碼,和對底線和左線繼續(xù)進行編碼。在第i個水環(huán)中,對用W+3*i+2標記的塊進行編碼,之后,沿著左線,從它開始往下對i個宏塊進行編碼。然后,在第i個水環(huán)中,從正下方的宏塊開始往右,沿著底線編碼,總共達2*(W+3*i+1)個宏塊為止。
在16∶9屏幕比下水環(huán)掃描方法的實際實施例如下。
◎初始參數(shù) Width沿著Map的寬向MB的個數(shù) Height沿著Map的高向MB的個數(shù) Control Point(x,y)水環(huán)的中心MB位置的坐標 Start Point(Sx,Sy)水環(huán)的中心MB位置的坐標<math> <mrow> <mi>Sx</mi> <mo>=</mo> <mrow> <mo>(</mo> <mi>x</mi> <mo>-</mo> <mrow> <mo>(</mo> <mfrac> <mrow> <mo>|</mo> <mi>Width</mi> <mo>-</mo> <mi>Height</mi> <mo>|</mo> </mrow> <mn>2</mn> </mfrac> <mo>)</mo> </mrow> <mo>)</mo> </mrow> </mrow> </math> Sy=(y) W水環(huán)的核心MB個數(shù)W=|Width Heigh| CodeMB(x,y)與所指定宏塊有關的編碼函數(shù)。根據(jù)水環(huán)掃描順序,在FGS編碼器和解碼器中分別進行每個位面的VLC或VLD。x和y是圖像幀中宏塊的坐標。
flag CheckBound()與超出Map之外有關的檢查函數(shù)。如果CheckBound()被設置成(return TRUE),放棄后面的疊代。這意味著所有塊都已經(jīng)得到編碼。如果CheckBound()函數(shù)返回FALSE,執(zhí)行下一步驟。
坐標以宏塊為單元。
◎算法 Step 1.code the start point of Water Rjng and core part(include controlpoint). the Water Ring origin is located at(x,y) for(i=0;i<W;i++) CodeMB(Sx++,Sy) j=1;<!-- SIPO <DP n="23"> --><dp n="d23"/> Step 2.Check Stopping condition of the Algorithm. IF(CheckBound()==NULL)go to step 6. Step 3.Code the top line and right line of the water Rigth for(i=-j;i<W+3*j-1;i++) if(i<W+j) CodeMB(Sx+i,Sy-1); Else CodeMB(Sx+W+j-1,Sy+i-(W+2*j-1)); Step 4.Check stopping condition of the Algorkthm. if(CheckBound()==NULL)go to step 6. Step 5.Code the bottom line and left line of the water Rigth for(i=-j;i<W+3*j-1;i++) if(i<j) CodeMB(Sx-j,Sy+i+1); Else CodeMB(Sx+i-2*j+1,Sy*j); Step 6.Check stopping condition of the Algorkthm. if(j Width) j++; go to step 2. else Stop 在第一實施例中描述的水環(huán)掃描順序法是用于說明不考慮硬件的實施例的基本原理的。在編碼1-1和1-2時,折線編碼成為使高速緩沖存儲器的命中率下降的主要原因。因此,在編碼2-1之后,不是按照折線順序編碼1-1和1-2,而是向下編碼1-2,再向下編碼1-1,然后,編碼2-2,通過這種可預測和逐次方法,可以提高高速緩沖存儲器的命中率。
圖15是描述沿著基于本發(fā)明另一個實施例的顯示比為16∶9的水環(huán)掃描順序,有效地掃描第i個水環(huán)的順序的圖形。
在第i個水環(huán)中,首先,編碼2-1和編碼它的右部(1501)。右邊的線完成編碼之后,接著編碼底線(1502)。也就是說,在傳統(tǒng)方法中,在編碼第3個水環(huán)的情況下,對總共11個不可預測位置進行編碼。但是,在這種新提出的方法中,通過使編碼線只發(fā)散兩次一次在第i個水環(huán)的起點上,另一次在水環(huán)的發(fā)散點,即,在編碼右上角宏塊之后,開始編碼左下角宏塊的位置上,可以相當大地提供命中率。隨著水環(huán)越來越大,傳統(tǒng)方法變得越來越發(fā)散,但是,在本發(fā)明的方法中,發(fā)散只固定在兩個點上。這樣,使水環(huán)重復,直到整個幀都得到編碼為止。
如上所述的本發(fā)明最優(yōu)先地編碼和發(fā)送在視覺上重要的圖像某個部分的信息,以便適合于人體的視覺系統(tǒng),并且,在接收部分中,優(yōu)先解碼該圖像信息,以便即使由于傳輸層帶寬的限制,在解碼器上沒有接收到從編碼器發(fā)送的所有位流,也可以保證某個部分的圖像質(zhì)量。
雖然通過參照某些優(yōu)選實施例已經(jīng)對本發(fā)明作了描述,但是,對于本領域的普通技術人員來說,顯而易見,可以對其作各種各樣的改變和修正,而不偏離如所附權利要求書限定的本發(fā)明的范圍。
權利要求
1.一種利用水環(huán)掃描設備的圖像編碼/解碼設備,包括
第一水環(huán)生成裝置,用于生成水環(huán)的至少一個原點開始的、預定區(qū)域的數(shù)據(jù)的第一水環(huán);
編碼裝置,用于編碼和向解碼設備發(fā)送基于由第一水環(huán)生成裝置生成的第一水環(huán)的數(shù)據(jù);
第二水環(huán)生成裝置,用于從水環(huán)的至少一個原點開始為預定區(qū)域的數(shù)據(jù)產(chǎn)生第二一水環(huán),;和
解碼裝置,用于解碼基于由第二水環(huán)生成裝置生成的第二水環(huán)的接收的編碼數(shù)據(jù)。
2.根據(jù)權利要求1所述的水環(huán)掃描設備,其中,預定的區(qū)域是全圖像幀。
3.根據(jù)權利要求1所述的水環(huán)掃描設備,其中,預定的區(qū)域是圖像幀的一部分。
4.根據(jù)權利要求1所述的圖像編碼/解碼設備,其中,水環(huán)的原點是在編碼設備和解碼設備之間定義的預定位置。
5.根據(jù)權利要求4所述的圖像編碼/解碼設備,其中,預定位置是圖像幀的中心部分。
6.根據(jù)權利要求1所述的圖像編碼/解碼設備,還包括
第一水環(huán)原點確定裝置,用于確定和向解碼設備發(fā)送的第一水環(huán)的原點;和
第二水環(huán)原點確定裝置,用于通過從編碼設備的第一水環(huán)原點確定裝置接收水環(huán)原點,確定圖像幀中的第二水環(huán)的原點。
7.根據(jù)權利要求6所述的圖像編碼/解碼設備,其中,水環(huán)(i)是
在x軸上距水環(huán)原點-i和在y軸上在原點±i之間的所有點(1-1位于x-i和(y-i<y<y+i)上的所有位置);
在x軸上距水環(huán)原點+i和在y軸上在原點±i之間所有點(1-2位于x+i和(y-i<y<y+i)上的所有位置);
在y軸上距水環(huán)原點-i和在x軸上在原點±i之間的所有點(2-1位于y-i和(x-i<x<x+i)上的所有位置);
在y軸上距水環(huán)原點+i和在x軸上在原點±i之間的所有點(2-2位于y+i和(x-i<x<x+i)上的所有位置);和
在x軸上距水環(huán)原點±i和在y軸上距水環(huán)原點±i的所有點(3-1的位置是(x-i,y-i),3-2的位置是(x+i,y-i),3-3的位置是(x-i,y+i),和3-4的位置是(x+i,y+i))。
8.根據(jù)權利要求6所述的圖像編碼/解碼設備,其中,水環(huán)掃描設備以宏塊為基礎處理宏塊上的圖像幀。
9.根據(jù)權利要求6所述的圖像編碼/解碼設備,其中,水環(huán)掃描設備以塊為基礎處理塊上的圖像幀。
10.根據(jù)權利要求6所述的圖像編碼/解碼設備,其中,水環(huán)掃描設備以像素為基礎處理像素上的圖像幀。
11.一種用于編碼/解碼圖像幀的方法,包括如下步驟
a)從水環(huán)的至少一個原點開始為預定區(qū)域的數(shù)據(jù)順序地產(chǎn)生第一水環(huán);
b)順序地編碼和向解碼設備發(fā)送基于在步驟a)中依次生成的第一水環(huán)的數(shù)據(jù);
c)順序地生成從水環(huán)的至少一個原點開始的、為接收的編碼數(shù)據(jù)的第二水環(huán);和
d)順序地解碼基于第二水環(huán)的接收的編碼數(shù)據(jù)。
12.根據(jù)權利要求11所述的水環(huán)掃描設備,其中,預定的區(qū)域是全圖像幀。
13.根據(jù)權利要求11所述的水環(huán)掃描設備,其中,預定的區(qū)域是圖像幀的一部分。
14.根據(jù)權利要求11所述的方法,其中,水環(huán)的原點是在編碼設備和解碼設備之間定義的預定位置。
15.根據(jù)權利要求14所述的方法,其中,預定位置是圖像幀的中心部分。
16.根據(jù)權利要求11所述的方法,還包括如下步驟
e)確定和向解碼設備發(fā)送第一水環(huán)的原點;和
f)通過從編碼設備的第一水環(huán)原點確定裝置接收水環(huán)原點,確定圖像幀中的第二水環(huán)的原點。
17.根據(jù)權利要求16所述的方法,其中,水環(huán)(i)是
在x軸上距水環(huán)原點-i和在y軸上在原點±i之間的所有點(1-1位于x-i和(y-i<y<y+i)上的所有位置);
在x軸上距水環(huán)原點+i和在y軸上在原點±i之間所有點(1-2位于x+i和(y-i<y<y+i)上的所有位置);
在y軸上距水環(huán)原點-i和在x軸上在原點±i之間的所有點(2-1位于y-i和(x-i<x<x+i)上的所有位置);
在y軸上距水環(huán)原點+i和在x軸上在原點±i之間的所有點(2-2位于y+i和(x-i<x<x+i)上的所有位置);和
在x軸上距水環(huán)原點±i和在y軸上距水環(huán)原點±i的所有點(3-1的位置是(x-i,y-i),3-2的位置是(x+i,y-i),3-3的位置是(x-i,y+i),和3-4的位置是(x+i,y+i))。
18.一種利用水環(huán)掃描設備的可伸縮圖像編碼/解碼設備,包括
基本層編碼裝置,用于編碼基本層上的輸入圖像幀,生成基本層位流和把基本層位流發(fā)送到解碼設備;
增強層編碼裝置,用于利用水環(huán)掃描設備從水環(huán)的至少一個原點開始在增強層上編碼輸入的圖像幀,生成增強位流和把增強位流發(fā)送到解碼裝置;
基本層解碼裝置,用于接收來自基本層編碼裝置的基本層位流,和通過進行基本層解碼,恢復圖像幀;和
增強層解碼裝置,用于接收來自增強層編碼裝置的增強層位流,和通過對來自水環(huán)原點的解碼增強位流,恢復圖像幀。
19.根據(jù)權利要求18所述的可伸縮圖像編碼/解碼設備,其中,水環(huán)的原點是在編碼設備和解碼設備之間確定的預定位置。
20.根據(jù)權利要求19所述的可伸縮圖像編碼/解碼設備,其中,預定位置是圖像幀的中心部分。
21.一種可伸縮圖像編碼/解碼方法,包括如下步驟
a)編碼基本層上的輸入圖像幀,生成基本層位流和把基本層位流發(fā)送到解碼設備;
b)利用水環(huán)掃描設備從水環(huán)原點開始,在增強層上編碼輸入的圖像幀,生成增強層流和把增強位流發(fā)送到解碼裝置;
c)接收在基本層中編碼的基本層位流,和通過進行基本層解碼,恢復圖像幀;和
d)接收在增強層中編碼的增強層位流,和通過從水環(huán)原點開始解碼增強位流,以恢復圖像幀。
22.根據(jù)權利要求21所述的可伸縮圖像編碼/解碼方法,其中,水環(huán)的原點是在編碼設備和解碼設備之間確定的預定位置。
23.根據(jù)權利要求22所述的可伸縮圖像編碼/解碼方法,其中,預定位置是圖像幀的中心部分。
24.一種利用水環(huán)掃描設備的細粒度可伸縮圖像編碼/解碼設備,包括
基本層編碼裝置,用于編碼基本層上的輸入圖像幀,生成基本層位流和把基本層位流發(fā)送到解碼設備;
增強層編碼裝置,用于利用水環(huán)掃描設備從水環(huán)的至少一個原點開始在增強層上編碼輸入的圖像幀,生成增強位流和把增強位流發(fā)送到解碼裝置;
基本層解碼裝置,用于接收來自基本層編碼裝置的基本層位流,和通過進行基本層解碼,恢復圖像幀;和
增強層解碼裝置,用于接收來自增強層編碼裝置的增強層位流,和通過從水環(huán)原點開始解碼增強位流,恢復圖像幀。
25.根據(jù)權利要求24所述的細粒度可伸縮圖像編碼/解碼設備,其中,增強編碼裝置在對位流進行位面VLC的同時,通過利用水環(huán)掃描設備,從水環(huán)原點開始進行水環(huán)掃描,確定水環(huán)掃描的位置。
26.根據(jù)權利要求24所述的細粒度可伸縮圖像編碼/解碼設備,其中,增強層解碼裝置在進行位面VLD的同時,通過利用水環(huán)掃描設備,從水環(huán)原點開始進行水環(huán)掃描,確定水環(huán)掃描的位置。
27.根據(jù)權利要求24所述的細粒度可伸縮圖像編碼/解碼設備,其中,增強層編碼裝置通過利用水環(huán)掃描設備,從水環(huán)原點開始進行水環(huán)掃描,確定水環(huán)掃描的位置,和按照生成水環(huán)的順序,對位流進行位面VLC。
28.根據(jù)權利要求24所述的細粒度可伸縮圖像編碼/解碼設備,其中,增強層解碼裝置通過進行位面VLD,恢復圖像幀,和通過利用水環(huán)掃描設備,從水環(huán)原點開始進行水環(huán)掃描,確定水環(huán)掃描的位置。
29.根據(jù)權利要求28所述的細粒度可伸縮圖像編碼/解碼設備,其中,水環(huán)的原點是在編碼設備和解碼設備之間確定的預定位置。
30.根據(jù)權利要求29所述的細粒度可伸縮圖像編碼/解碼設備,其中,預定位置是圖像幀的中心部分。
31.根據(jù)權利要求28所述的細粒度可伸縮圖像編碼/解碼設備,其中,水環(huán)掃描設備以宏塊為基礎處理宏塊上的圖像幀。
32.根據(jù)權利要求28所述的細粒度可伸縮圖像編碼/解碼設備,其中,水環(huán)掃描設備以塊為基礎處理塊上的圖像幀。
33.根據(jù)權利要求28所述的細粒度可伸縮圖像編碼/解碼設備,其中,水環(huán)掃描設備以像素為基礎處理像素上的圖像幀。
34.一種細粒度可伸縮圖像編碼/解碼方法,包括如下步驟
a)編碼基本層上的輸入圖像幀,生成基本層位流和把基本層位流發(fā)送到解碼設備;
b)利用水環(huán)掃描設備從水環(huán)原點開始在增強層上編碼輸入的圖像幀,生成增強位流和把增強位流發(fā)送到解碼裝置;
c)接收在基本層中編碼的基本層位流,和通過進行基本層解碼,恢復圖像幀;和
d)接收在增強層中編碼的增強層位流,和通過從水環(huán)原點開始解碼增強位流,恢復圖像幀。
35.根據(jù)權利要求34所述的細粒度可伸縮圖像編碼/解碼方法,其中,增強編碼過程在對位流進行位面VLC的同時,通過利用水環(huán)掃描設備,通過從水環(huán)原點執(zhí)行水環(huán)掃描,確定水環(huán)掃描的位置。
36.根據(jù)權利要求34所述的細粒度可伸縮圖像編碼/解碼方法,其中,增強層解碼過程在進行位面VLD的同時,通過利用水環(huán)掃描設備,從水環(huán)原點執(zhí)行水環(huán)掃描,確定水環(huán)掃描的位置。
37.根據(jù)權利要求34所述的細粒度可伸縮圖像編碼/解碼方法,其中,增強層編碼過程通過利用水環(huán)掃描設備,從水環(huán)原點執(zhí)行水環(huán)掃描,確定水環(huán)掃描的位置,和按照生成水環(huán)的順序,對位流進行位面VLC。
38.根據(jù)權利要求34所述的細粒度可伸縮圖像編碼/解碼方法,其中,增強層解碼過程通過進行位面VLD以恢復圖像幀,和通過利用水環(huán)掃描設備,從在恢復的圖像上的水環(huán)原點執(zhí)行水環(huán)掃描,確定水環(huán)掃描的位置。
39.根據(jù)權利要求38所述的細粒度可伸縮圖像編碼/解碼方法,其中,水環(huán)的原點是在編碼設備和解碼設備之間確定的預定位置。
40.根據(jù)權利要求39所述的細粒度可伸縮圖像編碼/解碼方法,其中,預定位置是圖像幀的中心部分。
41.根據(jù)權利要求38所述的細粒度可伸縮圖像編碼/解碼方法,其中,水環(huán)掃描設備以宏塊為基礎處理宏塊上的圖像幀。
42.根據(jù)權利要求38所述的細粒度可伸縮圖像編碼/解碼方法,其中,水環(huán)掃描設備以塊為基礎處理塊上的圖像幀。
43.根據(jù)權利要求38所述的細粒度可伸縮圖像編碼/解碼方法,其中,水環(huán)掃描設備以像素為基礎處理像素上的圖像幀。
全文摘要
本發(fā)明公開了一種利用水環(huán)掃描設備編碼/解碼視頻序列的設備和方法,該設備包括第一水環(huán)生成裝置,用于生成水環(huán)的至少一個原點開始的、預定區(qū)域的數(shù)據(jù)的第一水環(huán);編碼裝置,用于編碼和向解碼設備發(fā)送基于由第一水環(huán)生成裝置生成的第一水環(huán)的數(shù)據(jù);第二水環(huán)生成裝置,用于從水環(huán)的至少一個原點開始為預定區(qū)域的數(shù)據(jù)產(chǎn)生第二一水環(huán);和解碼裝置,用于解碼基于由第二水環(huán)生成裝置生成的第二水環(huán)的接收的編碼數(shù)據(jù)。
文檔編號H04N1/04GK1638482SQ200410089708
公開日2005年7月13日 申請日期2001年7月7日 優(yōu)先權日2000年7月7日
發(fā)明者樸光勛, 安致得, 鄭元植, 金鎮(zhèn)雄, 金奎憲, 李明浩, 李潤辰, 林榮權 申請人:韓國電子通信研究院, 樸光勛