專利名稱：圖像信號自適應(yīng)編碼的方法和裝置的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像信號編碼的方法和裝置，尤其涉及基于圖像信號幀/場相關(guān)性的自適應(yīng)圖像編碼的方法和裝置。
在數(shù)字電視系統(tǒng)中，如可視電話、遠(yuǎn)程會(huì)議或高清晰度電視系統(tǒng)，大量數(shù)字?jǐn)?shù)據(jù)需用于定義每一視頻幀信號，由于視頻幀信號中的每一視頻行信號包括一系列被稱作像素值的數(shù)字?jǐn)?shù)據(jù)。但由于常規(guī)的傳輸信道的頻帶寬是有限的，為從其上傳輸大量的數(shù)字?jǐn)?shù)據(jù)，有必要通過利用數(shù)字壓縮技術(shù)壓縮和減少流通數(shù)字量，尤其在低速率視頻信號編碼器如視頻電話和遠(yuǎn)程會(huì)議系統(tǒng)中。
這種面向?qū)ο蟮木幋a方案的一個(gè)實(shí)例是所謂的MPEG(運(yùn)動(dòng)圖像專家組)階段4(MPEG-4)，被設(shè)計(jì)以提供一個(gè)音頻-視頻編碼標(biāo)準(zhǔn)，以便允許基于內(nèi)容的交互、提高的編碼效率、和/或在如低速率通信、多媒體交互(例如游戲、交互電視等)和區(qū)域監(jiān)視等應(yīng)用的普遍的可用性。
根據(jù)MPEG-4，輸入視頻圖像被分成多個(gè)視頻目標(biāo)平面(VOP)，其對應(yīng)用戶可訪問和操縱的位流的實(shí)體。VOP可被稱作一目標(biāo)并由邊緣矩形(其寬度和高度為包圍每一目標(biāo)的16像素(一個(gè)宏塊大小)的最小倍數(shù)，以便解碼器可逐VOP地處理輸入視頻圖像。
MPEG-4中所描述的VOP包括形狀信息(即輪廓信號〕和顏色信息(即包含亮度數(shù)據(jù)和色度數(shù)據(jù)的紋理數(shù)據(jù)〕，其中，形狀信息由例如，二進(jìn)制掩膜表示。在二進(jìn)制掩膜中，指定的二進(jìn)制數(shù)值，例如0被用于表示背景像素，即，處于VOP中目標(biāo)外部的像素，另一二進(jìn)制數(shù)值如225，被用于指明一目標(biāo)的像素，即，處于目標(biāo)內(nèi)部的像素。
在編碼被施加于圖像信號之前，例如，一數(shù)字視頻幀信號或含有一基于塊到塊目標(biāo)的VOP，期望對圖像信號的紋理信號進(jìn)行充填，以便阻止由于圖像信號的背景中或目標(biāo)外部區(qū)域的高頻像素?cái)?shù)據(jù)所導(dǎo)致的編碼效率下降。因此，圖像信號的紋理信號的每一背景像素值通常由利用常規(guī)充填方法的目標(biāo)像素值所得到的像素值填充。
例如，在常規(guī)的均值充填方法中，圖像信號(例如VOP)背景中的每一像素值由其中的所有像素值的均值充填。且在常規(guī)重復(fù)充填方法中，VOP背景中的每一像素值由VOP邊緣像素導(dǎo)出的像素值充填(見MPEG-4視頻校驗(yàn)版本7.0，國際標(biāo)準(zhǔn)化組織，運(yùn)動(dòng)和相關(guān)性視頻信息編碼，ISO/IEC JTC/SC29/WG11 MPEG97/N1642，Bristol，1997年4月，pp.40-41)。在將填充應(yīng)用于紋理信號之后，充填的紋理信號利用帶有或不帶有運(yùn)動(dòng)估計(jì)(ME)和運(yùn)動(dòng)補(bǔ)償(MC)技術(shù)的轉(zhuǎn)換編碼技術(shù)編碼。
同時(shí)，考慮到掃描類型，圖像信號的視頻序列可分作兩類；連續(xù)掃描序列和隔行掃描序列。在連續(xù)掃描視頻序列中，序列中的幀順序地被捕捉，并自幀的頂部到幀的底部一行一行地順序處理。隔行掃描視頻幀包括兩個(gè)場由偶數(shù)行組成的偶數(shù)場或頂部場、由奇數(shù)行組成的奇數(shù)場或底部場。這兩種場的捕捉和處理首先在頂部場進(jìn)行，順序由場的頂部到底部，而后對底部場進(jìn)行相同處理。
先前的關(guān)于圖像信號編碼的研究結(jié)果可分成三類幀編碼過程、場編碼過程和既利用幀編碼過程又利用場編碼過程的自適應(yīng)編碼過程。
在幀編碼過程中，視頻序列基本上在幀到幀基礎(chǔ)上編碼，其中頂部場和底部場以隔行方式結(jié)合(幀被處理成仿佛是連續(xù)的)。在幀編碼過程中，每一幀通常分區(qū)成像素?cái)?shù)據(jù)塊(其此后可利用變換編碼方法，如離散余弦變換(DCT)編碼方法(描述見，例如，Chen and Pratt，Scene Adaptive Coder，IEEE Transaction on Communications，Com-32，No.3，pp.225-232(March 1984)，被以塊到塊為基礎(chǔ)進(jìn)行處理)。
在場編碼過程，視頻序列首先被分成兩個(gè)序列，即，頂部場和底部場，此后，每一頂部場和底部場以類似幀編碼過程的方式經(jīng)同一編碼過程處理。
眾所周知，在本技術(shù)領(lǐng)域幀編碼過程在圖像信號內(nèi)部的靜態(tài)區(qū)通過利用其中的高空間相關(guān)性進(jìn)行編碼是高效的；且在區(qū)域內(nèi)的每一場中，可找到較好相關(guān)性的情況下，場編碼過程對相應(yīng)于圖像信號內(nèi)部的運(yùn)動(dòng)目標(biāo)進(jìn)行編碼比幀編碼過程更高效。
在自適應(yīng)編碼過程中，若圖像信號幀的相關(guān)性比幀的頂部場和底部場的高，圖像信號以幀到幀為基被進(jìn)行編碼；否則，圖像信號以場到場為基被進(jìn)行編碼。
近年來，在自適應(yīng)編碼過程由于圖像信號的編碼的高效性和靈活性而引起了廣泛的注意。例如，頒發(fā)給Lucas等的美國專利No.5,347,308揭示出用于對圖像信號自適應(yīng)編碼的典型常規(guī)自適應(yīng)編碼方法和裝置。參考

圖1，示出了Lucas等人的美國專利No.5,347,308所揭示的用于對圖像信號自適應(yīng)編碼的裝置框圖。在Lucas等人的裝置中，圖像信號的輸入幀1首先通過塊分區(qū)過程被分割成多個(gè)像素塊。
此后，一個(gè)塊，即每一塊進(jìn)行場間差檢測過程3(其檢查塊內(nèi)兩場的像素?cái)?shù)據(jù)的差值)。此處，應(yīng)該注意場間差檢測過程3可被視為對每一塊的幀/場的相關(guān)性計(jì)算(或評價(jià))過程。
場間差檢測過程3的一個(gè)實(shí)例是計(jì)算行對間的第一均方誤差(MSE)，每一行對包括一塊內(nèi)的偶數(shù)行和相鄰的奇數(shù)行，例如，圖1所示的塊4；并比較所計(jì)算的相鄰奇行對與同一塊內(nèi)相鄰偶數(shù)行對間的第一和第二MSE；此后，若第一MSE與第二MSE的比值大于預(yù)定的閾值，該塊將由幀編碼過程6進(jìn)行編碼。
來自場編碼過程5和幀編碼過程6的每一塊的編碼數(shù)據(jù)被分別作為信道信息發(fā)送。由場間差檢測過程所獲得的每一塊的結(jié)果數(shù)據(jù)7被作為每一塊的副信息或額外信息進(jìn)行編碼。
但是，Lucas等人的裝置帶來了相當(dāng)大的計(jì)算量和附加傳輸數(shù)據(jù)，由于場間差檢測過程3在圖像信號內(nèi)的整個(gè)塊上進(jìn)行；且圖像信號內(nèi)的整個(gè)塊的副信息以塊到塊為基被編碼和傳輸。
而且，眾所周知，在圖像信號中目標(biāo)的輪廓對于圖像信號編碼中目標(biāo)的運(yùn)動(dòng)很重要。但是，傳統(tǒng)的自適應(yīng)編碼裝置和/或方法如Lucas等人的，或其它先前技術(shù)中的，在含有一目標(biāo)的圖像信號(例如一VOP)的幀/場相關(guān)性計(jì)算(或評價(jià))過程中，不能利用包含于圖像信號中的輪廓信號。即，傳統(tǒng)的裝置和/或方法不能使圖像信號的幀/場相關(guān)性計(jì)算(或評價(jià))過程簡化而有效從而減少圖像信號額外信息量。因此，傳統(tǒng)的裝置和/或方法在增強(qiáng)編碼效率上有局限性。
因此，本發(fā)明的主要目的是提供基于通過利用圖像信號的輪廓信號計(jì)算的幀/場相關(guān)性對圖像信號編碼的裝置和方法，使幀/場相關(guān)性評價(jià)過程簡單，且減少圖像信號的額外信息，由此增強(qiáng)其編碼效率。
根據(jù)本發(fā)明，提供一用于自適應(yīng)編碼圖像信號的設(shè)備，該圖像信號包括含有目標(biāo)內(nèi)的目標(biāo)像素和背景內(nèi)的背景像素的輪廓信號和紋理信號，其中，輪廓信號區(qū)別目標(biāo)像素和背景像素，且每一背景像素和目標(biāo)像素由亮度數(shù)據(jù)和色度數(shù)據(jù)表示，該設(shè)備包括充填電路，用以通過根據(jù)預(yù)定的充填方法，利用輪廓信號由目標(biāo)像素所導(dǎo)出的像素值取代背景像素的每一像素值由此生成充填紋理信號；一亮度數(shù)據(jù)提取電路，用于從充填紋理數(shù)據(jù)中提取亮度數(shù)據(jù)，由此提供一修正的紋理信號，其中，每一修正的紋理信號含有亮度數(shù)據(jù)；和一幀/場相關(guān)性評價(jià)信道，基于輪廓信號和修正的紋理信號，用于幀/場相關(guān)性評價(jià)以評價(jià)一幀修正信號的幀相關(guān)性及頂部場和底部場的場相關(guān)性，并且若幀相關(guān)性比場相關(guān)性高，則決定以幀到幀為基礎(chǔ)編碼圖像信號，生成幀編碼模式信號；而若幀相關(guān)性不比場相關(guān)性高，則決定以場到場為基儲編碼圖像信號，生成場編碼模式信號，其中，幀相關(guān)性和場相關(guān)性根據(jù)預(yù)定規(guī)則計(jì)算。
本發(fā)明的上述和其它目標(biāo)和特征將由下述所選擇實(shí)施例及其附圖得以揭示，其中圖1示出了自適應(yīng)編碼圖像信號的常規(guī)裝置的框圖2示出了根據(jù)發(fā)明優(yōu)選實(shí)施例的自適應(yīng)編碼圖像信號裝置的框圖；圖3描述了包括輪廓塊的修正的紋理信號；圖4示出了通過將頂部場塊和底部場塊相結(jié)合而形成的實(shí)例輪廓塊；圖5示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的圖2所示分塊電路的詳細(xì)框圖。
參考圖2，示出了用于根據(jù)本發(fā)明的優(yōu)選實(shí)施例的自適應(yīng)編碼圖像信號裝置200的框圖。該圖像信號包括目標(biāo)內(nèi)含有目標(biāo)像素、背景中含有背景像素的紋理信號。圖象信號還包括區(qū)別紋理信號中的目標(biāo)像素和背景像素的輪廓信號。紋理信號中的每一目標(biāo)像素和背景像素由亮度數(shù)據(jù)和色度數(shù)據(jù)表示。圖像數(shù)據(jù)一般為視頻物面(VOP)。圖像數(shù)據(jù)也可能為包括一目標(biāo)的數(shù)字圖像幀。
輪廓信號包括含有第一二進(jìn)制值和第二二進(jìn)制值的掩膜數(shù)據(jù)，其中，第一二進(jìn)制值，例如255，用于指明目標(biāo)像素，第二二進(jìn)制值，例如0，用于指明背景像素。因此，可通過利用包含于輪廓信號中的掩膜數(shù)據(jù)區(qū)分紋理信號中的目標(biāo)和背景。
編碼裝置200包括一充填電路210、亮度數(shù)據(jù)提取電路220、幀/場相關(guān)性評價(jià)信道230、分塊電路240、紋理信號編碼信道250和多路器(MUX〕260。幀/場相關(guān)性評價(jià)信道230包括輪廓塊檢測電路231、相關(guān)性計(jì)算電路232和編碼模式判定電路233。紋理信號編碼信道250包括幀編碼電路251、場編碼電路252和數(shù)據(jù)格式化電路253。
首先，圖像信號的輪廓信號經(jīng)線L20被輸入到輪廓塊檢測電路231，到充填電路210，輸入到MUX260。圖像信號的紋理信號經(jīng)線L20供給到充填電路210。充填電路210對紋理信號進(jìn)行充填操作。
具體地，充填電路210根據(jù)預(yù)定的充填方法，如常規(guī)均值充填方法或常規(guī)重復(fù)充填方法，利用經(jīng)線L10所輸入的輪廓信號由目標(biāo)像素值所導(dǎo)出的像素值取代背景像素的每一像素值由此在線L30上生成充填紋理信號。該充填紋理信號經(jīng)線L30被傳輸?shù)搅炼葦?shù)據(jù)提取電路220和分塊電路240。
亮度數(shù)據(jù)提取電路220從充填紋理信號中提取亮度數(shù)據(jù)，由此通過線L40向輪廓塊檢測電路231提供修正的紋理信號，其中，每一修正的紋理信號含有亮度數(shù)據(jù)。
幀/場相關(guān)性評價(jià)信道230，基于輪廓信號和修正的紋理信號，評價(jià)修正信號幀的幀相關(guān)性及其頂部場和底部場的場相關(guān)性，由此若幀相關(guān)性比場相關(guān)性高，則決定以幀到幀為基編碼圖像信號，生成幀編碼模式信號；而若幀相關(guān)性不比場相關(guān)性高，則決定以場到場為基編碼圖像信號，生成場編碼模式信號，其中，幀相關(guān)性和場相關(guān)性根據(jù)預(yù)定規(guī)則計(jì)算。據(jù)預(yù)定規(guī)則的實(shí)例在下文描述。
具體地，幀/場相關(guān)性評價(jià)信道230的輪廓塊檢測電路231首先檢測多個(gè)大小相同的M×N像素的輪廓塊，M和N分別為預(yù)定的正整數(shù)，通過利用經(jīng)由線L10輸入到該處的輪廓信號和經(jīng)由線L40輸入到該處的修正紋理信號，由此將輪廓塊提供給相關(guān)性計(jì)算電路232。此處應(yīng)當(dāng)注意，每一輪廓塊是含有一個(gè)或多個(gè)背景像素和一個(gè)或多個(gè)目標(biāo)像素的塊，且每一輪廓塊的幀通過將含有偶數(shù)行的頂部場塊與含有奇數(shù)行的底部場塊結(jié)合而形成。
圖3描述了包括輪廓塊310的修正紋理信號300，其中，修正紋理信號300的陰影區(qū)和非陰影區(qū)分別表示其目標(biāo)和背景。圖4示出了通過將16×8像素頂部塊與16×8像素底部塊相結(jié)合而形成的16×16像素實(shí)例的輪廓塊400。輪廓塊400包括如圖4所示編號為0到15的水平行。輪廓塊400中的非陰影區(qū)域和陰影區(qū)域，頂部場塊410和底部場塊420，分別代表偶數(shù)行和奇數(shù)行。
相關(guān)性計(jì)算電路232為從輪廓塊檢測電路231輸入到此處的輪廓塊計(jì)算塊-幀相關(guān)性值(此后稱作BRCV)和塊-場相關(guān)性值(此后稱作BDCV)，由此在線L45上分別生成輪廓塊的BRCV和BDCV，其中，BRCV是根據(jù)輪廓塊幀的預(yù)定規(guī)則所計(jì)算的相關(guān)性值；BDCV是根據(jù)輪廓塊頂部場和底部場預(yù)定規(guī)則所計(jì)算的相關(guān)性值。
根據(jù)本發(fā)明優(yōu)選實(shí)施例，BRCV是輪廓塊的塊-幀差(稱作BRD)，BDCV(稱作BDD)是輪廓塊的塊-場差。在上述，BRD是絕對第一差之和，每一第一差是包括輪廓塊偶數(shù)行和相鄰奇數(shù)行的行對間的誤差；BDD是絕對第二差與絕對第三差之和，每一第二差和每一第三差分別是輪廓塊相鄰偶數(shù)行對間及相鄰奇數(shù)行對間的誤差。
根據(jù)本發(fā)明的另一優(yōu)選實(shí)施例，BRCV是輪廓塊的塊-幀平方誤差(稱作BRS)，BDCV是輪廓塊的塊-場平方誤差(稱作BDS)。BRS是第一平方誤差之和，每一第一平方誤差是包括輪廓塊偶數(shù)行和相鄰奇數(shù)行的行對間的平方誤差；BDS是第二平方誤差與絕對第三平方誤差之和，每一第二平方誤差和每一第三平方誤差分別是輪廓塊相鄰偶數(shù)行對間及相鄰奇數(shù)行對間的平方誤差。
參考圖4，相關(guān)性計(jì)算電路232所進(jìn)行的相關(guān)性計(jì)算過程將在下文詳細(xì)描述。在此情況下，為了簡單假定輪廓塊的大小為16×16像素，即，M和N分別為16。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，16×16像素的輪廓塊的BRD和BDD分別利用下述等式1和2進(jìn)行計(jì)算BRD=Σi=06Σj=015(|P2i,j-P2i+1,j|+|P2i+1,j-P2i+2,j|)]]>.....(公式1)BDD=Σi=06Σj=015(|P2i,j-P2i+2,j|+|P2i+1,j-P2i-3,j|)]]>.....(公式2)其中，Ph，v代表輪廓塊內(nèi)處于第h條水平線與第v條垂直線交叉點(diǎn)的像素的亮度，每一h和v范圍從0到15。
根據(jù)本發(fā)明的優(yōu)選實(shí)施例，16×16像素的輪廓塊的BRS和BDS分別利用下述等式3和4進(jìn)行計(jì)算BRS=Σi=06Σj=015((P2i,j-P2i+1,j)2+(P2i+1,j-P2i+2,j)2)]]>...(公式3)BDS=Σi=06Σj=015((P2i,j-P2i+2,j)2-(P2i+1,j-P2i+3,j)2)]]>....(公式4)其中，Ph，v代表輪廓塊內(nèi)處于第h條水平線與第v條垂直線交叉點(diǎn)的像素的亮度，每一h和v范圍從0到15。在上述公式1-4中，水平線h以上升順序自輪廓塊中的頂部到底部計(jì)數(shù)，垂直線v以上升順序自輪廓塊中的左到右計(jì)數(shù)。
編碼模式判定電路233，基于輪廓塊的BRCV(如BRD)和BDCV(BDD)，進(jìn)行編碼模式判定，以生成或者一命令以幀到幀為基礎(chǔ)對圖像信號進(jìn)行編碼的幀編碼模式信號，或者一命令以場到場為基礎(chǔ)對圖像信號進(jìn)行編碼的場編碼模式信號。
具體地，根據(jù)本發(fā)明的優(yōu)選實(shí)施例，編碼模式判定電路233首先對第一輪廓塊的第一數(shù)進(jìn)行計(jì)數(shù)，對第二輪廓塊的第二數(shù)進(jìn)行計(jì)數(shù)，其中，每一第一輪廓塊為含有等于或小于對應(yīng)BDD的對應(yīng)BRD的輪廓塊，每一第二輪廓塊為含有大于對應(yīng)BDD的對應(yīng)BRD的輪廓塊。此后，若第一數(shù)等于或大于第二數(shù)，則模式判定電路233在線L50上生成幀編碼模式信號；若第一數(shù)小于第二數(shù)，則在線L50上生成場編碼模式信號。
根據(jù)本發(fā)明另一優(yōu)選實(shí)施例，編碼模式判定電路233將所有輪廓塊的對應(yīng)BRD取和，由此生成第一和，與此同時(shí)，將所有輪廓塊的對應(yīng)BDD取和，由此生成第二和。此后，編碼模式判定電路233將第一和與第二和對比，若第一和與第二和的比值等于或小于預(yù)定的閾值，如0.8，則在線L50上生成幀編碼模式信號；若第一和與第二和的比值大于預(yù)定的閾值，則在線L50上生成場編碼模式信號。結(jié)果，幀編碼模式信號或場編碼模式信號之一個(gè)經(jīng)線L50供給分塊電路240和數(shù)據(jù)格式化電路253。
分塊電路240響應(yīng)來自編碼模式判定電路233的幀編碼模式信號，對由充填電路210經(jīng)線L30輸入的充填紋理信號進(jìn)行分割，由此經(jīng)線L60向幀編碼電路251提供多個(gè)相同大小的K×L像素的幀塊，K和L分別是預(yù)定的正整數(shù)。同時(shí)，分塊電路240響應(yīng)來自編碼模式判定電路233的場編碼模式信號，將充填紋理信號分割成多個(gè)頂部場和底部場，而后將頂部場分割為多個(gè)大小相同的K×L像素頂部場塊，將底部場分割為多個(gè)大小相同的K×L像素底部場塊，由此經(jīng)線L70向場編碼電路252提供多個(gè)相同大小的K×L像素的頂部場和底部場塊。
在上述，每一經(jīng)線L60供給幀編碼電路251的K×L像素的幀塊通過將僅含有偶數(shù)行的K×(L/2)像素的頂部場與僅含有奇數(shù)行的K×(L/2)像素的底部場結(jié)合而形成；通過線L70供給場編碼電路252的每一K×L像素的頂部場和每一K×L像素的頂部場分別僅含有偶數(shù)行和奇數(shù)行。
圖5示出了根據(jù)本發(fā)明優(yōu)選實(shí)施例的圖2所示分塊電路240的詳細(xì)框圖。參考圖5，分塊電路240所進(jìn)行的分塊過程將在下面詳細(xì)描述。分塊電路240包括編碼路徑選擇電路241、幀塊分割電路245和場塊分割電路247。
編碼路徑選擇電路241響應(yīng)來自編碼模式判定電路233的幀編碼模式信號，選擇幀到幀編碼路徑，以將經(jīng)線L30由充填電路210輸入到此處的充填紋理信號以一幀經(jīng)線L41供給幀塊分割電路245。編碼路徑選擇電路241響應(yīng)來自編碼模式判定電路233的場編碼模式信號，選擇場到場編碼路徑以將由充填電路210輸入的充填紋理信號分割成頂部場和底部場，此后將頂部場和底部場經(jīng)線L43提供給場塊分割電路247。
幀塊分割電路245將輸入到該處的幀分割成多個(gè)大小相等的K×L像素的幀塊，由此將幀塊經(jīng)線L60提供給幀編碼電路251。
場塊分割電路247將來自編碼路徑選擇電路241的頂部場分割成多個(gè)大小相等的K×L像素的頂部場塊，由此將K×L像素的頂部場塊經(jīng)線L70提供給場編碼電路252。同時(shí)，場塊分割電路247將經(jīng)線L43輸入的底部場分割成多個(gè)大小相等的K×L像素的底部場塊，由此將K×L像素的底部場塊經(jīng)線L70提供給場編碼電路252。
如果幀編碼模式信號經(jīng)線L50輸入到該處，紋理信號編碼信道250對經(jīng)線L60輸入到該處的幀塊以幀到幀為基礎(chǔ)編碼，由此經(jīng)線L95向MUX260提供編碼的紋理信號。紋理信號編碼信道250，若場編碼模式信號經(jīng)線L50輸入到該處，對經(jīng)線L70輸入到該處的頂部場塊和底部場塊以場到場為基礎(chǔ)編碼，由此經(jīng)線L95向MUX260提供編碼的紋理信號。
詳細(xì)地，紋理信號編碼信道250中的幀編碼電路251通過利用包括離散余弦變換(DCT)編碼方法和帶有或不帶有運(yùn)動(dòng)估計(jì)(ME)和運(yùn)動(dòng)補(bǔ)償(MC)的量化方法的常規(guī)幀編碼方法對幀塊編碼，由此經(jīng)線L80將編碼的幀塊提供給數(shù)據(jù)格式化電路253。
場編碼電路252通過利用包括DCT編碼方法和帶有或不帶有ME和MC的量化方法的常規(guī)場編碼方法對頂部場塊和底部場塊編碼，由此經(jīng)線L80將編碼的頂部場塊和底部場塊分別提供給數(shù)據(jù)格式化電路253。上述DCT編碼方法以塊到塊為基礎(chǔ)進(jìn)行，塊的大小一般為8×8像素。即K和L典型值分別為8。
數(shù)據(jù)格式化電路253將幀編碼模式信號與編碼幀塊結(jié)合(若幀編碼模式信號經(jīng)線L50輸入到該處)，由此經(jīng)線L95向MUX260提供一編碼的紋理信號。同時(shí)，數(shù)據(jù)格式化電路253將場編碼的模式信號與編碼的頂部場塊和編碼底部場塊結(jié)合(若場編碼模式信號經(jīng)線L50被輸入到該處)，由此經(jīng)線L95向MUX260提供一編碼的紋理信號。此處應(yīng)當(dāng)注意，幀編碼模式信號和場編碼模式信號分別是對應(yīng)編碼的紋理信號的額外信息。
MUX260將由線L10輸入到該處的輪廓信號和由線L95輸入到該處的編碼的紋理信號復(fù)合，以將編碼的圖像信號提供給用于傳輸?shù)陌l(fā)射機(jī)(未示出)。
根據(jù)常規(guī)裝置和/或方法，在對圖像信號編碼時(shí)，圖像信號的額外信息被附加到通過以塊到塊為基礎(chǔ)對圖像信號所分割的所有塊上，由此增加了額外信息量。而根據(jù)本發(fā)明，對圖像信號編碼時(shí)，圖像信號的額外信息被只附加到或者紋理信號或者頂部場和底部場，由此減少了額外信息量。
根據(jù)本發(fā)明，基于利用圖像信號的輪廓信號計(jì)算的幀/場相關(guān)性，提供一用于對圖像信號自適應(yīng)編碼的裝置和方法，以使圖像信號的幀/場相關(guān)性計(jì)算(或評價(jià))過程簡單，并且減少圖像信號的額外信息，由此增強(qiáng)編碼效率。
基于通過利用圖像信號的輪廓信號計(jì)算的幀/場相關(guān)性，提供對圖像信號編碼的裝置和方法，以使幀/場相關(guān)性評價(jià)過程簡單。且減少圖像信號的額外信息，由此增強(qiáng)其編碼效率。
本發(fā)明雖然就特定實(shí)施例進(jìn)行描述，顯然在本領(lǐng)域內(nèi)的技術(shù)人員可在不偏離本發(fā)明下述權(quán)利要求所規(guī)定的精神和范圍的情況下作各種改動(dòng)。
權(quán)利要求
1.一種用于自適應(yīng)編碼圖像信號的設(shè)備，該圖像信號包括含有目標(biāo)內(nèi)的目標(biāo)像素和背景內(nèi)的背景像素的輪廓信號和紋理信號，其中，輪廓信號區(qū)別目標(biāo)像素和背景像素，且每一背景像素和目標(biāo)像素由亮度數(shù)據(jù)和色度數(shù)據(jù)表示，該裝置包括用于通過根據(jù)預(yù)定的充填方法，利用輪廓信號由目標(biāo)像素所導(dǎo)出的像素值取代背景像素的每一像素值由此生成充填紋理信號的裝置；用于從充填紋理數(shù)據(jù)中提取亮度數(shù)據(jù)，由此提供一修正的紋理信號的裝置，其中，每一修正的紋理信號只含有亮度數(shù)據(jù)；和裝置，基于輪廓信號和修正的紋理信號，用于根據(jù)預(yù)定規(guī)則作幀/場相關(guān)性評價(jià)以評價(jià)一幀修正信號的幀相關(guān)性及頂部場和底部場的場相關(guān)性，若幀相關(guān)性比場相關(guān)性高，則決定以幀到幀為基礎(chǔ)編碼圖像信號，生成幀編碼模式信號；而若幀相關(guān)性不比場相關(guān)性高，則決定以場到場為基礎(chǔ)編碼圖像信號，生成場編碼模式信號，其中，幀相關(guān)性和場相關(guān)性根據(jù)預(yù)定規(guī)則計(jì)算。
2.根據(jù)權(quán)利要求1的裝置，其中上述幀/場相關(guān)性評價(jià)裝置包括用于檢測多個(gè)大小相同的M×N像素的輪廓塊的裝置，M和N分別為預(yù)定的正整數(shù)，通過利用輪廓信號和修正紋理信號，由此提供輪廓塊，其中，每一輪廓塊是含有一個(gè)或多個(gè)背景像素和一個(gè)或多個(gè)目標(biāo)像素的塊，且每一輪廓塊的幀通過將含有偶數(shù)行的頂部場塊與含有奇數(shù)行的底部場塊結(jié)合而形成；用于為上述每一輪廓塊計(jì)算塊-幀相關(guān)性值(稱作BRCV)和塊-場相關(guān)性值(稱作BDCV)的裝置，由此生成所述的每輪廓塊的BRCV和BDCV，其中，BRCV是根據(jù)所述的每一輪廓塊幀的預(yù)定規(guī)則所計(jì)算的相關(guān)性值；BDCV是根據(jù)所述的每一輪廓塊頂部場和底部場預(yù)定規(guī)則所計(jì)算的相關(guān)性值；用于基于BRCV和BDCV判定編碼模式的裝置，由此生成或者幀編碼模式信號命令以基于幀到幀對圖像信號編碼，或者場編碼模式信號命令以基于場到場對圖像信號編碼。
3.根據(jù)權(quán)利要求2的裝置，其中，BRCV是上述輪廓塊的塊-幀差(稱作BRD)，BDCV是上述輪廓塊的塊-場差(稱作BDD)，BRD是絕對第一差之和，每一第一差是包括上述每一輪廓塊偶數(shù)行和相鄰奇數(shù)行的行對間的誤差；BDD是絕對第二差與絕對第三差之和，每一第二差和每一第三差分別是上述每一輪廓塊相鄰偶數(shù)行對間及相鄰奇數(shù)行對間的誤差。
4.根據(jù)權(quán)利要求3的裝置，其中，上述編碼模式判定裝置首先計(jì)數(shù)第一輪廓塊的第一數(shù)和第二輪廓塊的第二數(shù)，每一第一輪廓塊為含有等于或小于對應(yīng)BDD的對應(yīng)BRD的輪廓塊，每一第二輪廓塊為含有大于對應(yīng)BDD的對應(yīng)BRD的輪廓塊；由此若第一數(shù)等于或大于第二數(shù)，該模式判定裝置生成幀編碼模式信號；并且若第一數(shù)小于第二數(shù)，則生成場編碼模式信號。
5.根據(jù)權(quán)利要求4的裝置，還包括裝置，響應(yīng)幀編碼模式信號，用于分割充填紋理信號，由此提供多個(gè)大小相同的K×L像素的幀塊，K和L分別是預(yù)定的正整數(shù)，響應(yīng)場編碼模式信號，將充填紋理信號分割成多個(gè)頂部場和底部場，而后將頂部場分割為多個(gè)大小相同的K×L像素頂部場塊，將底部場分割為多個(gè)大小相同的K×L像素底部場塊，由此提供K×L像素的頂部場和K×L像素的底部場塊。
6.根據(jù)權(quán)利要求5的裝置，其中，上述分割裝置包括裝置，響應(yīng)幀編碼模式信號，用于選擇幀到幀編碼路徑以提供充填紋理信號作為一幀，響應(yīng)場編碼模式信號，用于選擇場到場編碼路徑以將充填紋理信號分割為頂部場和底部場，由此提供頂部場和底部場；用于幀塊分割的裝置，以將幀分割為多個(gè)大小相等的K×L像素的幀塊，并由此提供K×L像素的幀塊，其中，每一K×L像素的幀塊通過將僅含有偶數(shù)行的K×(L/2)像素的頂部場與僅含有奇數(shù)行的K×(L/2)像素的底部場結(jié)合而形成；和用于場分割的裝置，以將頂部場分割為多個(gè)大小相同的K×L像素頂部場塊，將底部場分割為多個(gè)大小相同的K×L像素底部場塊，由此提供多個(gè)相同大小的K×L像素的頂部場和底部場塊，其中，每一K×L像素的頂部場和每一K×L像素的底部場分別僅含有偶數(shù)行和奇數(shù)行。
7.根據(jù)權(quán)利要求6的裝置，其中，M和N分別為16。
8.根據(jù)權(quán)利要求7的裝置，其中，BRD和BDD分別由下述等式1和2計(jì)算BRD=Σi=06Σj=015(|P2i,j-P2i+1,j|+|P2i+1,j-P2i+2,j|).....(Equation.1.)]]>BDD=Σi=06Σj=015(|P2i,j-P2i+2,j|+|P2i-1,j-P2i+2,j|).....(Equation.2.)]]>其中，Ph，v代表輪廓塊內(nèi)處于第h條水平線與第v條垂直線交叉點(diǎn)的像素的亮度，每一h和v范圍從0到15。
9.根據(jù)權(quán)利要求2的裝置，其中，BRCV是每一輪廓塊的塊-幀平方誤差(稱作BRS)，BDCV是上述每一輪廓塊的塊-場平方誤差(稱作BDS)，BRS是第一平方誤差之和，每一第一平方誤差是包括上述輪廓塊偶數(shù)行和相鄰奇數(shù)行的行對間的平方誤差；BDS是第二平方誤差與第三平方誤差之和，每一第二平方誤差和每一第三平方誤差分別是每一上述輪廓塊相鄰偶數(shù)行對間及相鄰奇數(shù)行對間的平方誤差。
10.根據(jù)權(quán)利要求9的裝置，編碼模式判定裝置將所有輪廓塊的對應(yīng)BRS取和，由此生成第一和，與此同時(shí)，將所有輪廓塊的對應(yīng)BDS取和，由此生成第二和；此后，將第一和與第二和對比，若第一和與第二和的比值等于或小于預(yù)定的閾值，則生成幀編碼模式信號；若第一和與第二和的比值大于預(yù)定的閾值，則生成場編碼模式信號。
11.一用于在一裝置中自適應(yīng)編碼圖像信號的方法，該圖像信號包括含有目標(biāo)內(nèi)的目標(biāo)像素和背景內(nèi)的背景像素的輪廓信號和紋理信號，其中，輪廓信號區(qū)別目標(biāo)像素和背景像素，且每一背景像素和目標(biāo)像素由亮度數(shù)據(jù)和色度數(shù)據(jù)表示，該方法包括下列步驟(a)進(jìn)行充填操作，以通過根據(jù)預(yù)定的充填方法，利用輪廓信號由目標(biāo)像素所導(dǎo)出的像素值取代背景像素的每一像素值由此生成充填紋理信號；(b)從充填紋理數(shù)據(jù)中提取亮度數(shù)據(jù)，由此提供一修正的紋理信號，其中，每一修正的紋理信號含有亮度數(shù)據(jù)；和(c)幀/場相關(guān)性評價(jià)，基于輪廓信號和修正的紋理信號，以根據(jù)預(yù)定規(guī)則評價(jià)一幀修正信號的幀相關(guān)性及頂部場和底部場的場相關(guān)性，若幀相關(guān)性比場相關(guān)性高，則決定以幀到幀為基礎(chǔ)編碼圖像信號，由此生成幀編碼模式信號；而若幀相關(guān)性不比場相關(guān)性高，則決定以場到場為基礎(chǔ)編碼圖像信號，由此生成場編碼模式信號，其中，幀相關(guān)性和場相關(guān)性根據(jù)預(yù)定規(guī)則計(jì)算。
12.根據(jù)權(quán)利要求11，其中上述步驟(c)包括以下各步(c1)檢測多個(gè)大小相同的M×N像素的輪廓塊，M和N分別為預(yù)定的正整數(shù)，通過利用輪廓信號和修正紋理信號，由此提供輪廓塊，其中，每一輪廓塊是含有一個(gè)或多個(gè)背景像素和一個(gè)或多個(gè)目標(biāo)像素的塊，且每一輪廓塊的幀通過將含有偶數(shù)行的頂部場塊與含有奇數(shù)行的底部場塊結(jié)合而形成；(c2)為每一上述輪廓塊計(jì)算塊-幀相關(guān)性值(稱作BRCV)和塊-場相關(guān)性值(稱作BDCV)，由此生成上述輪廓塊的BRCV和BDCV，其中，BRCV是根據(jù)每一輪廓塊幀的預(yù)定規(guī)則所計(jì)算的相關(guān)性值；BDCV是根據(jù)每一輪廓塊頂部場和底部場預(yù)定規(guī)則所計(jì)算的相關(guān)性值；(c3)基于BRCV和BDCV判定圖像信號的編碼模式，由此生成或者幀編碼模式信號命令以基于幀到幀對圖像信號編碼，或者場編碼模式信號命令以基于場到場對圖像信號編碼。
13.根據(jù)權(quán)利要求12的方法，其中，BRCV是上述每一輪廓塊的塊-幀差(稱作BRD)，BDCV是上述輪廓塊的塊-場差(稱作BDD)，BRD是絕對第一差之和，每一第一差是包括上述每一輪廓塊偶數(shù)行和相鄰奇數(shù)行的行對間的誤差；BDD是絕對第二差與絕對第三差之和，每一第二差和每一第三差分別是上述每一輪廓塊相鄰偶數(shù)行對間及相鄰奇數(shù)行對間的誤差。
14.根據(jù)權(quán)利要求13的方法，其中，在上述步驟(c3)中，第一輪廓塊的第一數(shù)和第二輪廓塊的第二數(shù)被計(jì)數(shù)，每一第一輪廓塊為含有等于或小于對應(yīng)BDD的對應(yīng)BRD的輪廓塊，每一第二輪廓塊為含有大于對應(yīng)BDD的對應(yīng)BRD的輪廓塊；由此若第一數(shù)等于或大于第二數(shù)，該模式判定裝置生成幀編碼模式信號；并且若第一數(shù)小于第二數(shù)，則生成場編碼模式信號。
15.根據(jù)權(quán)利要求14的方法，還包括步驟(d)響應(yīng)幀編碼模式信號，分割充填紋理信號，由此提供多個(gè)大小相同的K×L像素的幀塊，K和L分別是預(yù)定的正整數(shù)，響應(yīng)場編碼模式信號，將充填紋理信號分割成多個(gè)頂部場和底部場，而后將頂部場分割為多個(gè)大小相同的K×L像素頂部場塊，將底部場分割為多個(gè)大小相同的K×L像素底部場塊，由此提供K×L像素的頂部場和K×L像素的底部場塊。
16.根據(jù)權(quán)利要求5的方法，其中，上述步驟(d)包括下列各步(d1)響應(yīng)幀編碼模式信號，選擇幀到幀編碼路徑以提供充填紋理信號作為一幀；響應(yīng)場編碼模式信號，選擇場到場編碼路徑以將充填紋理信號分割為頂部場和底部場，由此提供頂部場和底部場；(d2)幀塊分割以將幀分割為多個(gè)大小相等的K×L像素的幀塊，并由此提供K×L像素的幀塊，其中，每一K×L像素的幀塊通過將僅含有偶數(shù)行的K×(L/2)像素的頂部場與僅含有奇數(shù)行的K×(L/2)像素的底部場結(jié)合而形成；和(d3)場塊分割以將頂部場分割為多個(gè)大小相同的K×L像素頂部場塊，將底部場分割為多個(gè)大小相同的K×L像素底部場塊，由此提供多個(gè)相同大小的K×L像素的頂部場和底部場塊，其中，每一K×L像素的頂部場和每一K×L像素的頂部場分別僅含有偶數(shù)行和奇數(shù)行。
17.根據(jù)權(quán)利要求16的方法，其中，M和N分別為16。
18.根據(jù)權(quán)利要求17的方法，其中，BRD和BDD分別由下述等式1和2計(jì)算BRD=Σi=06Σj=015(|P2i,j-P2i+1,j|+|P2i+1,j-P2i+2,j|).....(Equation.1.)]]>BDD=Σi=06Σj=015(|P2i,j-P2i+2,j|+|P2i+1,j-P2i+3,j|).....(Equation.2.)]]>其中，Ph，v代表輪廓塊內(nèi)處于第h條水平線與第v條垂直線交叉點(diǎn)的像素的亮度，每一h和v范圍從0到15。
19.根據(jù)權(quán)利要求12的方法，其中，BRCV是每一輪廓塊的塊-幀平方誤差(稱作BRS)，BDCV是上述每一輪廓塊的塊-場平方誤差(稱作BDS)，BRS是第一平方誤差之和，每一第一平方誤差是包括上述輪廓塊偶數(shù)行和相鄰奇數(shù)行的行對間的平方誤差；BDS是第二平方誤差與第三平方誤差之和，每一第二平方誤差和每一第三平方誤差分別是上述輪廓塊相鄰偶數(shù)行對間及相鄰奇數(shù)行對間的平方誤差。
20.根據(jù)權(quán)利要求19的方法，其中，在上述步驟(c3)中，所有輪廓塊的對應(yīng)BRS被取和，由此生成第一和，與此同時(shí)，所有輪廓塊的對應(yīng)BDS被取和，由此生成第二和；此后，將第一和與第二和對比，若第一和與第二和的比值等于或小于預(yù)定的閾值，則生成幀編碼模式信號；若第一和與第二和的比值大于預(yù)定的閾值，則生成場編碼模式信號。
全文摘要
圖像信息自適應(yīng)編碼裝置中,充填電路根據(jù)預(yù)定充填方法利用輪廓信號由目標(biāo)像素所導(dǎo)出的像素值取代背景像素的每一像素值生成充填紋理信號。而后,亮度數(shù)據(jù)提取電路從充填紋理數(shù)據(jù)中提取亮度數(shù)據(jù)來提供修正的紋理信號。此后幀/場相關(guān)性評價(jià)信道基于輪廓信號和修正的紋理信號評價(jià)一幀修正信號的幀相關(guān)性及頂部場和底部場的場相關(guān)性,若前者比后者高,逐幀編碼圖像信號生成幀編碼模式信號;否則逐場編碼圖像信號生成場編碼模式信號。
文檔編號H04N7/26GK1257378SQ9810144
公開日2000年6月21日 申請日期1998年4月28日 優(yōu)先權(quán)日1998年4月28日
發(fā)明者金鎮(zhèn)憲 申請人:大宇電子株式會(huì)社