專利名稱：用于在視頻編碼解碼器中實(shí)施快速模式?jīng)Q策的方法及設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明大體而言涉及數(shù)字圖像處理領(lǐng)域，且更具體而言涉及視頻編碼及解碼領(lǐng)域。
背景技術(shù)：
隨著人們?yōu)樘岣咄ㄐ磐ǖ赖臄?shù)據(jù)容量所作的開發(fā)，通過無線或有線通信通道傳輸視頻已成為可能。而且，已制定了各種標(biāo)準(zhǔn)以利于使用具有數(shù)字存儲媒體的電子裝置(例如移動電話、個人計算機(jī)、個人數(shù)字助理(PDA)及其它電子裝置)來實(shí)現(xiàn)視頻傳輸及接收。一些使視頻圖像能夠通過通信通道進(jìn)行傳輸?shù)囊曨l標(biāo)準(zhǔn)的實(shí)例為運(yùn)動圖像專家組-1(MPEG-1)、MPEG-2及MPEG-4、由國際標(biāo)準(zhǔn)化組織(ISO)頒布的國際電信聯(lián)盟(ITU)H.263、H.264。另一著名的標(biāo)準(zhǔn)制定實(shí)體為中國音頻視頻編碼標(biāo)準(zhǔn)工作組(AVS)。
為了提供此種視頻服務(wù)，必須以一不會超過通信通道的數(shù)據(jù)容量的方式來對原始圖像進(jìn)行壓縮。例如，在電路交換式陸線電話系統(tǒng)中，通信通道通常僅限于64千位/秒。然而，此種位速率不足以用于將視頻流以可接受的感覺質(zhì)量以其原始格式進(jìn)行傳輸。然而，實(shí)施所述壓縮的方式不應(yīng)該犧牲接收機(jī)處的所感覺到的圖像質(zhì)量。
為了平衡這兩個對立的要求，許多視頻編碼器使用變換編碼技術(shù)與運(yùn)動補(bǔ)償技術(shù)的組合來壓縮原始視頻序列。所述變換編碼技術(shù)用于消除空間冗余而所述運(yùn)動補(bǔ)償技術(shù)用于消除時間冗余。
所屬領(lǐng)域的技術(shù)人員普遍知道，使用變換編碼及運(yùn)動壓縮技術(shù)來壓縮原始圖像的計算強(qiáng)度很大。實(shí)施壓縮所需的指令數(shù)量(度量單位為MIPS(每秒百萬個指令))很大并可消耗原本可分配給其它應(yīng)用程序的硬件資源。因?yàn)樗鰤嚎s通常要在小型便攜式電子裝置內(nèi)實(shí)施，所以實(shí)施這些壓縮技術(shù)的硬件資源可能有限。因此，當(dāng)前需要降低對視頻編碼器的MIPS或硬件的要求而不使所感覺到的視頻圖像的質(zhì)量過度劣化。

發(fā)明內(nèi)容
本發(fā)明提供用于解決上述需要的方法及設(shè)備。在一個方面中，提供一種用于對一當(dāng)前宏功能塊作出一編碼模式?jīng)Q策的方法，所述方法包括對復(fù)數(shù)個分別與一鄰近宏功能塊相關(guān)聯(lián)的編碼模式進(jìn)行評價；并根據(jù)對所述復(fù)數(shù)個編碼模式的評價來為所述當(dāng)前宏功能塊選擇所述編碼模式。
在另一個方面中，在一視頻編解碼器中提供一種用于對一當(dāng)前宏功能塊實(shí)施一模式?jīng)Q策的設(shè)備，所述設(shè)備包括至少一個存儲元件；及至少一個處理元件，其以通信方式耦接至所述至少一個存儲元件并經(jīng)配置以執(zhí)行一組存儲于所述至少一個存儲元件上的指令，所述一組指令用于對復(fù)數(shù)個分別與一鄰近宏功能塊相關(guān)聯(lián)的編碼模式進(jìn)行評價；并根據(jù)對所述復(fù)數(shù)個編碼模式的所述評價為所述當(dāng)前宏功能塊選擇所述模式。


圖1A&1B為由一視頻編碼器使用的傳統(tǒng)視頻壓縮方案的流程圖。
圖2為一傳統(tǒng)視頻編碼器的一方塊圖。
圖3為一過后模式編碼決策算法的一實(shí)例。
圖4A為一預(yù)先模式?jīng)Q策算法實(shí)施例的一方塊圖。
圖4B為一可在一前模式?jīng)Q策算法實(shí)施例中執(zhí)行的決策標(biāo)準(zhǔn)的一方塊圖。
圖5A為一圖解說明一混合模式?jīng)Q策算法實(shí)施例的方塊圖。
圖5B為一圖解說明一可在一混合模式?jīng)Q策算法實(shí)施例中作為一決策標(biāo)準(zhǔn)執(zhí)行的交錯圖案的一方塊圖。
具體實(shí)施例方式
更新一代的視頻壓縮標(biāo)準(zhǔn)采用一視頻現(xiàn)象來降低編碼的復(fù)雜性。視頻僅僅是一系列在時間上快速、接連出現(xiàn)的稱作幀的靜止圖像?？赡軙^察到一些視頻幀表現(xiàn)出與鄰近幀具有空間相似性及關(guān)聯(lián)性，同時一些視頻幀還表現(xiàn)出與鄰近幀的時間相似性。因此，大多數(shù)視頻壓縮標(biāo)準(zhǔn)對“內(nèi)編碼幀”(其為探測其空間冗余的幀)與“間編碼幀”(其為探測其時間冗余的幀)實(shí)施不同的編碼技術(shù)。對包含空間或時間冗余的幀通常使用預(yù)測性編碼。為了方便說明，內(nèi)編碼幀在本文中將稱作I幀且間編碼幀將在本文中稱作P幀。為了對I幀及P幀進(jìn)行編碼，一典型的視頻編解碼器將對一圖像幀的宏功能塊而不是所述圖像幀的全部進(jìn)行處理。在使用四分之一通用中間格式(Quarter Common Intermediate Format，QCIF)的標(biāo)準(zhǔn)尺寸度量單位時，一個塊包括一8×8像素組而一宏功能塊包括一16×16像素組。一由176×144個像素構(gòu)成的QCIF幀具有99個宏功能塊。為了方便說明，所述內(nèi)編碼宏功能塊在本文中將稱作“內(nèi)MB”且使用運(yùn)動補(bǔ)償及時間預(yù)測進(jìn)行編碼的宏功能塊在本文中將稱作“間MB”。
圖1A為一圖解說明內(nèi)編碼的流程圖。在步驟100處，使一內(nèi)MB中的像素經(jīng)歷一變換編碼。在步驟110處，隨后對變換的系數(shù)進(jìn)行量化。在步驟120處，隨后對經(jīng)量化的系數(shù)進(jìn)行無損編碼以供傳輸。由于以MPEG-4格式進(jìn)行標(biāo)準(zhǔn)化的變換編碼技術(shù)為離散余弦變換(DCT)，因此在本文中將各實(shí)施例描述為使用DCT。然而，所屬領(lǐng)域的技術(shù)人員將認(rèn)識到，各實(shí)施例并不僅限于DCT，而是也可用于使用其它變換編碼技術(shù)的視頻編碼器。因?yàn)樵谝幌鄬ι倭康南禂?shù)中可能壓縮有大量的能量，所以常常選擇DCT作為視頻編碼標(biāo)準(zhǔn)的變換代碼。
內(nèi)MB編碼涉及圖1A所示過程的一逆轉(zhuǎn)形式對所接收的信息進(jìn)行無損耗編碼、解量化、及隨后使用步驟100處所用變換的逆變換來進(jìn)行變換。
內(nèi)MB的編碼過程相對簡單且對計算強(qiáng)度不大。對內(nèi)MB進(jìn)行編碼需要使用很多個位，從而需要使用大量存儲器及傳輸帶寬。因此，此編碼過程消耗存儲器而不是處理器循環(huán)。根據(jù)圖1A中所示的方法對整個視頻流進(jìn)行編碼的效率將偏低，因?yàn)閭鬏斖ǖ缹o法攜載為每秒傳送多個幀所需的總位數(shù)。
與I幀相比，P幀進(jìn)一步逐幀地探測并降低時間冗余，此可與空間冗余的降低一道用來減少需要存儲于存儲器中的位數(shù)。在一對低運(yùn)動性行為進(jìn)行的視頻記錄中，如果對一個幀與下一個幀之間的運(yùn)動進(jìn)行補(bǔ)償，則這兩個幀之間的像素差將較小。因?yàn)樵谶\(yùn)動補(bǔ)償后幾乎不存在或根本不存在運(yùn)動，所以可使用有關(guān)前一及/或?qū)韼男畔眍A(yù)測當(dāng)前幀將顯示什么。并非對當(dāng)前幀中的所有位進(jìn)行編碼及傳輸，而是僅編碼及傳輸對當(dāng)前幀可能包含什么內(nèi)容的預(yù)測的剩余位，從而減少需要存儲或傳輸?shù)奈粩?shù)。然而，由于為估測所述運(yùn)動所需的估測計算的數(shù)量，對P幀的編碼的計算強(qiáng)度很高。
圖1B為一圖解說明對間MB進(jìn)行編碼的流程圖。在步驟140處，使用運(yùn)動估測技術(shù)來確定一P幀內(nèi)各像素塊之間的平移運(yùn)動。所述運(yùn)動通常由一運(yùn)動矢量表示?？蓪Ω鹘M塊(即宏功能塊)進(jìn)行比較來為每一P幀確定復(fù)數(shù)個運(yùn)動矢量。請注意，對運(yùn)動矢量的搜索的計算強(qiáng)度很高，因?yàn)閷γ恳粋€塊均實(shí)施對一最佳運(yùn)動矢量的搜索。在步驟150處，使用所述運(yùn)動矢量來預(yù)測一經(jīng)運(yùn)動補(bǔ)償?shù)暮旯δ軌K。在步驟160處，從一當(dāng)前宏功能塊中減去所述經(jīng)運(yùn)動補(bǔ)償?shù)暮旯δ軌K以形成一剩余宏功能塊。在步驟170處，使所述剩余宏功能塊經(jīng)歷一變換，對所變換的剩余宏功能塊的系數(shù)進(jìn)行量化，并隨后進(jìn)行無損編碼。由于所述剩余宏功能塊攜載的信息少于原始P幀的宏功能塊，因此減少了需要傳輸至一接收方的位數(shù)。
通常，一視頻編解碼器會選擇將每第N個幀編碼成一I幀而將其余幀編碼成P幀。各I幀之間的此持續(xù)時間稱作一“內(nèi)周期”。I幀的存在用作刷新所述P幀的參考。在所指定的P幀內(nèi)，所述視頻編解碼器偶爾也會選擇某些宏功能塊作為不是使用時間預(yù)測來編碼的內(nèi)編碼宏功能塊。
圖2為一在一電子裝置中由一傳統(tǒng)視頻編解碼器實(shí)施的編碼的方塊圖。經(jīng)由所述編解碼器的信號路徑取決于所述輸入圖像信號是一I幀還是一P幀，或者另一選擇為，取決于一P幀內(nèi)的一宏功能塊是一內(nèi)MB還是一間MB。為了方便說明，在下文中將使用術(shù)語內(nèi)MB及間MB來闡述對一P幀的編碼。如果所述輸入圖像信號是一內(nèi)MB，則一開關(guān)200建立一經(jīng)由DCT塊202、量化器塊204及隨后的無損編碼塊206的信號路徑。所述信號離開所述編解碼器以在所述電子裝置內(nèi)作進(jìn)一步處理。進(jìn)一步處理的一實(shí)例是在位流編碼塊208處進(jìn)行編碼，位流編碼塊208以一適于所述傳輸媒體的傳輸格式對所述信號進(jìn)行編碼。
雖然內(nèi)MB編碼結(jié)束于塊204處，但所述內(nèi)MB需要為間MB編碼用作一參考MB。因此，離開量化器塊204的量化值還進(jìn)入所述視頻編解碼器的一解碼部分210。解碼部分210包括一解量化器塊212及一逆DCT塊213。所述量化值穿過解量化器塊212并隨后穿過逆DCT塊213，以重構(gòu)所述內(nèi)MB來用于刷新由運(yùn)動補(bǔ)償塊230及運(yùn)動估測塊232所存取的緩沖器222。經(jīng)由DCT塊202、量化器塊204及隨后經(jīng)由無損編碼塊206的路徑也適用于對通過所述間MB編碼所產(chǎn)生的剩余MB進(jìn)行編碼。
如果所述輸入圖像信號為一間MB，則開關(guān)200建立一包括運(yùn)動補(bǔ)償塊230及運(yùn)動估測塊232的新的信號路徑。運(yùn)動估測塊232自緩沖器222接收當(dāng)前的間MB及一組所存儲的參考MB并在復(fù)數(shù)個運(yùn)動矢量中搜索能最好地說明當(dāng)前間MB與參考MB之間的運(yùn)動之運(yùn)動矢量。應(yīng)注意，所述參考MB為存儲的自所述視頻編解碼器的解碼部分210輸出的先前或?qū)鞰B的重構(gòu)像素。然后，所述運(yùn)動矢量輸入至運(yùn)動補(bǔ)償塊230中。
運(yùn)動補(bǔ)償塊230自運(yùn)動補(bǔ)償塊230接收所述運(yùn)動矢量并自緩沖器222接收所述參考MB，以根據(jù)所述參考MB產(chǎn)生一新的預(yù)測性MB，即所述當(dāng)前間MB的一預(yù)測性形式。當(dāng)進(jìn)行間MB編碼時，應(yīng)對所述參考MB進(jìn)行更新。因此，開關(guān)240“接通”，以便通過求和元件220將所述預(yù)測性MB加至自解碼部分210輸出的經(jīng)解碼的剩余MB。將所述結(jié)果作為一新參考MB存儲于緩沖器222中。
來自運(yùn)動補(bǔ)償塊230的預(yù)測性MB由減法元件224從所述當(dāng)前間MB中減去。然后，如上文針對內(nèi)MB編碼所述對所述剩余MB進(jìn)行處理。使經(jīng)量化和變換的剩余MB進(jìn)一步穿過解碼部分210，以使所述剩余MB可由所述視頻編解碼器用來更新存儲于緩沖器222中的參考MB，所述參考MB又可由運(yùn)動補(bǔ)償塊230及運(yùn)動評價塊232存取以用來對將來或過去的幀的MB進(jìn)行編碼。應(yīng)注意，預(yù)測性編碼技術(shù)可為雙向的，因?yàn)榭墒褂眠^去的信息預(yù)測當(dāng)前幀或可使用將來的信息預(yù)測當(dāng)前幀。
對所述內(nèi)MB的編碼也可使用空間預(yù)測。對所述間MB的編碼采用時間預(yù)測。圖2所示傳統(tǒng)視頻編解碼器設(shè)計的問題在于，非預(yù)測性編碼消耗太多的存儲資源且預(yù)測性編碼消耗太多的處理資源。如果所屬領(lǐng)域的技術(shù)人員決定需要降低MIPS要求以實(shí)施其它任務(wù)，則增加I幀或內(nèi)MB的數(shù)量為一可能的解決方案，此是通過降低所述內(nèi)周期值N來實(shí)現(xiàn)的。然而，此解決方案有缺陷，因?yàn)閷Υ鎯Y源的需求會相應(yīng)地增加。此外，所述視頻圖像在一通信通道上的總傳輸速率將增加，因?yàn)榕c預(yù)測性信息相比，需要更多的位來傳送空間信息。對于無線應(yīng)用(例如通過蜂窩電話的視頻流)而言，如果所述無線或陸線通信通道不能適應(yīng)增大的傳輸位速率，則增加的傳輸位可能導(dǎo)致合成圖像信號劣化。
相反地，如果所屬領(lǐng)域的技術(shù)人員確定存儲資源有限，則一種解決方案是實(shí)施更具時間預(yù)測性的編碼，此是通過增大內(nèi)周期值N來實(shí)現(xiàn)的。然而，時間預(yù)測性編碼需要使用處理元件的更多循環(huán)，如果負(fù)載超過一最大閾值，則所述處理元件將放下幀處理任務(wù)來實(shí)施具有更高優(yōu)先級的任務(wù)。所放下的任務(wù)則往往使合成圖像的質(zhì)量劣化。另外，每當(dāng)在圖像內(nèi)出現(xiàn)高速活動時，合成圖像的質(zhì)量也會劣化，因?yàn)槭褂锰嘟?jīng)預(yù)測編碼的幀可能導(dǎo)致所述視頻編解碼器的運(yùn)動估測能力不足。
因此，除了在各種宏功能塊尺寸選擇之間作出一最佳預(yù)測模式確定外，視頻編解碼器運(yùn)行中的一重要考慮因素是對于確定一P幀MB是應(yīng)編碼成一內(nèi)MB還是應(yīng)編碼成一間MB的設(shè)計。例如，在H.264中，對于內(nèi)編碼而言，存在用于4×4塊尺寸的九種編碼模式及用于16×16MB的四種編碼模式。對于間MB而言，在一些高級編解碼器(例如H.264)中的一重要考慮因素也是在各個MB尺寸選擇之間進(jìn)行一最佳預(yù)測模式確定。例如，H.264支持四種編碼類型，包括用于間MB的16×16、16×8、8×16及8×8的塊尺寸。
傳統(tǒng)上，視頻編解碼器是根據(jù)對每一MB實(shí)施的測量來進(jìn)行編碼模式?jīng)Q策。在視頻編解碼器中，涉及運(yùn)動估測及空間估測的預(yù)測性編碼的計算強(qiáng)度很高，因?yàn)槠湓谶x定一能達(dá)到最佳壓縮效率的最佳模式前要采用對多個編碼模式的窮盡性搜索。
圖3為一編碼模式?jīng)Q策算法的一實(shí)例。在步驟300處，由一運(yùn)動估測/空間估測(ME/SE)引擎實(shí)施廣泛的計算來確定一幀內(nèi)每一宏功能塊的每一可允許編碼模式的失真量度或質(zhì)量量度。在步驟310處，根據(jù)所允許編碼模式的失真量度/質(zhì)量量度來為所述MB選擇最佳編碼模式。一種這樣的質(zhì)量量度為絕對差的和(SAD)值，其為一基于一當(dāng)前MB與前一幀中的一MB之間的絕對差的失真量度。另一量度可是為查找能產(chǎn)生最小成本的編碼模式而花費(fèi)在對運(yùn)動矢量及余量進(jìn)行編碼上的位數(shù)。
如果所述MB為一內(nèi)MB，則所述程序流進(jìn)行至步驟320。例如，在H.264中，對于一4×4內(nèi)MB存在九種編碼模式且對于一16×16內(nèi)MB存在四種編碼模式。對于一4×4內(nèi)MB而言，所述九種編碼模式為垂直預(yù)測、水平預(yù)測、DC預(yù)測、左下對角預(yù)測、右下對角預(yù)測、右垂直預(yù)測、下水平預(yù)測、左垂直預(yù)測及上水平預(yù)測。對于一16×16內(nèi)MB而言，所述四種編碼模式為垂直預(yù)測、水平預(yù)測、DC預(yù)測及平面預(yù)測。
如果在步驟310處確定所述MB為一間MB，則所述程序流進(jìn)行至步驟330，隨后對所述間MB進(jìn)行預(yù)測性編碼。在H.264中，存在與16×16、16×8、8×16、及8×8的塊尺寸相關(guān)聯(lián)的四種編碼類型。
在步驟320或步驟330后，以一適于傳輸?shù)母袷綄λ幋a的MB進(jìn)行無損編碼。
應(yīng)注意，在步驟310處，在所述運(yùn)動估測(ME)及/或所述空間估測(SE)搜索后，進(jìn)行編碼模式?jīng)Q策。通過在所有可能的編碼模式進(jìn)行窮盡性搜索來實(shí)施此編碼模式?jīng)Q策，并在所有搜索后進(jìn)行一選擇。由于這種原因，將所述決策算法歸類為一“過后模式”決策算法。由于所述過后模式?jīng)Q策算法需要進(jìn)行ME及/或SE搜索，因此為實(shí)施所述算法，必須消耗大量硬件或數(shù)字信號處理器(DSP)資源。
本發(fā)明所提供的各實(shí)施例是用于通過降低所述編碼模式?jīng)Q策對窮盡性SE及ME搜索的依賴來降低用于實(shí)施一編碼模式?jīng)Q策的計算復(fù)雜度。在一實(shí)施例中，提供一種用于為MB的一部分預(yù)先確定預(yù)測模式的方法及設(shè)備。所述實(shí)施例可稱作預(yù)先模式?jīng)Q策算法。在此實(shí)施例的一個方面中，對過去及/或當(dāng)前可用的預(yù)測模式進(jìn)行分析以為一當(dāng)前MB確定一預(yù)測模式。在另一實(shí)施例中，將用于預(yù)先確定所述預(yù)測模式的方法及設(shè)備與一過后模式?jīng)Q策相結(jié)合來創(chuàng)建一混合模式?jīng)Q策算法。
空間預(yù)測及運(yùn)動估測的基礎(chǔ)是一特定幀內(nèi)的強(qiáng)的空間關(guān)聯(lián)性及各連續(xù)幀之間強(qiáng)的時間及空間關(guān)聯(lián)性。本文的各實(shí)施例是基于如下前提通過前述過后模式?jīng)Q策算法所確定的當(dāng)前MB的最佳預(yù)測模式也將很強(qiáng)地與其它MB的最佳預(yù)測模式相關(guān)聯(lián)。例如，一幀中一相對平坦的區(qū)域可促使一過后模式?jīng)Q策算法將一組MB指定為尺寸為16×16的間MB，將另一組MB指定為尺寸為8×8的間MB并將另一組MB指定為尺寸為4×4的內(nèi)MB。因此，一MB往往會得到與在空間上/時間上相接近的其它MB相同的編碼模式指定。
圖4A為一圖解說明一預(yù)先模式?jīng)Q策算法的一實(shí)施例的方塊圖。在步驟400處，所述視頻編解碼器對來自一過去及/或當(dāng)前幀的所選的在空間上及/或時間上相接近的MB(即鄰近MB)的編碼模式進(jìn)行評價。在步驟410處，所述編解碼器使用一決策標(biāo)準(zhǔn)來確定當(dāng)前MB的編碼模式。
圖4B為一可在所述預(yù)先模式?jīng)Q策算法的一實(shí)施例中執(zhí)行的簡單決策標(biāo)準(zhǔn)的方塊圖。將來自一過去及/或當(dāng)前幀的鄰近MB的已作出的模式?jīng)Q策420a、420b、...、420n輸入至一實(shí)施一簡單的多數(shù)表決選擇430的邏輯。對當(dāng)前MB的模式?jīng)Q策是基于所述已作出的模式?jīng)Q策420a、420b、...、420n的多數(shù)表決的結(jié)果。
在所述實(shí)施例的一個方面中，可使用一交錯圖案來實(shí)施對所述已作出的模式?jīng)Q策420a、420b、...、420n的選擇，以使來自一過去幀的模式?jīng)Q策可與來自所述當(dāng)前幀的模式?jīng)Q策一起用作多數(shù)表決選擇邏輯430的備選項(xiàng)。換句話說，作為一例示性實(shí)例，如果所述MB位于一幀T中的位置(x、y)處，則可選擇來自幀T中位置(x-1、y)、(x+1、y)、(x、y-1)及(x、y+1)處的模式?jīng)Q策及來自幀T-1中位置(x-1、y-1)、(x+1、y-1)、(x-1、y+1)及(x+1、y+1)處的模式?jīng)Q策作為往多數(shù)表決選擇邏輯的輸入。
在所述實(shí)施例的另一方面中，可使用一自適應(yīng)性交錯圖案而不是一固定的交錯圖案來選擇備選MB。此外，可使用不同的交錯圖案，只要符合某一標(biāo)準(zhǔn)即可。例如，僅將符合某一可信度水平或超過某一(某些)閾值的MB用于預(yù)先模式?jīng)Q策。此類MB未必位于一固定的圖案中。
在另一方面中，所述多數(shù)表決選擇邏輯可接收來自所有備選MB的模式作為輸入并根據(jù)一加權(quán)因數(shù)對每一模式進(jìn)行加權(quán)。例如，可使用一備選MB在空間及/或時間上距當(dāng)前MB的距離的倒數(shù)作為一加權(quán)因數(shù)以在所述多數(shù)表決選擇時對一模式進(jìn)行加權(quán)。
可對上述預(yù)先模式?jīng)Q策實(shí)施例加以改進(jìn)以防止錯誤模式?jīng)Q策的傳播。所述預(yù)先模式?jīng)Q策算法可與一過后模式?jīng)Q策算法相結(jié)合以創(chuàng)建一混合模式?jīng)Q策實(shí)施例。
圖5A為一圖解說明一混合模式?jīng)Q策算法的一實(shí)施例的方塊圖。
在步驟500處，針對選擇MB實(shí)施一預(yù)先模式?jīng)Q策。上文已針對圖4A及4B闡述了所述預(yù)先模式?jīng)Q策過程。下文將進(jìn)一步根據(jù)圖5B來闡述用于選擇使哪些MB經(jīng)歷所述預(yù)先模式?jīng)Q策過程的方法。在步驟510處，所述ME/SE引擎對未作出預(yù)先模式?jīng)Q策的MB實(shí)施窮盡性ME及SE兩種搜索。在步驟520處，為經(jīng)歷所述運(yùn)動及空間估測搜索的MB選擇最佳編碼模式。
如果所述MB為一內(nèi)MB，則所述程序流進(jìn)行至步驟530。
如果確定出所述MB為一間MB，則所述程序流進(jìn)行至步驟540，在此處對所述間MB進(jìn)行預(yù)測性編碼。
在步驟530或步驟540后，以一適于傳輸?shù)母袷皆诓襟E550處對所編碼的MB進(jìn)行無損編碼。
圖5B為一顯示如何對圖5A所示混合模式?jīng)Q策實(shí)施例應(yīng)用一交錯圖案來確定將使用一預(yù)先模式?jīng)Q策過程還是一過后模式?jīng)Q策過程來確定一MB的編碼模式的圖式。
圖5B為一交錯圖案的一實(shí)例，其中當(dāng)前MB(以一虛的X進(jìn)行標(biāo)記)處于一其中將實(shí)施一預(yù)先模式?jīng)Q策過程的位置上。所述預(yù)先模式?jīng)Q策將基于早已對陰影位置上的MB作出的模式?jīng)Q策。在此示例中，所述預(yù)先模式?jīng)Q策將基于對當(dāng)前幀T及前一幀T-1使用過后模式?jīng)Q策過程所確定出的三個備選項(xiàng)。因此，交錯圖案可用于確定將進(jìn)行一預(yù)先模式還是一過后模式?jīng)Q策，且所述模式還可用于確定要在所述預(yù)先模式?jīng)Q策過程中使用哪些備選項(xiàng)。
圖5B中所具體顯示的交錯圖案僅作為可用于混合模式?jīng)Q策實(shí)施例的交錯圖案的一實(shí)例。在預(yù)先模式?jīng)Q策實(shí)施例中所述的交錯圖案也可適用于此實(shí)施例?？墒褂靡蛔赃m應(yīng)性或一固定的交錯圖案來選擇要經(jīng)歷預(yù)先模式?jīng)Q策而不是過后模式?jīng)Q策的MB。此外，只要符合某一標(biāo)準(zhǔn)，也可使用不同的交錯圖案。應(yīng)注意，使用任何種類的交錯圖案均使所述編解碼器能夠控制所作出的預(yù)先模式?jīng)Q策的數(shù)量而不是過后模式?jīng)Q策的數(shù)量。如果所述處理資源短缺，例如，當(dāng)在容納所述編解碼器的電子裝置上正在運(yùn)行多個應(yīng)用程序時，可對所述編解碼器進(jìn)行設(shè)定以減少過后模式?jīng)Q策的數(shù)量，從而相應(yīng)減少對最佳編碼模式的窮盡性計算搜索的數(shù)量。在此示例中將適合使用一需要作出較少過后模式?jīng)Q策的交錯圖案。
在所述混合模式實(shí)施例的另一方面中，可根據(jù)來自一特征提取單元(圖5A中的方塊560)的輸入或根據(jù)網(wǎng)絡(luò)反饋(圖5A中的方塊570)或根據(jù)速率控制(圖5A中的方塊555)來決定使一MB經(jīng)歷一預(yù)先模式還是過后模式?jīng)Q策。例如，所述實(shí)施例可實(shí)施成適應(yīng)具有不同圖像尺寸、位速率及/或幀速率的視頻流。在再一方面中，所述實(shí)施例可實(shí)施成適應(yīng)易于出現(xiàn)通道錯誤的可變傳輸通道。在再一方面中，所述實(shí)施例可實(shí)施成適應(yīng)一用戶自定義的質(zhì)量量度。在再一方面中，所述實(shí)施例可實(shí)施成適應(yīng)硬件資源短缺。如本文中所示，所述實(shí)施例可用于適應(yīng)可源自于容納所述視頻編解碼器的電子裝置的不同部分的諸多不同需要。配置信號可源自于所述電子裝置的任一部分，或者另一選擇為，所述配置信號可源自于一由所述電子裝置存取的網(wǎng)絡(luò)。
也可具有不同的實(shí)施例，其中所述混合模式?jīng)Q策可出現(xiàn)在所述編碼過程的不同層次上。特別是，所述預(yù)先模式?jīng)Q策可按三種不同層次實(shí)施。在一實(shí)施例中，所述預(yù)先模式?jīng)Q策只確定一MB應(yīng)為內(nèi)編碼式還是間編碼式，并隨后將子模式?jīng)Q策留給由所述ME/SE引擎及所述過后模式?jīng)Q策過程所進(jìn)行的進(jìn)一步搜索。在H.264中，子模式可指代所述九種4×4內(nèi)編碼模式或所述四種16×16內(nèi)編碼模式或所述16×16、16×8、8×16、8×8間編碼模式中的一者。在另一實(shí)施例中，所述預(yù)先模式?jīng)Q策首先為當(dāng)前MB確定下列模式中的一者內(nèi)4×4、內(nèi)16×16、間16×16、間16×8、間8×16及間8×8，以便只對所選模式中的可能的子模式實(shí)施所述過后模式?jīng)Q策過程。在另一實(shí)施例中，所述預(yù)先模式?jīng)Q策首先確定一特定子模式(例如(舉例而言)內(nèi)4×4垂直預(yù)測)，以便只需對已預(yù)先確定的一特定模式實(shí)施進(jìn)一步的SE或ME搜索。
本文中所述的各實(shí)施例是用于降低對P幀及/或I幀及/或雙向幀(B幀)的編碼過程的計算復(fù)雜度。通過利用編碼模式?jīng)Q策之間的關(guān)聯(lián)性來減少窮盡性SE及/或ME搜索的數(shù)量，將使對視頻編碼的計算復(fù)雜度(DSPMIPS或硬件功率)的要求能夠得到降低而不會使所感覺到的視頻的質(zhì)量過度劣化。
硬件(例如一數(shù)字信號處理器或其它處理元件及存儲元件)可配置成執(zhí)行用于實(shí)施上述方法步驟的指令。此種硬件可容易地實(shí)施于任何符合MPEG、ITU-TH.26x或AVS標(biāo)準(zhǔn)的當(dāng)前現(xiàn)有的視頻編解碼器中。
所屬領(lǐng)域的技術(shù)人員應(yīng)了解，結(jié)合本文所揭示實(shí)施例來闡述的各種例示性邏輯塊、模塊、電路及算法步驟可實(shí)施為電子硬件、計算機(jī)軟件或二者的組合。為清晰地顯示硬件與軟件的互換性，上文是根據(jù)功能度來概述各種例示性組件、塊、模塊、電路、及步驟。此種功能度是實(shí)施為硬件還是軟件取決于特定應(yīng)用及施加于整個系統(tǒng)的設(shè)計約束條件。所屬領(lǐng)域的技術(shù)人員可針對每一特定應(yīng)用以不同方式實(shí)施所述功能度，但不應(yīng)認(rèn)為此類實(shí)施決定導(dǎo)致背離本發(fā)明的范圍。
結(jié)合本文所揭示實(shí)施例來闡述的各例示性邏輯塊、模塊及電路可使用下列裝置構(gòu)建或?qū)嵤┩ㄓ锰幚砥?、?shù)字信號處理器(DSP)、應(yīng)用專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)或其它可編程邏輯裝置、離散門電路或晶體管邏輯電路、離散硬件組件、或其設(shè)計用于實(shí)施上文所示各功能的任何組合。通用處理器可為一微處理器，但另一選擇為，處理器也可為任何傳統(tǒng)處理器、控制器、微控制器或狀態(tài)機(jī)。處理器也可構(gòu)建為一運(yùn)算裝置的組合，例如，一DSP與一微處理器的組合、多個微處理器的組合、一或多個微處理器與DSP核心的聯(lián)合，或任何其它此類配置。
本文結(jié)合所揭示實(shí)施例來闡述的方法或算法步驟可直接實(shí)施于硬件、由處理器執(zhí)行的軟件模塊或兩者的組合中。軟件模塊可駐存于RAM存儲器、快閃存儲器、ROM存儲器、EPROM存儲器、EEPROM存儲器、寄存器、硬盤、可移動式磁盤、CD-ROM、或所屬領(lǐng)域已知的任一其他形式的存儲媒體內(nèi)。一實(shí)例性存儲媒體耦接至所述處理器，以使所述處理器可自所述存儲媒體讀取信息及向所述存儲媒體寫入信息?；蛘?，所述存儲媒體可為處理器的組成部分。所述處理器及存儲媒體可駐存于ASIC中。所述ASIC則可駐存于一用戶終端機(jī)中。另一選擇為，所述處理器及存儲媒體可作為分立組件駐存于一用戶終端機(jī)中。
上文對所揭示實(shí)施例的說明旨在使所屬領(lǐng)域的技術(shù)人員能夠制作或使用本發(fā)明。所屬領(lǐng)域的技術(shù)人員將易知這些實(shí)施例的各種修改形式，且本文所界定的一般原理也可適用于其它實(shí)施例，此并不背離本發(fā)明的精神或范圍。因此，本文并非意欲將本發(fā)明限定于本文所示實(shí)施例，而欲賦予其與本文所揭示原理及新穎特征相一致的最寬廣范圍。
權(quán)利要求
1.一種用于對一當(dāng)前宏功能塊作出一編碼模式?jīng)Q策的方法，其包括對復(fù)數(shù)種分別與一鄰近宏功能塊相關(guān)聯(lián)的編碼模式進(jìn)行評價；及根據(jù)對所述復(fù)數(shù)種編碼模式的所述評價為所述當(dāng)前宏功能塊選擇所述編碼模式。
2.如權(quán)利要求1所述的方法，其中評價所述復(fù)數(shù)種編碼模式包括選擇一宏功能塊位置圖案；及根據(jù)所述宏功能塊位置圖案選擇所述復(fù)數(shù)種編碼模式。
3.如權(quán)利要求1所述的方法，其中評價所述復(fù)數(shù)種編碼模式包括根據(jù)一源自于一視頻編解碼器的配置信號選擇所述復(fù)數(shù)種編碼模式。
4.如權(quán)利要求1所述的方法，其中評價所述復(fù)數(shù)種編碼模式包括根據(jù)一源自于一容納一視頻編解碼器的電子裝置的配置信號選擇所述復(fù)數(shù)種編碼模式。
5.如權(quán)利要求1所述的方法，其中評價所述復(fù)數(shù)種編碼模式包括根據(jù)一源自于一網(wǎng)絡(luò)資源的配置信號選擇所述復(fù)數(shù)種編碼模式。
6.如權(quán)利要求2所述的方法，其中選擇所述宏功能塊位置圖案包括選擇其中使用一過后模式選擇過程作出編碼模式?jīng)Q策的宏功能塊位置。
7.如權(quán)利要求2所述的方法，其中選擇所述宏功能塊位置圖案包括選擇一交錯的宏功能塊位置圖案。
8.如權(quán)利要求2所述的方法，其中選擇所述宏功能位置圖案包括選擇一自適應(yīng)性宏功能塊位置圖案。
9.如權(quán)利要求1所述的方法，其中為所述當(dāng)前宏功能塊選擇所述編碼模式包括使用一多數(shù)規(guī)則選擇標(biāo)準(zhǔn)來為所述當(dāng)前宏功能塊選擇所述編碼模式。
10.如權(quán)利要求9所述的方法，其中使用一多數(shù)規(guī)則選擇標(biāo)準(zhǔn)來為所述當(dāng)前宏功能塊選擇所述編碼模式包括對所述多數(shù)規(guī)則選擇標(biāo)準(zhǔn)使用加權(quán)。
11.如權(quán)利要求1所述的方法，其進(jìn)一步包括決定是根據(jù)一預(yù)先模式?jīng)Q策過程還是一過后模式?jīng)Q策過程來進(jìn)行所述模式?jīng)Q策；如果選擇所述預(yù)先模式?jīng)Q策過程，則對所述復(fù)數(shù)種編碼模式進(jìn)行評價并根據(jù)對所述復(fù)數(shù)種編碼模式的所述評價來為所述當(dāng)前宏功能塊選擇所述編碼模式；及如果選擇所述過后模式?jīng)Q策過程，則從所述當(dāng)前宏功能塊中提取一質(zhì)量量度并根據(jù)所述質(zhì)量量度來選擇所述編碼模式。
12.如權(quán)利要求1所述的方法，其進(jìn)一步包括從一視頻幀中提取特征；及根據(jù)對所述復(fù)數(shù)種編碼模式的所述評價及來自所述視頻幀的所述特征來為所述當(dāng)前宏功能塊選擇所述編碼模式。
13.一種在一視頻編解碼器中用于對一當(dāng)前宏功能塊實(shí)施一編碼模式?jīng)Q策的設(shè)備，其包括至少一個存儲元件；及至少一個處理元件，其以通信方式耦接至所述至少一個存儲元件并經(jīng)配置以執(zhí)行一組存儲于所述至少一個存儲元件上的指令，所述組指令用于對復(fù)數(shù)種分別與一鄰近宏功能塊相關(guān)聯(lián)的編碼模式進(jìn)行評價；及根據(jù)對所述復(fù)數(shù)種編碼模式的所述評價為所述當(dāng)前宏功能塊選擇所述編碼模式。
14.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件包括一用于選擇所述編碼模式的表決邏輯。
15.如權(quán)利要求13所述的設(shè)備，其中所述視頻編解碼器為一符合MPEG的編解碼器。
16.如權(quán)利要求13所述的設(shè)備，其中所述視頻編解碼器為一符合ITU-T H.26x系列的編解碼器。
17.如權(quán)利要求13所述的設(shè)備，其中所述視頻編解碼器為一符合AVS的編解碼器。
18.如權(quán)利要求13所述的設(shè)備，其中所述視頻編解碼器為一使用時間及空間預(yù)測并使用內(nèi)模式及間模式二者的混合編解碼器。
19.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于選擇一交錯的宏功能塊位置圖案；及根據(jù)所述交錯的宏功能塊位置圖案選擇所述復(fù)數(shù)種編碼模式。
20.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于選擇一自適應(yīng)性宏功能塊位置圖案；及根據(jù)所述自適應(yīng)性宏功能塊位置圖案選擇所述復(fù)數(shù)種編碼模式。
21.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于根據(jù)一源自于一視頻編解碼器的配置信號選擇所述復(fù)數(shù)種編碼模式。
22.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于根據(jù)一源自于一容納一視頻編解碼器的配置信號選擇所述復(fù)數(shù)種編碼模式。
23.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于根據(jù)一源自于一網(wǎng)絡(luò)資源的配置信號選擇所述復(fù)數(shù)種編碼模式。
24.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于選擇復(fù)數(shù)種與其中使用一過后模式選擇過程作出過去模式?jīng)Q策的宏功能塊位置相關(guān)聯(lián)的編碼模式，然后將所述所選擇的復(fù)數(shù)種編碼模式用于進(jìn)行評價。
25.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于使用一多數(shù)規(guī)則選擇標(biāo)準(zhǔn)來為所述當(dāng)前宏功能塊選擇所述模式?jīng)Q策。
26.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于決定根據(jù)一預(yù)先模式?jīng)Q策過程還是一過后模式?jīng)Q策過程來作出所述模式?jīng)Q策；如果選擇所述預(yù)先模式?jīng)Q策過程，則對所述復(fù)數(shù)種編碼模式進(jìn)行評價并根據(jù)對所述復(fù)數(shù)種編碼模式的所述評價來為所述當(dāng)前宏功能塊選擇所述編碼模式；及如果選擇所述過后模式?jīng)Q策過程，則從所述當(dāng)前宏功能塊中提取一質(zhì)量量度并根據(jù)所述質(zhì)量量度作出所述編碼模式?jīng)Q策。
27.如權(quán)利要求13所述的設(shè)備，其中所述至少一個處理元件進(jìn)一步經(jīng)配置以執(zhí)行一組指令，所述組指令用于從一視頻幀中提取特征；及根據(jù)對所述復(fù)數(shù)種編碼模式的所述評價及來自所述視頻幀的所述特征來為所述當(dāng)前宏功能塊選擇所述編碼模式。
全文摘要
本發(fā)明提供通過利用在空間及/或時間上相接近的各編碼模式?jīng)Q策之間的關(guān)聯(lián)性來降低編碼模式?jīng)Q策的計算復(fù)雜度的方法及設(shè)備。對當(dāng)前宏功能塊的模式?jīng)Q策是基于對在空間及/或時間上相接近的宏功能塊的模式?jīng)Q策。
文檔編號H04N7/50GK101015215SQ200580013918
公開日2007年8月8日 申請日期2005年3月9日 優(yōu)先權(quán)日2004年3月11日
發(fā)明者梁宜, 哈立德·希勒米·厄勒-馬列 申請人:高通股份有限公司