壓縮高效率視頻編碼中的編碼單元的方法和裝置制造方法【專利摘要】在HEVC（高效率視頻編碼）中，2Nx2N編碼單元可被分割成不同的分層分區(qū)類型。編碼系統(tǒng)使用一標(biāo)準(zhǔn)來確定最佳的分區(qū)，其中RD-速率經(jīng)常被用作該標(biāo)準(zhǔn)。如果在層k+1的2Nx2N將被評估，則在k層的NxN分區(qū)就變得冗余了。為了消除上述冗余度，根據(jù)先前公開的方法允許的分區(qū)大小是被限制的。在當(dāng)前發(fā)明中，復(fù)雜度被進(jìn)一步降低。根據(jù)一個實施例，不論編碼單位的大小，NxN分區(qū)都不允許用于任何幀間模式。此外，提供了靈活性以使進(jìn)一步降低復(fù)雜度的該方法和裝置可以被選擇或替代的方法和裝置可以被選擇。還公開了根據(jù)本發(fā)明的語法以支持實施例?！緦＠f明】壓縮高效率視頻編碼中的編碼單元的方法和裝置[0001]【交叉引用及相關(guān)申請】[0002]本發(fā)明主張在2011年7月18日提交的標(biāo)題為“壓縮HEVC中的編碼單元的方法及語法”的美國臨時專利申請N0.61/508，823，以及在2011年I月25日提交的標(biāo)題為“用于高效率視頻編碼的約束分區(qū)大小的裝置及方法”的美國非臨時專利申請N0.13/012，811的優(yōu)先權(quán)。上述美國臨時專利申請和美國非臨時專利申請因此在全文中被引用。【【
技術(shù)領(lǐng)域：
】】[0003]本發(fā)明關(guān)于視頻處理,尤其關(guān)于一種用于壓縮高效率視頻編碼(HighEfficiencyVideoCoding,HEVC)中的編碼單元的方法及裝置。【【
背景技術(shù)：
】】[0004]HEVC(高效率視頻編碼)是根據(jù)ITU-T研究組視頻編碼專家組成的視頻編碼聯(lián)合協(xié)作團(tuán)隊(JCT-VC)組正在發(fā)展的先進(jìn)的視頻編碼系統(tǒng)。在HEVC中，一個2NX2N的編碼單元可以被分層次地分割成從2Nx2N、2NxN、Nx2N和NxN中選定的分區(qū)類型。該編碼系統(tǒng)使用了一標(biāo)準(zhǔn)以確定最佳的分區(qū)，其中RD-速率經(jīng)常被用作該標(biāo)準(zhǔn)。在k層的NxN分區(qū)被評估，以及在k+Ι層的同一分區(qū)，即2Nx2N分區(qū)也被評估。因此，如果在k+Ι層的2Nx2N分區(qū)將被評估，則在k層的NxN分區(qū)就變得多余了。為了消除上述冗余，依據(jù)2011年I月25日提交的標(biāo)題為“用于高效率視頻編碼的約束分區(qū)大小的裝置及方法”的美國非臨時專利申請N0.13/012，811，限制了允許的分區(qū)大小。在美國非臨時專利申請N0.13/012,811中，對于每個大于最小編碼單元(S⑶)的葉編碼單元，允許的分區(qū)大小是2Nx2N、2NxN和Nx2N。換言之，如果葉編碼單元比最小編碼單元大，則NxN分區(qū)不允許用于幀間模式(INTERmode)ο如果葉編碼單元大小與最小編碼單元大小相同，則所有的分區(qū)大小2Nx2N、2NxN、Nx2N和NxN都是允許的。雖然美國非臨時專利申請N0.13/012，811公開的該方法以適度的性能損失為代價降低了計算復(fù)雜度，但有需要開發(fā)一種方法和裝置，具有大致相同的性能的同時可以進(jìn)一步降低計算復(fù)雜度。此外，有需要的是提供靈活性，使得可以選擇進(jìn)一步降低復(fù)雜度的方法和裝置或者可以選擇替代的方法和裝置。【【
發(fā)明內(nèi)容】】[0005]公開一種解碼視頻比特流的方法和裝置。根據(jù)本發(fā)明解碼視頻比特流的方法和裝置包含從所述視頻比特流中接收第一指示信號；依據(jù)該第一指示信號，從包含第一解碼過程和第二解碼過程的一群組中選擇一解碼過程；以及使用該選擇的解碼過程來決定用于該視頻比特流相關(guān)的編碼單元的編碼單元結(jié)構(gòu)。所選擇的解碼過程用于為等于最小編碼單元的該編碼單元確定該編碼單元結(jié)構(gòu)。在一個實施例中，對于大于最小編碼單元的該編碼單元，該編碼單元結(jié)構(gòu)包含2Nx2N分區(qū)、2NxN分區(qū)以及Nx2N分區(qū)而不包含NxN分區(qū)，以及對于等于該最小編碼單元的該編碼單元，該第一解碼過程不允許該NxN分區(qū)且該第二解碼過程允許該NxN分區(qū)。此外，該第一解碼過程與第一碼字表有關(guān)，該第二解碼過程與第二碼字表有關(guān)，以及該選擇的解碼過程依據(jù)該第一指示信號與該第一碼字表或該第二碼字表有關(guān)。該第一碼字表包含對應(yīng)于該2Nx2N分區(qū)、該2NxN分區(qū)以及該Nx2N分區(qū)的代碼輸入，以及該第二碼字表包含對應(yīng)于該2Nx2N分區(qū)、該2NxN分區(qū)、該Nx2N分區(qū)以及該NxN分區(qū)的代碼輸入。該解碼過程適用于不同的編碼類型，例如二進(jìn)制算術(shù)碼以及變長碼。[0006]本發(fā)明的一個方面涉及到并入指示信號。在一個實施例中，所述指示信號是并入在序列級中。在另一個實施例中，所述指示信號是并入在圖像級中。在又一實施例中，第一指示信號被并入在序列級中以及第二指示信號可被并入在圖像級中。如果第二指示信號被并入在圖像級中，則解碼過程是依據(jù)第二指示信號。否則，解碼過程是依據(jù)第一指示信號。依據(jù)本發(fā)明一個實施例中，所述指示信號表示NxN分區(qū)是否被允許用于最小編碼單元。當(dāng)所述第一指示信號指示的NxN分區(qū)被允許時，所述第二指示信號被并入在圖像級中。[0007]公開一種處理視頻數(shù)據(jù)的多個編碼單元的方法和裝置。根據(jù)本發(fā)明的處理視頻數(shù)據(jù)的多個編碼單元的方法和裝置，包含從包含第一編碼過程和第二編碼過程的一群組中選擇一編碼過程來處理該多個編碼單元；將對應(yīng)于該選擇的編碼過程的第一指示信號并入該視頻數(shù)據(jù)相關(guān)的視頻比特流中；接收該多個編碼單元的一編碼單元；以及依據(jù)該選擇的編碼過程來處理該編碼單元。在一個實施例中，對于大于最小編碼單元的該編碼單元，依據(jù)包含2Nx2N分區(qū)、2NxN分區(qū)以及Nx2N分區(qū)而不包含NxN分區(qū)的編碼單元結(jié)構(gòu)來處理該多個編碼單元分區(qū)該編碼單元，以及對于等于該最小編碼單元的該編碼單元，該第一編碼過程不允許該NxN分區(qū)且該第二編碼過程允許該NxN分區(qū)。此外，該第一編碼過程與第一碼字表有關(guān)，該第二編碼過程與第二碼字表有關(guān)，以及該選擇的編碼過程依據(jù)該第一指示信號與該第一碼字表或該第二碼字表有關(guān)?！尽緦＠綀D】【附圖說明】】[0008]圖1為基于四叉樹的示例性編碼單元分區(qū)。[0009]圖2為對于2Nx2N葉編碼單元，預(yù)測單元允許的分區(qū)大小。`[0010]圖3為在深度k和k+Ι的預(yù)測單元的冗余度問題的范例。[0011]圖4為用于2Nx2N葉編碼單元的約束的分區(qū)集以避免幀間預(yù)測的冗余度的范例。[0012]圖5A為依據(jù)本發(fā)明實施例的不同深度的編碼單元分區(qū)的范例，其中對于depth=3,不允許幀間NxN。[0013]圖5B為依據(jù)本發(fā)明實施例的不同深度的編碼單元分區(qū)的范例，其中對于depth=3,允許幀間NxN。[0014]圖6為序列級語法以支持選擇編碼單元結(jié)構(gòu)和相關(guān)處理的范例。[0015]圖7為圖像級語法以支持選擇編碼單元結(jié)構(gòu)和相關(guān)處理的范例。[0016]圖8為對于編碼單元大小大于最小編碼單元大小，編碼單元預(yù)測模式和分區(qū)模式規(guī)范的范例。[0017]圖9為對于編碼單元大小等于最小編碼單元大小且NxN分區(qū)允許用于幀間模式時，編碼單元預(yù)測模式和分區(qū)模式規(guī)范的范例。[0018]圖10為對于編碼單元大小等于最小編碼單元大小且NxN分區(qū)不允許用于幀間模式時，編碼單元預(yù)測模式和分區(qū)模式規(guī)范的范例?！尽揪唧w實施方式】】[0019]在編碼過程中，為了達(dá)到最佳的性能，對于各種編碼單元(codingunit,⑶)分區(qū)和預(yù)測單元(predictionunit,PU)分區(qū)，通常評估率失真函數(shù)(rate-distortionfunction)或其他性能標(biāo)準(zhǔn)。目前HEVC發(fā)展中的預(yù)測單元設(shè)計造成一定的冗余度,導(dǎo)致對于一些預(yù)測單元配置，率失真函數(shù)或其他性能標(biāo)準(zhǔn)被反復(fù)評估。例如，冗余度可存在于深度=k的幀間NxN編碼單元的配置與深度=k+l的幀間2Nx2N編碼單元的配置之間。冗余度會造成不必要的處理并浪費(fèi)寶貴的系統(tǒng)資源。在2011年I月25日提交的標(biāo)題為“用于高效率視頻編碼的約束分區(qū)大小的裝置及方法”的美國非臨時專利申請N0.13/012,811公開了一種緩解冗余度的方法，其中已經(jīng)開發(fā)出來約束的編碼單元分區(qū)以消除或減少處理中的冗余度。然而，需要開發(fā)編碼單元壓縮方法，以進(jìn)一步降低計算復(fù)雜度。還需要提供靈活性，使得可以選擇進(jìn)一步降低復(fù)雜度的方法和裝置或者可以選擇替代的方法和裝置。此外，有需要設(shè)計必要的語法來傳達(dá)有關(guān)于編碼器和解碼器之間有效和靈活的分區(qū)的信息。[0020]在正在發(fā)展的高效率視頻編碼(HEVC)系統(tǒng)中，H.264/AVC的固定大小的宏塊(macroblock)被替換為靈活的塊,命名為編碼單元(CU)。圖1為基于四叉樹的示例性編碼單元分區(qū)。在深度0，包含64X64像素的初始編碼單元⑶0112是最大編碼單元(largestCU，LCU)。初始編碼單元⑶0112經(jīng)受四叉樹分割，如塊110所示。分割標(biāo)記(splitflag)O表示底層編碼單元沒有被分割，另一方面分割標(biāo)記I表示底層編碼單元被四叉樹分割成四個較小的編碼器單元⑶1122。所產(chǎn)生的4個編碼單元被標(biāo)記為0、1、2和3以及產(chǎn)生的每個編碼單元變成在下一深度進(jìn)一步分割的編碼單元。從編碼單元CU0112產(chǎn)生的編碼單元被稱為CU1122。編碼單元被四叉樹分割之后，除非該編碼單元達(dá)到預(yù)先指定的最小編碼單元(SCU)的大小，否則產(chǎn)生的編碼單元有待進(jìn)一步的四叉樹分割。因此，在深度1，編碼單元CU1122受四叉樹分割，如圖中塊120所示。再次，分割標(biāo)記O表示底層編碼單元沒有被分害I]，另一方面分割標(biāo)記I表示底層編碼單元被四叉樹分割成四個較小的編碼單元CU2132。編碼單元CU2132大小為16X16，以及如圖中塊130所示的四叉樹分割過程可以繼續(xù)進(jìn)行，直到達(dá)到預(yù)先指定的最小編碼單元。例`如，如果最小編碼單元被選擇為8X8，則在深度3的編碼單元CU3142將不會受到進(jìn)一步分割，如圖塊140所示。形成可變大小的編碼單元的圖像四叉樹分區(qū)集合構(gòu)成了一個分區(qū)映射，使編碼器相應(yīng)地處理輸入圖像區(qū)域。分區(qū)映射已被傳輸?shù)浇獯a器，使得解碼過程可以相應(yīng)地進(jìn)行。[0021]除了編碼單元的概念，HEVC也引入了預(yù)測單元(PU)的概念。一旦編碼單元分層樹的分割完成后，依據(jù)預(yù)測類型和預(yù)測單元分區(qū)，每個葉編碼單元有待進(jìn)一步分割成預(yù)測單元(PU)。對于時間預(yù)測，預(yù)測單元類型由跳躍(SKIP)、合并(MERGE)和幀間模式組成。對于空間預(yù)測模式，預(yù)測單元類型由幀內(nèi)(INTRA)模式組成。對于每個2Nx2N葉編碼單元，一個分區(qū)大小被選擇。當(dāng)PredMode(預(yù)測模式)為SKIP或MERGE時，只允許PartSize(分區(qū)大小)為{2Nx2N}。當(dāng)PredMode為INTER時，允許的PartSize是從如圖2所示的集合{2Nx2N，2NxN,Nx2N,NxN}中選擇。當(dāng)PredMode為INTRA時，允許的PartSize是從集合{2Nx2N，NxN}中選擇。目前HEVC發(fā)展中的預(yù)測單元設(shè)計造成一定的冗余度。例如，冗余度可能存在于“具有深度=K，模式=INTER,PartSize=NxN的編碼單元的預(yù)測單元”的配置與“具有深度=k+l,模式=INTER,PartSize=2Nx2N的編碼單元的預(yù)測單元”的配置之間，如圖3所示。深度為k的預(yù)測單元310將在深度(k+Ι)作為預(yù)測單元320再次被處理。在具有分區(qū)大小NxN的幀間模式下，預(yù)測單元310被選擇。另一方面，在具有分區(qū)大小2N’x2N’的幀間模式下，預(yù)測單元320被選擇，其中2N’=N。因此，相同的塊將在深度k和深度(k+Ι)被處理兩次。冗余度會造成不必要的處理以及浪費(fèi)寶貴的系統(tǒng)資源。[0022]為了消除上述冗余度，依據(jù)美國非臨時專利申請N0.13/012,811來限制允許的分區(qū)大小，如圖4所示。因此，對于每一個比SCU(最小編碼單元)大的葉編碼單元，所允許的分區(qū)大小是2Nx2N、2NxN和Nx2N。換言之，如果葉編碼單元比最小編碼單元大，則NxN分區(qū)不允許用于幀間模式。如果葉編碼單元大小與最小編碼單元大小相同，則所有的分區(qū)大小2Nx2N、2NxN、Nx2N和NxN都是允許的。當(dāng)編碼單元大小與最小編碼單元大小相同時，編碼單元不受進(jìn)一步地分割，且包含NxN的分區(qū)大小不會導(dǎo)致冗余。根據(jù)上面描述的當(dāng)前HEVCHM3.0(HEVC試驗?zāi)Ｐ?.0版)的分區(qū)類型匯總于表1中。與HEVCHM3.0各種分區(qū)類型相關(guān)聯(lián)的碼字表(codewordtable)示于表2中。[0023]【權(quán)利要求】1.一種解碼視頻比特流的方法，其特征在于，該方法包含:從該視頻比特流接收第一指示信號；依據(jù)該第一指示信號，從包含第一解碼過程和第二解碼過程的一群組中選擇一解碼過程；以及使用該選擇的解碼過程決定與該視頻比特流相關(guān)的編碼單元的編碼單元結(jié)構(gòu)。2.如權(quán)利要求1所述的方法，其特征在于，該選擇的解碼過程用于決定等于最小編碼單元的該編碼單元的該編碼單元結(jié)構(gòu)。3.如權(quán)利要求1所述的方法，其特征在于，對于大于最小編碼單元的該編碼單元，該編碼單元結(jié)構(gòu)包含2Nx2N分區(qū)、2NxN分區(qū)以及Nx2N分區(qū)而不包含NxN分區(qū)，以及對于等于該最小編碼單元的該編碼單元，該第一解碼過程不允許該NxN分區(qū)，該第二解碼過程允許該NxN分區(qū)。4.如權(quán)利要求1所述的方法，其特征在于，該第一解碼過程與第一碼字表有關(guān)，該第二解碼過程與第二碼字表有關(guān)，以及該選擇的解碼過程依據(jù)該第一指示信號與該第一碼字表或該第二碼字表有關(guān)。5.如權(quán)利要求4所述的方法,其特征在于,該第一碼字表包含對應(yīng)于該2Nx2N分區(qū)、該2NxN分區(qū)以及該Nx2N分區(qū)的代碼輸入，以及該第二碼字表包含對應(yīng)于該2Nx2N分區(qū)、該2NxN分區(qū)、該Nx2N分區(qū)以及該NxN分區(qū)的代碼輸入。6.如權(quán)利要求1所述的方法，其特征在于，還包含:當(dāng)該第一指示信號在該視頻比特流的序列級中且該第一指示信號指示對于等于最小編碼單元的該編碼單元允許NxN分區(qū)時，從該視頻比特流的圖像級接收第二指示信號，其中該第二指示信號用來取代該第一指示信號以用于所述選擇該解碼過程。7.如權(quán)利要求1所述的方法，其特征在于，該第一解碼過程與第一碼字表有關(guān)，該第二解碼過程與第二碼字表有關(guān)，以及該選擇的解碼過程依據(jù)該第一指示信號與該第一碼字表或該第二碼字表有關(guān)。8.如權(quán)利要求1所述的方法，其特征在于，該第一解碼過程和該第二解碼過程是從包含二進(jìn)制算術(shù)解碼和可變長解碼的編碼類型群組中選擇的。9.如權(quán)利要求1所述的方法，其特征在于，該第一指示信號是在該視頻比特流的序列級中。10.如權(quán)利要求9所述的方法，其特征在于，該選擇的解碼過程被應(yīng)用于與該序列級相關(guān)的序列的編碼單元。11.如權(quán)利要求9所述的方法，其特征在于，還包含:從該視頻比特流的圖像級接收第二指示信號，其中該第二指示信號用來取代該第一指示信號以用于所述選擇該解碼過程以及如果該第二指示信號存在于該圖像級中，則該選擇的解碼過程應(yīng)用于與該圖像級相關(guān)的圖像中的該編碼單元。12.如權(quán)利要求11所述的方法，其特征在于，該第二指示信號是否包含在該圖像級中取決于該第一指不信號。13.如權(quán)利要求1所述的方法，其特征在于，該第一指示信號在該視頻比特流的圖像級中。14.如權(quán)利要求13所述的方法，其特征在于，該選擇的解碼過程應(yīng)用于與該圖像級相關(guān)的圖像的編碼單元。15.一種處理視頻數(shù)據(jù)的多個編碼單元的方法，其特征在于，該方法包含:從包含第一編碼過程和第二編碼過程的一群組中選擇一編碼過程來處理該多個編碼單元；將對應(yīng)于該選擇的編碼過程的第一指示信號并入該視頻數(shù)據(jù)相關(guān)的視頻比特流中；接收該多個編碼單元的一編碼單元；以及依據(jù)該選擇的編碼過程來處理該編碼單元。16.如權(quán)利要求15所述的方法，其特征在于，當(dāng)該編碼單元等于最小編碼單元時，該選擇的編碼過程決定該編碼單元的編碼單元結(jié)構(gòu)。17.如權(quán)利要求15所述的方法，其特征在于，對于大于最小編碼單元的該編碼單元，依據(jù)包含2Nx2N分區(qū)、2NxN分區(qū)以及Nx2N分區(qū)而不包含NxN分區(qū)的編碼單元結(jié)構(gòu)來處理該多個編碼單元分區(qū)該編碼單元，以及對于等于該最小編碼單元的該編碼單元，該第一編碼過程不允許該NxN分區(qū)及該第二編碼過程允許該NxN分區(qū)。18.如權(quán)利要求16所述的方法，其特征在于，該第一編碼過程與第一碼字表有關(guān)，該第二編碼過程與第二碼字表有關(guān)，以及該選擇的編碼過程依據(jù)該第一指示信號與該第一碼字表或該第二碼字表有關(guān)。19.如權(quán)利要求16所述的方法，其特征在于，還包含:當(dāng)該第一指示信號在該視頻比特流的序列級中且該第一指示信號指示對于等于最小編碼單元的該編碼單元允許NxN分區(qū)時，將第二指示信號并入該視頻比特流的圖像級，以指示對于與該圖像級相關(guān)的圖像的該多個編碼單元，從該第一編碼`過程和該第二編碼過程中選擇該編碼過程，其中依據(jù)為該圖像選擇的該編碼過程來處理該圖像的該多個編碼單元。20.如權(quán)利要求15所述的方法，其特征在于，該第一編碼過程和該第二編碼過程是從包含二進(jìn)制算術(shù)編碼和可變長編碼的編碼類型群組中選擇的。21.一種解碼視頻比特流的裝置，其特征在于，該裝置包含:從該視頻比特流接收第一指示信號的裝置；依據(jù)該第一指示信號，從包含第一解碼過程和第二解碼過程的一群組中選擇一解碼過程的裝置；以及使用該選擇的解碼過程決定與該視頻比特流相關(guān)的編碼單元的編碼單元結(jié)構(gòu)的裝置。22.如權(quán)利要求21所述的裝置，其特征在于，對于大于最小編碼單元的該編碼單元，該編碼單元結(jié)構(gòu)包含2Nx2N分區(qū)、2NxN分區(qū)以及Nx2N分區(qū)而不包含NxN分區(qū)，以及對于等于該最小編碼單元的該編碼單元，該第一解碼過程不允許該NxN分區(qū)，該第二解碼過程允許該NxN分區(qū)。23.如權(quán)利要求22所述的裝置，其特征在于，該第一解碼過程與第一碼字表有關(guān)，該第二解碼過程與第二碼字表有關(guān)，以及該選擇的解碼過程依據(jù)該第一指示信號與該第一碼字表或該第二碼字表有關(guān)。24.如權(quán)利要求22所述的裝置，其特征在于，還包含:當(dāng)該第一指示信號在該視頻比特流的序列級中且該第一指示信號指示對于等于最小編碼單元的該編碼單元允許該NxN分區(qū)時，從該視頻比特流的圖像級接收第二指示信號的裝置，其中該第二指示信號用來取代該第一指示信號以用于選擇該解碼過程的所述裝置。25.—種處理視頻數(shù)據(jù)的多個編碼單元的裝置，其特征在于，該裝置包含:從包含第一編碼過程和第二編碼過程的一群組中選擇一編碼過程來處理該多個編碼單元的裝置；將對應(yīng)于該選擇的編碼過程的第一指示信號并入該視頻數(shù)據(jù)相關(guān)的視頻比特流中的裝置；接收該多個編碼單元的一編碼單元的裝置；以及依據(jù)該選擇的編碼過程來處理該編碼單元的裝置。26.如權(quán)利要求25所述的裝置，其特征在于，對于大于最小編碼單元的該編碼單元，依據(jù)包含2Nx2N分區(qū)、2NxN分區(qū)以及Nx2N分區(qū)而不包含NxN分區(qū)的編碼單元結(jié)構(gòu)來處理該多個編碼單元分區(qū)該編碼單元，以及對于等于該最小編碼單元的該編碼單元，該第一編碼過程不允許該NxN分區(qū)且該第二編碼過`程允許該NxN分區(qū)?！疚臋n編號】H04N19/176GK103688540SQ201280035690【公開日】2014年3月26日申請日期:2012年1月19日優(yōu)先權(quán)日:2011年7月18日【發(fā)明者】劉杉,黃毓文,雷少民申請人:聯(lián)發(fā)科技（新加坡）私人有限公司