圖像處理裝置和方法與流程
技術領域
本公開涉及圖像處理裝置和方法，尤其涉及能夠改善用于量化參數的編碼效率的圖像處理裝置和方法。
背景技術：
近年來，圖像信息被處理為數字，并且在此情況下，出于高效傳輸和累積信息的目的，利用圖像信息所特有的冗余性，使用根據諸如離散余弦變換的正交變換和運動補償來進行壓縮的諸如運動圖像專家組(MPEG)的方法的裝置變得不僅在諸如廣播站的信息發(fā)布而且還在諸如普通家庭的信息接收中廣泛可用。
更具體地，MPEG2(國際標準化組織(ISO)/國際電工技術委員會(IEC)13818-2)被定義為通用的圖像編碼方法，具有覆蓋隔行掃描圖像和順序掃描圖像兩者以及用于標準分辨率圖像和高分辨率圖像的標準，現在被廣泛地用于專業(yè)人員和消費者領域內的大量應用。在使用MPEG2壓縮方法時，能夠通過例如向具有720×480像素的標準分辨率的隔行掃描圖像分配4至8Mbps并且向具有1920×1088像素的高分辨率的隔行掃描圖像分配18至22Mbps作為代碼量(比特流)來實現高壓縮率和高圖像質量。
MPEG2主要用于適于廣播的高圖像質量編碼，但是不支持代碼量(比特流)小于MPEG1的編碼方法。換句話說，MPEG2不支持更高的壓縮率。隨著便攜式終端變得廣為流行，對這類編碼方法的需要被認為在將來會有所增長，并且為了響應于這一需要，業(yè)已標準化了MPEG 4編碼方法。關于圖像編碼方法，其說明書在1998年12月被承認為國際標準中的ISO/IEC 14496-2。
進一步地，近年來，被稱為H.26L(ITU-T(國際電信聯盟通行標準電信標準分部)QG/16VCEG(視頻編碼專家組))的標準出于用于當初電話會議的圖像編碼的目的被標準化。與諸如MPEG2和MPEG4的常規(guī)編碼方法相比，已知H.26L在其編碼和解碼過程中要求更高的計算量，但能實現更高的編碼效率。此外，當前作為MPEG4活動的一環(huán)，通過結合H.26L不支持的功能來實現基于H.26L的更高效率的標準正作為增強壓縮視頻編碼的聯合模型被完成。
對于標準化的時間表，已在2003年3月做出了以H.264和MPEG-4Part10(先進視頻編碼，其后稱為AVC)為名義的國際標準。
進一步地，作為其的擴展，包括8×8DCT、由MPEG2定義的量化矩陣以及商業(yè)用需要的諸如RGB、4:2:2和4:4:4的編碼工具的FRExt(保真度范圍擴展)的標準已在2005年2月完成，因此，使用AVC，做出了能夠以優(yōu)選方式表達電影中所包括的影片噪聲的編碼方法，并且開始廣泛用于諸如藍光盤的應用。
然而，當前對于更高壓縮率編碼的需要正在增長。例如，期望壓縮是高視覺圖像四倍的約4096×2048像素的圖像，或是在諸如因特網的有限傳輸容量環(huán)境內分配高視覺圖像。因此，針對上述ITU-T下的VCEG，編碼效率的改善被持續(xù)考慮。
由此，制作16×16像素的宏塊尺寸不適合作為下一代編碼方法的對象的諸如UHD(超高分辨率；4000×2000像素)的大型圖像幀。因此，如圖4所示，建議作出諸如64×64像素和32×32像素(例如，參見非專利文獻1)的宏塊尺寸。
更具體地，在非專利文獻1中，利用分層結構并且對于具有16×16像素或更小的像素塊，在保持與當前AVC的宏塊的兼容性的同時將更大的塊定義為超組。
非專利文獻1是將擴展宏塊應用于片間的提案，但除此之外，還存在將擴展宏塊應用于片內的提案(例如，參見非專利文獻2)。
此外，還存在使用被稱為編碼單位(coding unit)的概念來定義擴展宏塊的提案(例如，參見非專利文獻3)。
最大編碼單元和最小編碼單元的尺寸在圖像壓縮信息中的序列參數組中指定。
引用列表
非專利文獻
非專利文獻1：Peisong Chenn,Yan Ye,Marta Karczewicz,"Video Coding Using Extended Block Sizes",COM16-C123-E,Qualcomm Inc
非專利文獻2：Sung-Chang Lim,Hahyun Lee,Jinho Lee,Jongho Kim,Haechul Choi,Seyoon Jeong,Jin Soo Choi,"Intra coding using extended block size",VCEG-AL28,July,2009
非專利文獻3：Thomas Wiegand,Woo-Jin Han,Benjamin Bross,Jens-Rainer Ohm,Gary J.Sullivan,"Working Draft 1of High-Efficiency Video Coding",JCTVC-C403,Joint Collaborative Team on Video Coding(JCT-VC)of ITU-T SG16WP3and ISO/TEC JTC1/SC29/WGl13rd Meeting:Guangzhou,CN,7-15October,2010
技術實現要素：
本發(fā)明所要解決的問題
由此，使用量化參數QP對用于在前塊的編碼和解碼的量化參數的差分進行編碼，并且尤其當量化參數向適應參數那樣在屏幕內動態(tài)改變時，圖像壓縮信息中的信息量可能會增大。
本發(fā)明是在考慮了這些狀況下做出的，并且本發(fā)明的一個目的在于改善用于量化參數的編碼效率。
用于解決問題的方案
本公開的一方面是種圖像處理裝置，包括：通過使用為多個周圍編碼單位設置的多個量化參數來為當前編碼單位設置預測量化參數的預測量化參數設置單元，其中所述多個周圍編碼單位定位在作為編碼處理的對象的當前編碼單位周圍；用于設置差分量化參數的差分量化參數設置單元，其中所述差分量化參數指示為當前編碼單位設置的量化參數和由預測量化參數設置單元設置的預測量化參數之間的差值；通過對由量化圖像數據獲取的量化數據進行編碼來生成比特流的編碼單元；以及用于發(fā)送由編碼單元生成的比特流以及由差分量化參數設置單元設置的差分量化參數的發(fā)送單元。
預測量化參數設置單元可以通過將預測計算應用于為所述多個周圍編碼單位設置的多個量化參數來設置預測量化參數。
預測量化參數設置單元可以通過將中值計算應用于為所述多個周圍編碼單位設置的所述多個量化參數而將預測量化參數設置成為所述多個周圍編碼單位設置的多個量化參數的中值。
當多個周圍編碼單位全都處于可用狀態(tài)時，預測量化參數設置單元可以將中值計算應用于為所述多個周圍編碼單位設置的所述多個量化參數。
預測量化參數設置單元可以通過將平均值計算應用于為所述多個周圍編碼單位設置的所述多個量化參數而將預測量化參數設置成為所述多個周圍編碼單位設置的所述多個量化參數的平均值。
當判定單元判定所述周圍編碼單位中有部分處于可用狀態(tài)時，預測量化參數設置單元可以將平均值計算應用于為所述多個周圍編碼單位設置的所述多個量化參數。
預測量化參數設置單元可以通過將加權平均值計算應用于為由選擇單元所選的多個周圍編碼單位設置的多個量化參數而將預測量化參數設置成為所述多個周圍編碼單位設置的多個量化參數的加權平均值。
預測量化參數設置單元可以設置加權平均值計算以使得更大的權重被給予與當前編碼單位具有相同尺寸的周圍編碼單位。
預測量化參數設置單元可以以使得更大的權重被給予具有更大的尺寸的周圍編碼單位的方式來設置加權平均值計算。
對于已被編碼的編碼單位，所述多個周圍編碼單位可以包括鄰接所述當前編碼單位左側的編碼單位、鄰接所述當前編碼單位上側的編碼單位以及鄰接所述當前編碼單位左上側的編碼單位。
所述多個周圍編碼單位還可以包括鄰接所述當前編碼單位右上側的編碼單位以及鄰接所述當前編碼單位左下側的編碼單位。
所述圖像處理裝置還可以包括用于判定周圍編碼單位是否處于可用狀態(tài)的判定單元，其中所述預測量化參數設置單元可以根據由所述判定單元判定為可用的編碼單位的數量來改變預測計算的方法。
所述圖像處理裝置還可以包括用于判定當預測量化參數被設置時位于當前最大編碼單位中的周圍編碼單位是否處于可用狀態(tài)的判定單元，其中所述預測量化參數設置單元可以通過僅使用由所述判定單元判定為處于可用狀態(tài)的編碼單位的量化參數來設置預測量化參數。
在當前編碼單位位于所述當前最大編碼單位的前方位置處時，預測量化參數設置單元可以將位于緊接在前的最大編碼單位的最后位置處的編碼單位的量化參數設置為預測量化參數。
所述圖像處理裝置還可以包括用于設置指示預測計算類別的類別數據的設置單元，其中所述發(fā)送單元可以發(fā)送由所述設置單元設置的類別數據。
所述設置單元可以為作為最上層或片中的編碼單位的每個最大編碼單位設置所述類別數據。
所述發(fā)送單元可以將由所述設置單元設置的類別數據作為由所述編碼單元生成的比特流的參數集發(fā)送。
本公開的一方面是一種用于圖像處理裝置的圖像處理方法，包括：使得預測量化參數設置單元通過使用為多個周圍編碼單位設置的多個量化參數為當前編碼單位設置預測量化參數，其中所述多個周圍編碼單位定位在作為編碼處理的對象的當前編碼單位周圍；使得差分量化參數設置單元設置差分量化參數，其中所述差分量化參數指示為當前編碼單位設置的量化參數和被設置的預測量化參數之間的差值；使得編碼單元對通過由量化圖像數據獲取的量化數據進行編碼來生成比特流；以及使得發(fā)送單元發(fā)送生成的比特流以及被設置的差分量化參數。
本公開的另一方面是一種圖像處理裝置，包括：用于接收差分量化參數以及通過對圖像數據進行編碼獲取的比特流的接收單元，所述差分量化參數指示為作為解碼處理的對象的當前編碼單位設置的量化參數和通過根據為定位在所述當前編碼單位周圍的多個周圍編碼單位設置的多個量化參數進行預測而獲取的預測量化參數之間的差值；使用從所述接收單元接收到的差分量化參數設置當前編碼單位的量化參數的量化參數設置單元；以及通過使用由所述量化參數設置單元設置的量化參數對從所述接收單元接收到的比特流進行逆量化來生成圖像數據的解碼單元。
本公開的再一方面是一種用于圖像處理裝置的圖像處理方法，包括：使得接收單元接收差分量化參數，所述差分量化參數指示為作為解碼處理的對象的當前編碼單位設置的量化參數和通過根據為定位在所述當前編碼單位周圍的多個周圍編碼單位設置的多個量化參數進行預測而獲取的預測量化參數之間的差值；使得量化參數設置單元使用所接收到的差分量化參數設置當前編碼單位的量化參數；以及使得解碼單元通過使用被設置的量化參數對接收到的比特流進行逆量化來生成圖像數據。
本公開的又一方面是一種圖像處理裝置，包括：用于在設置預測量化參數時判定定位在作為編碼處理的對象的當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)的判定單元；通過僅使用由所述判定單元判定為處于可用狀態(tài)的編碼單位的量化參數來設置用于當前編碼單位的預測量化參數的預測量化參數設置單元；用于設置差分量化參數的差分量化參數設置單元，其中所述差分量化參數指示為當前編碼單位設置的量化參數和由預測量化參數設置單元設置的預測量化參數之間的差值；通過對由量化圖像數據獲取的量化數據進行編碼來生成比特流的編碼單元；以及用于發(fā)送由編碼單元生成的比特流以及由差分量化參數設置單元設置的差分量化參數的發(fā)送單元。
在當前編碼單位位于所述當前最大編碼單位的前方位置處時，預測量化參數設置單元可以將位于緊接在前的最大編碼單位的最后位置處的編碼單位的量化參數設置為預測量化參數。
本公開的再一方面是一種用于圖像處理裝置的圖像處理方法，包括：使得判定單元在設置預測量化參數時判定定位在作為編碼處理的對象的當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)；使得預測量化參數設置單元通過僅使用被判定為處于可用狀態(tài)的編碼單位的量化參數來設置用于當前編碼單位的預測量化參數；使得差分量化參數設置單元設置差分量化參數，其中所述差分量化參數指示為當前編碼單位設置的量化參數和被設置的預測量化參數之間的差值；使得編碼單元對通過由量化圖像數據獲取的量化數據進行編碼來生成比特流；以及使得發(fā)送單元發(fā)送生成的比特流以及被設置的差分量化參數。
本公開的又一方面是一種圖像處理裝置，包括：用于接收差分量化參數以及通過對圖像數據進行編碼獲取的比特流的接收單元，所述差分量化參數指示為作為解碼處理的對象的當前編碼單位設置的量化參數和作為量化參數的預測值的預測量化參數之間的差值；用于在設置預測量化參數時判定定位在當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)的判定單元；通過僅使用由所述判定單元判定為處于可用狀態(tài)的編碼單位的量化參數來設置用于當前編碼單位的預測量化參數的預測量化參數設置單元；通過把為當前編碼單位設置的量化參數和由接收單元接收到的差分量化參數相加來生成當前編碼單位的量化參數的量化參數生成單元；用于對由接收單元接收到的比特流進行解碼的解碼單元；以及通過使用由量化參數生成單元生成的量化參數來對在解碼單元對比特流進行解碼時獲取的量化系數進行逆量化的逆量化單元。
本公開的再一方面是一種用于圖像處理裝置的圖像處理方法，包括：使得接收單元接收差分量化參數以及通過編碼圖像數據獲取的比特流，所述差分量化參數指示為作為解碼處理的對象的當前編碼單位設置的量化參數和作為量化參數的預測值的預測量化參數之間的差值；使得判定單元在設置預測量化參數時判定定位在當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)；使得預測量化參數設置單元通過僅使用被判定為處于可用狀態(tài)的編碼單位的量化參數來設置用于當前編碼單位的預測量化參數；使得量化參數生成單元通過把為當前編碼單位設置的量化參數和所接收到的差分量化參數相加來生成當前編碼單位的量化參數；使得解碼單元解碼接收到的比特流；以及使得逆量化單元通過使用生成的量化參數來對通過解碼比特流獲取的量化系數進行逆量化。
在本公開的一個方面，用于當前編碼單位的預測量化參數通過使用為所述多個周圍編碼單位設置的所述多個量化參數來設置，其中所述多個周圍編碼單位定位在作為編碼處理的對象的當前編碼單位周圍，差分量化參數被設置為指示為當前編碼單位設置的量化參數和由預測量化參數設置單元設置的預測量化參數之間的差值，比特流則通過對由量化圖像數據獲取的量化數據進行編碼來生成，并且由此生成的比特流和由此設置的差分量化參數被傳送。
在本公開的另一方面，指示為作為解碼處理的對象的當前編碼單位設置的量化參數和通過根據為定位在所述當前編碼單位周圍的多個周圍編碼單位設置的多個量化參數進行預測而獲取的預測量化參數之間的差值的差分量化參數以及通過對圖像數據進行編碼獲取的比特流被接收，當前編碼單位的量化參數被使用由此接收的差分量化參數來設置，并且圖像數據通過對由使用由此設置的量化參數而由此接收到的比特流進行逆量化而生成。
在本公開的又一方面，對在設置預測量化參數時定位在作為編碼處理的對象的當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)做出判定，用于當前編碼單位的預測量化參數通過僅使用由所述判定單元判定為處于可用狀態(tài)的編碼單位的量化參數來設置，差分量化參數被設置為指示為當前編碼單位設置的量化參數和由預測量化參數設置單元設置的預測量化參數之間的差值，比特流通過對由量化圖像數據獲取的量化數據進行編碼來生成，并且由此生成的比特流和由此設置的差分量化參數被傳送。
在本公開的又一方面，指示為作為解碼處理的對象的當前編碼單位設置的量化參數和作為所述量化參數的預測值的預測量化參數之間的差值的差分量化參數以及通過對圖像數據進行編碼獲取的比特流被接收，對在設置預測量化參數時判定定位在當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)做出判定，用于當前編碼單位的預測量化參數通過僅使用由所述判定單元判定為處于可用狀態(tài)的編碼單位的量化參數來設置，當前編碼單位的量化參數通過將為當前編碼單位設置的量化參數與由此接收到的差分量化參數相加而被設置，由此接收到的比特流被解碼，并且通過對比特流進行解碼獲取的量化系數通過使用由此生成的量化參數而被逆量化。
本發(fā)明的效果
根據本公開，能夠對圖像進行處理。更具體地，能夠改善用于量化參數的編碼效率。
附圖說明
圖1是示出了圖像編碼裝置的主要配置的示例的框圖。
圖2是示出了宏塊的示例的圖示。
圖3是示出了宏塊的另一示例的圖示。
圖4是示出了編碼單位的配置的示例的圖示。
圖5是解釋量化參數的預測的圖示。
圖6是示出了量化單元、速率控制單元和量化參數編碼單元的主要配置的示例的圖示。
圖7是解釋編碼處理的流程的示例的流程圖。
圖8是解釋量化處理的流程的示例的流程圖。
圖9是解釋預測量化參數生成處理的流程的示例的流程圖。
圖10是示出了圖像解碼裝置的主要配置的示例的框圖。
圖11是示出了逆量化單元和量化參數解碼單元的主要配置的示例的框圖。
圖12是解釋解碼處理的流程的示例的流程圖。
圖13是解釋逆量化處理的流程的示例的流程圖。
圖14是示出了量化參數編碼單元的另一配置的示例的圖示。
圖15是解釋預測量化參數生成處理的另一示例的流程圖。
圖16是示出了量化參數解碼單元的另一配置的示例的圖示。
圖17是示出了量化參數編碼單元的又一配置的示例的圖示。
圖18是解釋預測量化參數生成處理的又一示例的流程圖。
圖19是示出了量化參數解碼單元的又一配置的示例的圖示。
圖20是示出了量化參數編碼單元的又一配置的示例的圖示。
圖21是解釋類別數據的示例的圖示。
圖22是解釋類別數據設置處理的流程的示例的流程圖。
圖23是解釋預測量化參數生成處理的又一示例的流程圖。
圖24是示出了量化參數解碼單元的又一配置的示例的視圖。
圖25是解釋類別數據的另一市例的圖示。
圖26是解釋類別數據設置處理的流程的另一示例的流程圖。
圖27是示出了在LCU單位內預測完成時的例子的圖示。
圖28是示出了多視點圖像編碼方法的示例的圖示。
圖29是本技術要應用于的多視點圖像編碼裝置的主要配置的示例的圖示。
圖30是本技術要應用于的多視點圖像解碼裝置的主要配置的示例的圖示。
圖31是示出了分層圖像編碼方法的示例的圖示。
圖32是本技術要應用于的分層圖像編碼裝置的主要配置的示例的圖示。
圖33是本技術要應用于的分層圖像解碼裝置的主要配置的示例的圖示。
圖34是示出了計算機的主要配置的示例的框圖。
圖35是示出了電視裝置的概略配置的示例的框圖。
圖36是示出了蜂窩電話的概略配置的示例的框圖。
圖37是示出了記錄/再現裝置的概略配置的示例的框圖。
圖38是示出了圖像拍攝裝置的概略配置的示例的框圖。
具體實施方式
其后將解釋實施本公開的模式(其后被稱為實施例)。應該注意，解釋將以如下的次序做出。
1.第一實施例(圖像編碼裝置)
2.第二實施例(圖像解碼裝置)
3.第三實施例(計算方法選擇)
4.第四實施例(加權平均)
5.第五實施例(類別數據的設置)
6.第六實施例(LCU單位的預測)
7.第七實施例(多視點圖像編碼/多視點圖像解碼裝置)
8.第八實施例(分層圖像編碼/分層圖像解碼裝置)
9.第九實施例(應用的示例)
<1.第一實施例>
[圖像編碼裝置]圖1是示出了圖像編碼裝置的主要配置的示例的框圖。
圖1例示的圖像編碼裝置100使用諸如H.264和MPEG(運動圖像專家組)4Part10(AVC(先進視頻編碼))編碼方法的預測處理來對圖像數據進行編碼。
如圖1所示，圖像編碼裝置100包括A/D轉換單元101、屏幕排序緩沖器102、計算單元103、正交變換單元104、量化單元105、無損編碼單元106和累積緩沖器107。圖像編碼裝置100包括逆量化單元108、逆正交變換單元109、計算單元110、環(huán)濾波器111、幀存儲器112、選擇單元113、內預測單元114、運動預測/補償單元115、預測圖像選擇單元116和速率控制單元117。
圖像編碼裝置100還包括量化參數編碼單元121和量化參數解碼單元122。
A/D轉換單元101對接收到的圖像數據執(zhí)行A/D轉換，并且將轉換后的圖像數據(數字數據)提供給屏幕排序緩沖器102以在其中存儲該圖像數據。屏幕排序緩沖器102將按存儲的顯示次序的幀圖像排序為根據GOP(圖像群組)進行編碼的幀次序，并且將幀次序已被排序的圖像提供給計算單元103。屏幕排序緩沖器102還將幀次序已被排序的圖像提供給內預測單元114和運動預測/補償單元115。
計算單元103對從屏幕排序緩沖器102中讀取的圖像進行減法操作，即從中減去由內預測單元114和運動預測/補償單元115經由預測圖像選擇單元116提供的預測圖像，并將上述的差分信息輸出至正交變換單元104。
例如，在間編碼圖像的情況下，計算單元103對從屏幕排序緩沖器102中讀取的圖像進行減法操作，即從中減去由運動預測/補償單元115提供的預測圖像。
正交變換單元104對由計算單元103提供的差分信息應用正交變換，諸如離散余弦變換和Karhunen-Loeve轉換。應該注意到這一正交變換方法可以是任何方法。正交變換單元104將變換系數提供給量化單元105。
量化單元105對來自正交變換單元104的變換系數進行量化。量化單元105在有關從速率控制單元17提供的代碼量的目標值的信息的基礎上設置量化參數并進行量化。應該注意到量化方法可以是任何方法。量化單元105將經量化的變換系數提供給無損編碼單元106。
無損編碼單元106使用任何編碼方法對由量化單元105量化的變換系數進行編碼。系數數據在速率控制單元117的控制下被量化，并且由此，代碼量變?yōu)橛伤俾士刂茊卧?17設置的目標值(或變?yōu)榻咏瞿繕酥?。
無損編碼單元106從內預測單元114中獲取指示內預測模式等的信息，并從運動預測/補償單元115中獲取指示間預測模式的信息、運動矢量信息等。此外，無損編碼單元106還獲取由環(huán)濾波器111使用的濾波器系數等。
無損編碼單元106使用任何編碼方法對如上所述的各種類型的信息進行編碼，并且使其成為編碼數據的頭部信息的一部分(多路復用)。無損編碼單元106將從編碼中獲取的編碼數據提供給累積緩沖器107用以在其中累積編碼數據。
無損編碼單元106的編碼方法的例子包括長度可變編碼或算術編碼。長度可變編碼的一個例子包括在H.264/AVC方法中定義的CAVLC(情境適應的長度可變編碼)等。算術編碼的一個例子包括CABAC(情境適應的二進制算術編碼)。
累積緩沖器107臨時保存由無損編碼單元106提供的編碼數據。累加緩沖器107以預定的定時將其內所保存的編碼數據作為比特流輸出至在后續(xù)級中提供且未示出的例如記錄裝置(記錄介質)、傳輸路徑等。
由量化單元105量化的變換系數還被提供給逆量化單元108。逆量化單元108根據與量化單元105進行的量化相對應的方法來對經量化的變換系數執(zhí)行逆量化。只要是與量化單元105進行的量化處理相對應的方法，該逆量化方法可以是任何方法。逆量化單元108將獲得的變換系數提供給逆正交變換單元109。
逆正交變換單元109根據與正交變換單元104進行的正交變換處理相對應的方法對由逆量化單元108提供的變換系數執(zhí)行逆正交變換。只要是與正交變換單元104進行的正交變換處理相對應的方法，該逆正交變換方法可以是任何方法。從該逆正交變獲取的輸出(恢復的差分信息)被提供給計算單元110。
計算單元110將從內預測單元114或運動預測/補償單元115經由預測圖像選擇單元116提供的預測圖像與由逆正交變換單元109提供的逆正交變換結果(即，恢復的差分信息)相加，并獲取局部解碼的圖像(解碼圖像)。該解碼圖像被提供給環(huán)濾波器111或幀存儲器112。
環(huán)濾波器111包括解塊濾波器、適應環(huán)濾波器等，并且在需要時將濾波處理應用于由計算單元110提供的解碼圖像。例如，環(huán)濾波器111對解碼圖像應用解塊濾波處理以從該解碼圖像中移除塊噪聲。例如，環(huán)濾波器111使用Wiener濾波器對解塊濾波處理的結果(僅塊噪聲已被從中移除的解碼圖像)應用環(huán)濾波處理，由此改善圖像質量。
應該注意到環(huán)濾波器111可以將任何給定的濾波處理應用于解碼圖像。在需要時，環(huán)濾波器111將諸如在濾波處理中使用的濾波器系數的信息提供給無損編碼單元106，以使得無損編碼單元106對所述信息進行編碼。
環(huán)濾波器111將濾波處理的結果(從濾波處理中獲取的解碼圖像)提供給幀存儲器112。如上所述，從計算單元110中輸出的解碼圖像能夠在不依賴于環(huán)濾波器111的情況下被提供給幀存儲器112。更具體地，基于環(huán)濾波器111的濾波處理能夠被省略。
幀存儲器112存儲所提供的解碼圖像，并且以預定的定時將所存儲的解碼圖像作為參考圖像提供給選擇單元113。
選擇單元113為從幀存儲器112中提供的參考圖像選擇目的地。例如，在間預測的情況下，選擇單元113將從幀存儲器112中提供的參考圖像提供給運動預測/補償單元115。
內預測單元114通過基本上采用預測單位(PU)作為處理單位使用處理對象圖片(其是從幀存儲器112中經由選擇單元113提供的參考圖像)中的像素值執(zhí)行用于生成預測圖像的內預測(屏幕內預測)。內預測單元114以預先準備的多個模式(內預測模式)執(zhí)行這一內預測。
內預測單元114使用可能是候選的所有內預測模式生成預測圖像，并且使用從屏幕排序緩沖器112提供的輸入圖像來估計每個預測圖像的成本函數值，由此選擇最優(yōu)模式。當選擇了最優(yōu)內預測模式時，內預測單元114將使用該最優(yōu)模式生成的預測圖像提供給預測圖像選擇單元116。
如上所述，內預測單元114在需要時將指示所利用的內預測模式的內預測模式信息等提供給無損編碼單元106，并且使無損編碼單元106執(zhí)行編碼。
運動預測/補償單元115通過基本上采用PU作為處理單位使用由屏幕排序緩沖器102提供的輸入圖像以及由幀存儲器112經由選擇單元113提供的參考圖像來執(zhí)行運動預測(間預測)，根據檢測到的運動矢量執(zhí)行運動補償處理并且生成預測圖像(間預測圖像信息)。運動預測/補償單元115使用預先準備的多個模式(間預測模式)執(zhí)行這一間預測。
運動預測/補償單元115使用可能是候選的所有間預測模式生成預測圖像，并且估計每個預測圖像的成本函數值，由此選擇最優(yōu)模式。當選擇了最優(yōu)間預測模式時，運動預測/補償單元115將使用該最優(yōu)模式生成的預測圖像提供給預測圖像選擇單元116。
運動預測/補償單元115向無損編碼單元106提供指示所利用的間預測模式的信息、在對編碼數據進行解碼時用間預測模式執(zhí)行處理所需的信息等，并且使該無損編碼單元106執(zhí)行編碼。
預測圖像選擇單元116為提供給計算單元103和計算單元110的預測圖像選擇源。例如，在間編碼的情況下，預測圖像選擇單元選擇運動預測/補償單元115作為預測圖像的源，并且將由該運動預測/補償單元115提供的預測圖像提供給計算單元103和計算單元110。
速率控制單元117在累積緩沖器107中累積的編碼數據的代碼量的基礎上控制量化單元105進行量化操作的速率，從而避免引起上溢和下溢。
量化參數編碼單元121從量化單元105獲取作為處理對象的當前區(qū)域(也被稱為關注區(qū)域)的量化參數以及圍繞當前區(qū)域的周圍區(qū)域的量化參數，計算其間的差分，將該差分返回給量化單元105，并使得無損編碼單元106對其進行編碼和傳送。量化參數編碼單元121還經由逆量化單元108將所述差分提供給量化參數解碼單元122。
量化參數解碼單元122使用由量化參數編碼單元121提供的當前區(qū)域和周圍區(qū)域內的量化參數的差分以及在過去重構的周圍區(qū)域的量化參數來重構當前區(qū)域內的量化參數，并且將該重構的量化參數提供給逆量化單元108。逆量化單元108使用該量化參數執(zhí)行逆量化。
[宏塊]
由此，在AVC編碼方法中，如圖2所例示，一個宏塊被劃分為多個運動補償塊，并且可以向每個運動補償塊給出不同的運動信息。
更具體地，包括16×16像素的宏塊可被劃分為如下分塊(partition)的任一種：即，16×16、16×8、8×16和8×8。
8×8的分塊可被進一步劃分為如下子分塊的任一種：即，8×8、8×4、4×8和4×4。如上所述，通過將宏塊劃分為多片所獲取的每個區(qū)域被稱為子宏塊。
由此，16×16像素的宏塊尺寸不適合作為下一代編碼方法的對象的諸如UHD的大型圖像幀。因此，如圖3所示，非專利文獻1等提出將宏塊尺寸制作為64×64像素和32×32像素。
更具體地，在非專利文獻1中，利用如圖3所示的分層結構并且對于具有16×16像素或更小的像素塊，在保持與當前AVC的宏塊的兼容性的同時將更大的塊定義為超組。
非專利文獻1是將擴展宏塊(擴展的部分區(qū)域)應用于片間的提案，但非專利文獻2則建議將擴展宏塊(擴展的部分區(qū)域)應用于片內。在如下的解釋中，由此被擴展的宏塊還被稱為擴展宏塊。
[編碼單位]
附帶地，制作16×16像素的宏塊尺寸不適合作為下一代編碼方法的對象的諸如UHD(超高分辨率；4000×2000像素)的大型圖像幀。
因此，在AVC中，如圖2所示，定義了宏塊和子宏塊的分層結構。例如，在HEVC(高效視頻編碼)中，編碼單位(CU)被如圖4所示定義。
CU還被稱為編碼樹塊(CTB)并且是作為在AVC中的宏塊的對應物的圖片單位的圖像的部分區(qū)域。AVC中宏塊的尺寸被固定為16×16像素，而CU的尺寸是不固定的，并且在每個序列中，尺寸在圖像壓縮信息中被指定。
例如，在包括在要被輸出的編碼數據內的順序參數組(SPS)中，規(guī)定了CU的最大尺寸(LCU(最大編碼單位))以及CU的最小尺寸(SCU(最小編碼單位))。
在每個LCU中，只要尺寸不小于SCU的尺寸，分割標志就為1，并且因此，可以將CU劃分為尺寸更小的CU。在圖4的例子中，LCU的尺寸是128，并且最大分層深度是5。當split_flag的值為"1"時，尺寸為2N×2N的CU被劃分為尺寸為N×N的CU，并處于低一級的分層中。
進一步地，CU被劃分為用作內預測或間預測的處理單位的區(qū)域(圖片單位的圖像的部分區(qū)域)的預測單位(PU)，并且被劃分為用作正交變換的處理單位的區(qū)域(圖片單位的圖像的部分區(qū)域)的變換單位(TU)。當前，在HEVC中，除了4×4和8×8之外，還可以使用16×16和32×32的正交變換。
在如同以上解釋的HEVC那樣定義CU并采用CU為單位執(zhí)行各類處理的編碼方法的情況下，AVC中的宏塊被認為對應于LCU。然而，如圖4所例示，CU具有分層結構，并且因此，分層中最高一級內的LCU的尺寸通常被設置為例如128×128像素，其大于AVC的宏塊。
本公開還可被應用于使用這類CU、PU、TU等來代替宏塊的編碼方法。更具體地，按照其執(zhí)行量化處理的處理單位可以是任何給定區(qū)域。也就是說，在如下的說明中，作為量化處理的處理對象的當前區(qū)域(也可被稱為注目或關注區(qū)域)以及作為定位在當前區(qū)域周圍的區(qū)域的周圍區(qū)域不僅包括這樣的宏塊和子宏塊，還包括諸如LCU、CU、SCU、PU和TU的所有數據單位。
由此，使用量化參數QP對用于在前塊的編碼的量化參數的差分進行編碼，并且尤其當量化參數向適應參數那樣在屏幕內動態(tài)改變時，圖像壓縮信息中的信息量可能會增大。
因此，例如如圖5所示，量化參數編碼單元121預測作為處理對象的當前區(qū)域的量化參數(例如，基于類似圖5的周圍區(qū)域的量化參數(例如，周圍編碼單位)的當前編碼單位)，并且計算當前區(qū)域內量化參數的預測值和實際值之間的差值。這一差值被編碼并傳送給解碼側。如上所述，圖像編碼裝置100可以降低量化參數的代碼量并且能夠改善編碼效率。
[量化單元、速率控制單元和量化參數編碼單元]
接下來將對圖像編碼裝置100中的每個單元加以說明。圖6是示出了量化單元105、速率控制單元117和量化參數編碼單元121的主要配置的示例的框圖。
如圖6所示，速率控制單元117是活動性計算單元131。量化單元105包括關注區(qū)域量化參數生成單元141、量化處理單元142、周圍區(qū)域量化參數緩沖器143和差分量化參數緩沖器144。
進一步地，量化參數編碼單元121包括預測量化參數生成單元151和差分量化參數生成單元152。
活動性計算單元131獲取來自屏幕排序緩沖器102的輸入圖像信息，并且根據例如在MPEG2TestModel("TestModel5",ISO/IEC,JTC/SC29/WG1l/N0400,1993)中定義的代碼量控制方法來計算其活動性，并且將該活動性提供給關注區(qū)域量化參數生成單元141。
關注區(qū)域量化參數生成單元141基于所提供的活動性計算當前區(qū)域(關注區(qū)域)的量化參數(關注區(qū)域量化參數)。關注區(qū)域量化參數生成單元141將算出的關注區(qū)域量化參數提供給量化處理單元142。
量化處理單元142使用關注區(qū)域量化參數量化由正交變換單元104提供的正交變換系數，將經量化的正交變換系數提供給無損編碼單元106，并使得無損編碼單元106對其執(zhí)行編碼并將其傳送給解碼側。
量化處理單元142還將該經量化的正交變換系數提供給逆量化單元108。
關注區(qū)域量化參數生成單元141將算出的關注區(qū)域量化參數提供給周圍區(qū)域量化參數緩沖器143。
周圍區(qū)域量化參數緩沖器143存儲所提供的關注區(qū)域量化參數。周圍區(qū)域量化參數緩沖器143在處理中采用在當前區(qū)域之后處理的另一區(qū)域作為當前區(qū)域，將所存儲的關注區(qū)域量化參數作為周圍區(qū)域的量化參數(周圍區(qū)域量化參數)提供給預測量化參數生成單元151。
預測量化參數生成單元151選擇當前區(qū)域的多個周圍區(qū)域，并且從周圍區(qū)域量化參數緩沖器143中讀取每個周圍區(qū)域的量化參數作為周圍區(qū)域量化參數。預測量化參數生成單元151使用這些參數來生成當前區(qū)域的量化參數的預測值(預測量化參數)。例如，預測量化參數生成單元151使用多個周圍區(qū)域量化參數執(zhí)行中值操作以采用其中值作為預測量化參數。預測量化參數生成單元151將由此生成的預測量化參數提供給差分量化參數生成單元152。
進一步地，關注區(qū)域量化參數生成單元141還將算出的關注區(qū)域量化參數提供給差分量化參數生成單元152。
差分量化參數生成單元152生成從關注區(qū)域量化參數生成單元141獲取的關注區(qū)域量化參數與從預測量化參數生成單元151獲取的預測量化參數之間的差分(差分量化參數)。差分量化參數生成單元152將生成的差分量化參數提供給差分量化參數緩沖器144。
差分量化參數緩沖器144存儲所提供的差分量化參數，并且根據預定的定時或者響應于預定事件的發(fā)生，該差分量化參數緩沖器144將差分量化參數提供給無損編碼單元106，以使得無損編碼單元106對該參數執(zhí)行編碼并將其發(fā)送至解碼側。
差分量化參數緩沖器144還將差分量化參數提供給逆量化單元108。
逆量化單元108通過使得量化參數解碼單元122對差分量化參數進行解碼來生成關注區(qū)域量化參數，并且使用該關注區(qū)域量化參數對從量化處理單元142獲取的經量化的正交變換系數進行逆量化。
隨后將在關于圖像解碼裝置的說明中對逆量化單元108和量化參數解碼單元122的細節(jié)進行說明。作為替換，關注區(qū)域量化參數生成單元141可以將關注區(qū)域量化參數提供給逆量化單元108，并且逆量化單元108可以使用該關注區(qū)域量化參數對經量化的正交變換系數進行逆量化。在此情況下，可以省略量化參數解碼單元122。
如上所述，各個單元執(zhí)行處理，并由此圖像編碼裝置100能夠改善量化參數的編碼效率。
[量化參數的編碼]
接下來將更為具體地解釋量化參數的編碼。
一般地，作為處理對象的當前區(qū)域(關注區(qū)域)的紋理被認為是與位于其四周的周圍區(qū)域的任一區(qū)域的紋理相關。利用這一事實，能夠降低量化參數所需的信息。
當前區(qū)域和周圍區(qū)域的一個例子將在圖5中示出。在圖5中，每個矩形代表一個量化處理單位的區(qū)域，并且QPcurr的矩形代表當前區(qū)域。QPcurr指示該當前區(qū)域的量化參數。
類似地，QPa的矩形代表與當前區(qū)域的左側鄰接的周圍區(qū)域A，并且QPa指示該周圍區(qū)域A的量化參數。QPb的矩形代表與當前區(qū)域的上側鄰接的周圍區(qū)域B，并且QPb指示該周圍區(qū)域B的量化參數。QPc的矩形代表與當前區(qū)域的左上側鄰接的周圍區(qū)域C，并且QPc指示該周圍區(qū)域C的量化參數。QPd的矩形代表與當前區(qū)域的左下側鄰接的周圍區(qū)域D，并且QPd指示該周圍區(qū)域D的量化參數。QPe的矩形代表與當前區(qū)域的右上側鄰接的周圍區(qū)域E，并且QPe指示該周圍區(qū)域E的量化參數。進一步地，QPa'的矩形代表與當前區(qū)域的左側鄰接的周圍區(qū)域A'，并且QPa'指示該周圍區(qū)域A'的量化參數。
應該注意到的是，當量化單元105計算當前區(qū)域的量化參數QPcurr時，周圍區(qū)域的量化參數QPa、QPb、QPc、QPd、QPe和QPa'是已被算出的。
當前區(qū)域的量化參數QPcurr被認為與最為接近當前區(qū)域的周圍區(qū)域的量化參數QPa、QPb和QPc中的任一具有高度相關性。因此，首先，量化參數編碼單元121例如根據下式(1)從量化參數QPa、QPb和QPc生成當前區(qū)域的量化參數QPcurr的預測值PredQP。
PredQP＝Med(QPa,QPb,QPc)...(1)
接下來，量化參數編碼單元121從量化參數QPcurr中減去預測值PredQP，并如下式(2)所示獲取差分量化參數dQP。
dQP＝QPcurr-PredQP...(2)
差分量化參數dQP被傳送至解碼側。更具體地，圖像編碼裝置100傳送的是通過從量化參數QPcurr中減去預測值PredQP獲取的差分量化參數dQP而并非是量化參數QPcurr，由此減小量化參數的代碼量。
用于計算預測值PredQP的量化參數可以是周圍區(qū)域A至周圍區(qū)域C之外的其他區(qū)域，只要其已被算出即可。例如，量化參數QPd和QPe可被用于計算預測值PredQP。不與當前區(qū)域鄰接的周圍區(qū)域的量化參數QPa'也可被用于獲取預測值PredQP。進一步地，預測值PredQP可以使用已在上文描述的周圍區(qū)域之外的周圍區(qū)域的量化參數來獲取。例如，在上述空間上位于當前區(qū)域四周的區(qū)域(空間周圍區(qū)域)的量化參數之外，還可以使用諸如參考幀的協同定位區(qū)域的在時間上圍繞當前區(qū)域的區(qū)域(時間周圍區(qū)域)的量化參數來獲取預測值PredQP。此外，還可以使用空間周圍區(qū)域的量化參數和時間周圍區(qū)域的量化參數兩者來獲取預測值PredQP。
當使用量化參數QPa'時，例如，并非是使用量化參數QPa來計算預測值PredQP，用于計算當前區(qū)域的量化參數的預測值PredQP的計算處理可以在不等待鄰接當前區(qū)域的周圍區(qū)域的編碼處理的情況下開始，并由此能夠實現快速處理。在使用時間周圍區(qū)域的量化參數時也可以是一樣的情況。
預測值PredQP的計算方法可以是任何方法，并且可以是上述中值方法之外的方法。例如，可以采用周圍區(qū)域的量化參數的全部或部分的平均值作為預測值PredQP。
一般地，當前區(qū)域的紋理通常與任一周圍區(qū)域的紋理具有高度的相關性，并且不太可能與多個周圍區(qū)域的紋理具有高度的相關性。
例如，當存在與當前區(qū)域接近的彼此具有不同紋理的兩個對象的圖像時，當前區(qū)域的圖像很可能是任一所述對象的圖像。在此情況下，當前區(qū)域的紋理與存在所述物體中的一個的情況下的周圍區(qū)域的紋理具有高度的相關性，并且與存在所述物體中的另一個的情況下的周圍區(qū)域的紋理具有低度的相關性。在此情況下，當前區(qū)域的紋理不太可能與在所述物體中的一個的情況下的周圍區(qū)域的紋理和存在所述物體中的另一個的情況下的周圍區(qū)域的紋理的平均值具有高度的相關性。
因此，一般地，預測值PredQP的預測精度可以使用中值改善。
然而，例如在圖像具有紋理逐漸改變的漸變時，當前區(qū)域的紋理很可能與以把當前區(qū)域夾在中間的方式存在的兩個周圍區(qū)域的紋理的平均值具有高度的相關性。在此情況下，預測值PredQP的預測精度可以很容易地使用平均值來改善。
應該注意到的是，使用平均值，計算處理會變得簡單，并且計算負載更低。
期望的是依據上述每種計算的特征的不同使用最優(yōu)計算方法。作為替換，可以準備多種計算方法，并且可以按自適應的方式來從中進行選擇。
進一步地，量化參數編碼單元121生成指示是否傳送上述說明的差分量化參數dQP的標志信息(標志)，并且可以將該標志信息傳送至解碼側。
在此情況下，例如，量化參數編碼單元121在比特流的預定位置處(諸如，片頭)存儲標志信息，并且將其作為比特流傳送至解碼側。解碼側查找該標志信息，并且如果標志保持為等于1，則解碼側判定接收到差分量化參數dQP，并由此根據上述計算獲取預測值PredQP，并且根據上述計算獲取當前區(qū)域的量化參數QPcurr。當標志保持為等于0，則例如在AVC中使用的那樣執(zhí)行根據常規(guī)方法的dQP的編碼/解碼處理。
如上所述，標志信息被傳送，其允許解碼側對應多種方法。因此，編碼側可以從多種方法中選擇并應用最為合適的方法。由此，圖像編碼裝置100能夠進一步減少用于量化參數的代碼量。
當一個幀被分割為多個片并且每個片被彼此獨立處理時，量化參數編碼單元121可以保持每個片的處理的獨立性，并且可以為了不引起不必要的延遲僅使用屬于包括當前區(qū)域的當前片(給予關注的片)的周圍區(qū)域來計算預測值PredQP。在這一情況下，無需使用位于當前片之外的周圍區(qū)域，并由此可以減少計算預測值PredQP所使用的量化參數的數量。作為替換，可以使用當前片內處理的其他周圍區(qū)域的量化參數來代替位于當前片之外的周圍區(qū)域的量化參數。
在MPEG2和AVC中，在差分量化參數dQP是當前區(qū)域的量化參數和用于緊接在前的編碼處理或解碼處理的量化參數之差(即，圖5示例中QPa和QPcurr之差)的情況下執(zhí)行編碼處理。然而，當前區(qū)域和周圍區(qū)域A之間的相關性可以不必是高的。因此，預測精度會在執(zhí)行這類固定處理時降低。
相比之下，量化參數編碼單元121使用多個周圍區(qū)域的量化參數執(zhí)行預測，從而能夠使用被認為是具有最高程度相關性的量化參數來計算差分量化參數dQP。更具體地，能夠實現相比于MPEG2和AVC所提議的更高的壓縮率。
在上述方法中，無需改變有關圖像壓縮信息的dQP的語法，并且所述方法能夠通過僅改變編碼和解碼方法來實現。由此，所述方法能夠以很小的改變被方便地應用于現有編碼裝置和解碼裝置。
[編碼處理的流程]
隨后，將描述由圖像編碼裝置100執(zhí)行的每個處理的流程。首先，將參考圖7的流程圖描述編碼處理的流程的示例。
在步驟S101，A/D轉換單元101對接收到的圖像執(zhí)行A/D轉換。在步驟S102，屏幕排序緩沖器102存儲已經歷A/D轉換的圖像，并將它們從圖片顯示的次序排序為要被編碼的次序。
在步驟S103，內預測單元114執(zhí)行內預測模式的內預測處理。在步驟104，運動預測/補償單元115在間預測模式下執(zhí)行用于進行運動預測和運動補償的間運動預測處理。
在步驟S105，預測圖像選擇單元116基于從內預測單元114和運動預測/補償單元115輸出的每個成本函數值來判定最優(yōu)模式。更具體地，預測圖像選擇單元116可以選擇由內預測單元114生成的預測圖像和由運動預測/補償單元115生成的預測圖像中的任一個。
在步驟S106，計算單元103計算在步驟S102內的處理中被排序的圖像和在步驟S105內的處理中被選擇的預測圖像之間的差。這一差分數據的數據量相比于初始圖像數據有所減少。因此，相比于原樣壓縮的圖像，數據量能夠被壓縮。
在步驟S107，正交變換單元104對由步驟S106內的處理生成的差分信息執(zhí)行正交變換。更具體地，執(zhí)行諸如離散余弦變換和Karhunen-Loeve轉換的正交變換并且輸出變換系數。
在步驟S108，量化單元105對在步驟S107內的處理中獲取的正交變換系數進行量化。
作為步驟S108的處理的結果，經量化的差分信息被如下局部解碼。更具體地，在步驟S109，逆量化單元108根據與量化單元105的特性相對應的特性對在步驟S108內的處理中生成的經量化的正交變換系數(也被稱為量化系數)進行逆量化。在步驟S110，逆正交變換單元109根據與正交變換單元104的特性相對應的特性對在步驟S107內的處理中獲取的正交變換系數執(zhí)行逆正交變換。
在步驟S111，計算單元110將預測圖像與局部解碼的差分信息相加，并且生成局部解碼的圖像(與對計算單元103的輸入相對應的圖像)。在步驟S112，在需要時，環(huán)濾波器111將包括解塊濾波處理、自適應環(huán)濾波處理等的環(huán)濾波處理應用于在步驟S111內的處理中獲取的解碼圖像。
在步驟S113，幀存儲器112存儲在步驟S112內的處理中被應用了環(huán)濾波處理的解碼圖像。應該注意到，幀存儲器112還接收來自計算單元110的未經環(huán)濾波器111應用濾波處理的圖像，并且存儲這一圖像。
在步驟S114，無損編碼單元106對在步驟S108內的處理中被量化的變換系數進行編碼。更具體地，諸如可變長度編碼和算術編碼的無損編碼被應用于該差分圖像。
無損編碼單元106對在步驟S108中算出的量化參數進行編碼，并將其與編碼數據相加。無損編碼單元106對在步驟S105內的處理中選擇的關于預測圖像的預測模式的信息進行編碼，并將該信息與由編碼差分圖像獲取的編碼數據相加。更具體地，無損編碼單元106對例如從內預測單元114提供的最優(yōu)內預測模式信息或是根據從運動預測/補償單元115提供的最優(yōu)間預測模式的信息進行編碼，并且將該信息與編碼數據相加。
在步驟S115，累積緩沖器107累積在步驟S114內的處理中獲取的編碼數據。在累積緩沖器107中累積的編碼數據被按需讀取并經由傳輸路徑和記錄介質傳送至解碼側。
在步驟S116，速率控制單元117基于在步驟S115內的處理中累積緩沖器107中累積的編碼數據的代碼量(生成的代碼量)來控制量化單元105進行量化操作的速率。
當步驟S116內的處理完成時，編碼處理終止。
[量化處理的流程]
隨后，將參考圖8的流程圖對在圖7的步驟S108中執(zhí)行的量化處理的流程的示例進行說明。
在量化處理開始時，活動性計算單元131在步驟S131中計算當前區(qū)域的活動性。
在步驟S132，關注區(qū)域量化參數生成單元141基于在步驟S131中算出的活動性生成關注區(qū)域量化參數。
在步驟S133，周圍區(qū)域量化參數緩沖器143存儲在步驟S132中生成的關注區(qū)域量化參數。
在步驟S134，量化處理單元142使用在步驟S132中生成的關注區(qū)域量化參數對當前區(qū)域的正交變換系數進行量化。
在步驟S135，預測量化參數生成單元151生成預測量化參數。
在步驟S136，差分量化參數生成單元152生成差分量化參數，該差分量化參數是在步驟S132中示出的關注區(qū)域量化參數和在步驟S135中生成的預測量化參數之差。
在差分量化參數被生成時，差分量化參數生成單元152終止量化處理并將該處理返回至圖7。
[預測量化參數生成處理的流程]
隨后，將參考圖9的流程圖對在圖8的步驟S135中執(zhí)行的預測量化參數生成處理的流程的示例進行說明。
在步驟S151，預測量化參數生成單元151選擇多個周圍區(qū)域，針對所述多個周圍區(qū)域獲取預測量化參數的候選。
在步驟S152，預測量化參數生成單元151從周圍區(qū)域量化參數緩沖器143讀取由此選擇的每個周圍區(qū)域的周圍區(qū)域量化參數。
在步驟S153，例如，預測量化參數生成單元151對在步驟S152中獲取的多個周圍區(qū)域量化參數執(zhí)行中值預測，并且采用中值作為預測量化參數。
當在步驟S153內的處理結束時，預測量化參數生成單元151終止預測量化參數生成處理并將該處理返回至圖8。
如上所述，通過執(zhí)行這一處理，圖像編碼裝置100能夠傳送差分量化參數而非關注區(qū)域量化參數，并能夠由此改善量化參數的編碼效率。
<2.第二實施例>
[圖像解碼裝置]
圖10是示出了圖像解碼裝置的主要配置的示例的框圖。如圖10所示，圖像解碼裝置200根據與圖像編碼裝置100的編碼方法相對應的解碼方法對由圖像編碼裝置100生成的編碼數據進行解碼。類似于圖像編碼裝置100，該圖像解碼裝置200對每個區(qū)域執(zhí)行量化處理。
如圖10所示，圖像解碼裝置200包括累積緩沖器201、無損解碼單元202、逆量化單元203、逆正交變換單元204、計算單元205、環(huán)濾波器206、屏幕排序緩沖器207以及D/A轉換單元208。該圖像解碼裝置200還包括幀存儲器209、選擇單元210、內預測單元211、運動預測/補償單元212和選擇單元213。
進一步地，該圖像解碼裝置200還包括量化參數解碼單元221。
累積緩沖器201累積接收到的編碼數據，并且按照預定定時將該編碼數據提供給無損解碼單元202。無損解碼單元202根據與無損編碼單元106的編碼方法相對應的方法對由累積緩沖器201提供并由圖1的無損編碼單元106編碼的信息進行解碼。無損解碼單元202將作為解碼結果獲取的差分圖像的經量化的系數數據提供給逆量化單元203。
無損解碼單元202判定選擇內預測模式還是間預測模式作為最優(yōu)預測模式，并且將有關該最優(yōu)預測模式的信息提供給被判定要選擇模式的內預測單元211或運動預測/補償單元212。更具體地，例如當圖像編碼裝置100選擇內預測模式作為最優(yōu)預測模式時，關于該最優(yōu)預測模式的信息被提供給運動預測/補償單元212。
逆量化單元203根據與圖1的量化單元105的量化方法相對應的方法對從無損解碼單元202的解碼處理中獲取的經量化的系數數據進行逆量化，并且將獲取的系數數據提供給逆正交變換單元204。
逆正交變換單元204根據與圖1的正交變換單元104的正交變換方法相對應的方法對從逆量化單元203提供的系數數據執(zhí)行逆正交變換。作為這一逆正交變換處理的結果，逆正交變換單元20獲取與4在正交變換由圖像編碼裝置100執(zhí)行之前的殘余數據相對應的經解碼的殘余數據。
根據逆正交變換獲取的解碼殘余數據被提供給計算單元205。計算單元205經由選擇單元213接收來自內預測單元211或運動預測/補償單元212的預測圖像。
計算單元205將解碼殘余數據與預測圖像相加，并且獲取與在預測圖像被圖像編碼裝置100的計算單元103減去之前的圖像數據相對應的解碼圖像數據。計算單元205將該解碼圖像數據提供給環(huán)濾波器206。
在需要時，環(huán)濾波器206將包括解塊濾波處理和自適應環(huán)濾波處理等的環(huán)濾波處理應用于所提供的解碼圖像，并將其提供給屏幕排序緩沖器207。
環(huán)濾波器206包括解塊濾波器、適應環(huán)濾波器等，并且在需要時將濾波處理應用于由計算單元205提供的解碼圖像。例如，環(huán)濾波器206對解碼圖像應用解塊濾波處理以從該解碼圖像中移除塊噪聲。例如，環(huán)濾波器206使用Wiener濾波器對解塊濾波處理的結果(僅塊噪聲已被移除的解碼圖像)應用環(huán)濾波處理，由此改善圖像質量。
應該注意到環(huán)濾波器206可以將任何給定的濾波處理應用于解碼圖像。環(huán)濾波器206還使用由圖1的圖像編碼裝置100提供的濾波系數來應用濾波處理。
環(huán)濾波器206將濾波處理的結果(從濾波處理中獲取的解碼圖像)提供給屏幕排序緩沖器207和幀存儲器209。從計算單元205輸出的解碼圖像能在不依賴環(huán)濾波器206的情況下被提供給屏幕排序緩沖器207和幀存儲器209。更具體地，基于環(huán)濾波器206的濾波處理能夠被省略。
屏幕排序緩沖器207對圖像進行排序。更具體地，按照圖1的屏幕排序緩沖器102編碼的次序而被排序的幀次序被排序為用于顯示的原始次序。D/A轉換單元208對從屏幕排序緩沖器207提供的圖像執(zhí)行D/A轉換，將圖像輸出至顯示器(未示出)，并且使得顯示器示出該圖像。
幀存儲器209存儲提供的解碼圖像，并且按照預定定時或基于諸如內預測單元211和運動預測/補償單元212之類的外部請求將存儲的解碼圖像作為參考圖像提供給選擇單元210。
選擇單元210為從幀存儲器209中提供的參考圖像選擇目的地。當內編碼圖像被解碼時，選擇單元210向內預測單元211提供由幀存儲器209提供的參考圖像。當間編碼圖像被解碼時，選擇單元210向運動預測/補償單元212提供由幀存儲器209提供的參考圖像。
在需要時，無損解碼單元202將例如通過對頭部信息進行解碼獲取的指示內預測模式的信息提供給內預測單元211。內預測單元211在由圖1的內預測單元114使用的內預測模式下使用從幀存儲器209獲取的參考圖像來執(zhí)行內預測模式，并生成預測圖像。內預測單元211將生成的預測圖像提供給選擇單元213。
運動預測/補償單元212從無損解碼單元202獲取通過對頭部信息進行解碼所獲取的信息(最優(yōu)預測模式信息、差分信息和預測運動矢量信息的代碼數量等)。
運動預測/補償單元212通過在由圖1的運動預測/補償單元115使用的間預測模式下使用從幀存儲器209獲取的參考圖像來應用間預測，生成預測圖像。
量化參數解碼單元221將使用周圍區(qū)域量化參數生成的當前區(qū)域的量化參數(在過去重構的關注區(qū)域量化參數)與從圖像編碼裝置100提供的差分量化參數相加，并且重構關注區(qū)域量化參數。量化參數解碼單元221將該關注區(qū)域量化參數提供給逆量化單元203。
逆量化單元203使用由量化參數解碼單元221提供的關注區(qū)域量化參數對由無損解碼單元202提供的經量化的正交變換系數進行逆量化。
由此，逆量化單元203能夠根據與量化單元105的量化處理相對應的方法來執(zhí)行逆量化。更具體地，圖像解碼裝置200能夠實現量化參數編碼效率的改善。
[逆量化單元和量化參數解碼單元]
圖11是示出了逆量化單元203和量化參數解碼單元221的主要配置的示例的框圖。
如圖11所示，逆量化單元203包括差分量化參數緩沖器231、量化正交變換系數緩沖器232、周圍區(qū)域量化參數緩沖器233和逆量化處理單元234。
量化參數解碼單元221包括預測量化參數生成單元241和關注區(qū)域量化參數重建單元242。
差分量化參數緩沖器231存儲從圖像編碼裝置100傳送并由無損解碼單元202提供的差分量化參數。差分量化參數緩沖器231按照預定的定時或基于諸如來自關注區(qū)域量化參數重建單元242的請求的預定事件的發(fā)生而將存儲的差分量化參數提供給關注區(qū)域量化參數重建單元242。
預測量化參數生成單元241獲取存儲在周圍區(qū)域量化參數緩沖器233中的多個周圍區(qū)域量化參數，并使用這些參數來生成當前區(qū)域的預測量化參數。
應該注意到，預測量化參數的計算方法與量化參數編碼單元121(預測量化參數生成單元151)的計算方法相同。例如，當預測量化參數生成單元151通過使用中值從多個周圍區(qū)域量化參數計算預測量化參數時，預測量化參數生成單元241也通過使用中值從多個周圍區(qū)域量化參數計算預測量化參數。當預測量化參數生成單元151采用多個周圍區(qū)域量化參數的平均值作為預測量化參數時，預測量化參數生成單元241也采用多個周圍區(qū)域量化參數的平均值作為預測量化參數。
這一計算方法可被預先確定，而標志信息等則可從圖像編碼裝置100傳送，并且預測量化參數生成單元241可以識別由圖像編碼裝置100選擇的計算方法，并且可以選擇與該方法相對應的方法。
預測量化參數生成單元241將生成的預測量化參數提供給關注區(qū)域量化參數重建單元242。
關注區(qū)域量化參數重建單元242通過將從預測量化參數生成單元241獲取的預測量化參數與從差分量化參數緩沖器231獲取的差分量化參數相加來重構關注區(qū)域量化參數。
關注區(qū)域量化參數重建單元242將重構的關注區(qū)域量化參數提供給周圍區(qū)域量化參數緩沖器233。
關注區(qū)域量化參數重建單元233存儲由關注區(qū)域量化參數重建單元242提供的關注區(qū)域量化參數。周圍區(qū)域量化參數緩沖器233在處理中采用在當前區(qū)域之后處理的另一區(qū)域作為當前區(qū)域，將所存儲的關注區(qū)域量化參數作為周圍區(qū)域量化參數提供給預測量化參數生成單元241。
關注區(qū)域量化參數重建單元242還將重構的關注區(qū)域量化參數提供給逆量化處理單元234。
量化正交變換系數緩沖器232存儲從圖像編碼裝置100傳送并由無損解碼單元202提供的經量化的正交變換系數。量化正交變換系數緩沖器232按照預定的定時或是基于諸如來自逆量化處理單元234的請求的預定事件的發(fā)生來將存儲的經量化的正交變換系數提供給逆量化處理單元234。
逆量化處理單元234使用從關注區(qū)域量化參數重建單元242獲取的關注區(qū)域量化參數并且對從量化正交變換系數緩沖器232獲取的經量化的正交變換系數進行逆量化。逆量化處理單元234將通過逆量化獲取的正交變換系數提供給逆正交變換單元204。
如上所述，各單元執(zhí)行處理，并且由此量化參數解碼單元221能夠正確重構在圖像編碼裝置100內的量化處理中使用的關注區(qū)域量化參數，并且逆量化單元203根據與圖像編碼裝置100的量化單元105進行的量化處理相對應的方法執(zhí)行逆量化。更具體地，圖像解碼裝置200能夠實現量化參數編碼效率的改善。
如圖1所示，圖像編碼裝置100的逆量化單元108和量化參數解碼單元122具有與逆量化單元203和量化參數解碼單元221相同的配置并且執(zhí)行相同的處理。
[解碼處理的流程]
隨后，將對如上說明的由圖像解碼裝置200執(zhí)行的每個處理的流程進行描述。首先，將參考圖12的流程圖描述解碼處理的流程的示例。
當解碼處理開始時，累積緩沖器201在步驟S201累積接收到的比特流。在步驟S202，無損解碼單元202對由累積緩沖器201提供的比特流進行解碼。更具體地，對由圖1的無損編碼單元106編碼的I圖片、P圖片和B圖片進行解碼。此外，還對包括在比特流內的除差分圖像信息之外的各類信息(諸如差分運動信息和差分量化參數)進行解碼。
在步驟S203，逆量化單元203和量化參數解碼單元221對在步驟S202內的處理中獲取的經量化的正交變換系數進行逆量化。
在步驟S204，逆正交變換單元204對在步驟S203中逆量化的正交變換系數執(zhí)行逆正交變換。
在步驟S205，內預測單元211或運動預測/補償單元212使用所提供的信息執(zhí)行預測處理。
在步驟S206，選擇單元213對在步驟S205中生成的預測圖像進行選擇。
在步驟S207，計算單元205將在步驟S206中選擇的預測圖像與在步驟S204根據逆正交變換獲取的差分圖像信息相加。于是，能夠獲取解碼圖像。
在步驟S208，在需要時，環(huán)濾波器206將包括解塊濾波處理、自適應環(huán)濾波處理等的環(huán)濾波處理應用于在步驟S207中獲取的解碼圖像。
在步驟S209，屏幕排序緩沖器207對在步驟S208中被濾波的圖像進行排序。更具體地，用于由圖像編碼裝置100的屏幕排序緩沖器102編碼而排序的幀次序被排序為用于顯示的原始次序。
在步驟S210，D/A轉換單元208對其幀在步驟S209中被排序的圖像執(zhí)行D/A轉換。圖像被輸出至顯示器(未示出)并且圖像被顯示。
在步驟S211，幀存儲器209存儲在步驟S208中濾波的圖像。這一圖像被用作步驟S205中預測圖像的生成的參考圖像。
當步驟S221內的處理完成時，解碼處理終止。
[逆量化處理的流程]
隨后，將參考圖13的流程圖對在圖12的步驟S203中執(zhí)行的逆量化處理的流程的示例進行說明。
當逆量化處理開始時，差分量化參數緩沖器231獲取在步驟S231中由圖像編碼裝置100生成的差分量化參數。
在步驟S232，預測量化參數生成單元241生成當前區(qū)域的預測量化參數。這一處理以與編碼側相同的方式執(zhí)行。更具體地，執(zhí)行參考圖9的流程圖說明的各個處理。
在步驟S233，關注區(qū)域量化參數重建單元242將在步驟S232中生成的預測量化參數與在步驟S231中獲取的差分量化參數相加，由此重構關注區(qū)域量化參數。
在步驟S234，周圍區(qū)域量化參數緩沖器233存儲在步驟S233中生成的關注區(qū)域量化參數。該關注區(qū)域量化參數在采用當前區(qū)域被處理之后的另一區(qū)域作為當前區(qū)域的逆量化處理中被用作周圍區(qū)域量化參數。
在步驟S235，量化正交變換系數緩沖器232獲取經量化的正交變換系數。
在步驟S236，逆量化處理單元234使用在步驟S235中重構的關注區(qū)域量化參數對在步驟S235中獲取的經量化的正交變換系數進行逆量化。
當逆量化結束時，逆量化處理單元234終止逆量化處理并將處理返回至圖12。
如上所述，通過執(zhí)行各類處理，圖像解碼裝置200能夠實現用于量化參數的編碼效率的改善。
<3.第三實施例>
[預測量化參數的計算方法的控制]
應該注意到，計算預測量化參數的方法不限于上述例子。例如，可以對每個周圍區(qū)域的量化參數是否能被用作周圍區(qū)域量化參數做出判定。
例如，在圖5的例子中，假設在生成當前區(qū)域的預測量化參數時，使用周圍區(qū)域A至C的量化參數。在此情況下，依賴于當前區(qū)域的位置，周圍區(qū)域A至C中的任意區(qū)域可能會例如位于圖像幀之外，或位于當前片之外的其他片，由此可能無法使用量化參數(在“不可用”狀態(tài)下)。
因此，在預測量化參數的生成過程中，量化參數編碼單元121判定各周圍區(qū)域是否能被使用(處于可用狀態(tài)還是不可用狀態(tài))，并且僅使用可使用的(可用)周圍區(qū)域來生成預測量化參數。進一步地，根據判定結果(各周圍區(qū)域是否處于能被使用的狀態(tài))，可以判定用于生成預測量化參數的計算方法。
[量化參數編碼單元]
圖14是示出了在此情況下的量化參數編碼單元121的主要配置的示例的框圖。如圖14所示，在此情況下的量化參數編碼單元121不僅包括第一實施例的配置(圖6)，還包括周圍區(qū)域利用可否判定單元301和計算控制單元302。
在預測量化參數生成單元151生成預測量化參數時，周圍區(qū)域利用可否判定單元301判定當前區(qū)域的各周圍區(qū)域是否能被使用。其能否被使用的理由不受限制。周圍區(qū)域利用可否判定單元301將判定結果提供給計算控制單元302。
根據由周圍區(qū)域利用可否判定單元301提供的判定結果，計算控制單元302判定預測量化參數生成的計算方法，并且向預測量化參數生成單元151提供指示判定的計算方法的信息以及由周圍區(qū)域利用可否判定單元301提供的判定結果。
預測量化參數生成單元151從周圍區(qū)域量化參數緩沖器143獲取由周圍區(qū)域利用可否判定單元301判定為可使用的(可用狀態(tài))周圍區(qū)域的量化參數來作為周圍區(qū)域量化參數。預測量化參數生成單元151根據由計算控制單元302判定的計算方法使用該周圍區(qū)域量化參數生成預測量化參數。
將說明更為具體的例子。例如，在圖5中，采用周圍區(qū)域A至C作為用于獲取周圍區(qū)域量化參數的候選區(qū)域。假設預測量化參數生成單元151能夠執(zhí)行上述中值計算和平均值計算。
例如，當周圍區(qū)域利用可否判定單元301判定周圍區(qū)域A至C全部是可使用(可用狀態(tài))時，計算控制單元302選擇中值計算作為用于生成預測量化參數的計算方法。由此，在此情況下，預測量化參數生成單元151從周圍區(qū)域量化參數緩沖器143讀取量化參數QPa、QPb和QPc，并且使用這些參數來根據上述式(1)執(zhí)行中值計算。
例如，當周圍區(qū)域利用可否判定單元301判定周圍區(qū)域A至C中有兩個區(qū)域可使用(可用狀態(tài))時，計算控制單元302選擇平均值計算作為用于生成預測量化參數的計算方法。
因此，例如，當區(qū)域A不可使用(不可用狀態(tài))時，預測量化參數生成單元151從周圍區(qū)域量化參數緩沖器143讀取量化參數QPb和QPc，并且使用這些參數來根據下述式(3)執(zhí)行平均值計算(Avr())。
PredQP＝Avr(QPb,QPc)...(3)
當區(qū)域B不可使用(不可用狀態(tài))時，預測量化參數生成單元151從周圍區(qū)域量化參數緩沖器143讀取周圍區(qū)域量化參數QPa和QPc，并且使用這些參數來根據下述式(4)執(zhí)行平均值計算(Avr())。
PredQP＝Avr(QPa,QPc)...(4)
當區(qū)域C不可使用(不可用狀態(tài))時，預測量化參數生成單元151從周圍區(qū)域量化參數緩沖器143讀取周圍區(qū)域量化參數QPb和QPc，并且使用這些參數來根據下述式(5)執(zhí)行平均值計算(Avr())。
PredQP＝Avr(QPa,QPb)...(5)
例如，當周圍區(qū)域利用可否判定單元301判定周圍區(qū)域A至C中的任一區(qū)域是可使用的(可用狀態(tài))，則計算控制單元302就選擇在其中周圍區(qū)域的量化參數被作為預測量化參數的常規(guī)預測。
在此情況下，預測量化參數生成單元151從周圍區(qū)域量化參數緩沖器143讀取周圍區(qū)域量化參數QPa、QPb和QPc中被判定為可使用的周圍區(qū)域的量化參數，并且將其用作如下式(6)至(8)所示的預測量化參數。
當區(qū)域A是可使用的(可用狀態(tài))時：
PredQP＝QPa...(6)
當區(qū)域B是可使用的(可用狀態(tài))時：
PredQP＝QPb...(7)
當區(qū)域C是可使用的(可用狀態(tài))時：
PredQP＝QPc...(8)
[預測量化參數生成處理的流程]
將參考圖15的流程圖說明在此情況下預測量化參數生成處理的流程的示例。在此情況下，采用圖5的周圍區(qū)域A至C作為用于獲取周圍區(qū)域量化參數的候選區(qū)域。假設預測量化參數生成單元151能夠執(zhí)行上述中值計算和平均值計算。
當預測量化參數生成處理開始時，在步驟S301，周圍區(qū)域利用可否判定單元301判定各周圍區(qū)域是否關于預測量化參數生成單元151為其生成預測量化的當前區(qū)域可用。更具體地，周圍區(qū)域利用可否判定單元301判定各周圍區(qū)域A至C是否是可使用的。
在步驟S302，計算控制單元302判定關于該當前區(qū)域是否存在任何可使用的周圍區(qū)域。如果周圍區(qū)域A至C全被判定為是不可使用的(不可用狀態(tài))，則計算控制單元302終止預測量化參數生成處理，由此不生成預測量化參數(或生成值為0或初始值的預測量化參數)并將處理返回圖8。
在步驟S302，當判定存在可使用的周圍區(qū)域時，計算控制單元302行進至步驟S303中的處理。在步驟S303，計算控制單元302判定周圍區(qū)域是否全部是可使用的(可用狀態(tài))。當周圍區(qū)域A至C全被判定為是可使用的時，計算控制單元302選擇中值計算作為預測量化參數生成的計算方法，并且行進至步驟S304中的處理。
當選擇中值計算時，在步驟S304，預測量化參數生成單元151獲取周圍區(qū)域A至C的量化參數QPa、QPb和QPc作為周圍區(qū)域量化參數。
在步驟S305，預測量化參數生成單元151通過使用在步驟S304中獲取的全部周圍區(qū)域量化參數進行中值計算來生成預測量化參數。更具體地，預測量化參數生成單元151采用區(qū)域量化參數QPa、QPb和QPc的中值作為預測量化參數。當在步驟S305內的處理結束時，預測量化參數生成單元151終止預測量化參數生成處理并將處理返回至圖8。
當周圍區(qū)域中僅有部分被判定為是可使用的并且難以執(zhí)行步驟S303中的中值計算時，計算控制單元302就行進至步驟S306中的處理。在步驟S306，計算控制單元302判定三個周圍區(qū)域中是否有兩個是可使用的。當周圍區(qū)域中的兩個被判定為是可使用的時，計算控制單元302選擇平均值計算作為預測量化參數生成的計算方法，并且行進至步驟S307中的處理。
當選擇平均值計算時，在步驟S307，預測量化參數生成單元151從周圍區(qū)域A至C中獲取可使用的(可用狀態(tài))區(qū)域的量化參數(更具體地，量化參數QPa、QPb和QPc的兩個參數)作為周圍區(qū)域量化參數。
在步驟S308，預測量化參數生成單元151通過使用在步驟S307中獲取的周圍區(qū)域量化參數進行平均值計算來生成預測量化參數。更具體地，預測量化參數生成單元151采用區(qū)域量化參數QPa、QPb和QPc中的兩個參數的平均值作為預測量化參數。當在步驟S308內的處理結束時，預測量化參數生成單元151終止預測量化參數生成處理并將處理返回至圖8。
當在步驟S306中判定有一個周圍區(qū)域是可使用的時，計算控制單元302就使用常規(guī)預測作為預測量化參數生成的方法，并且行進至S309中的處理。
當選擇常規(guī)計算時，在步驟S309，預測量化參數生成單元151從周圍區(qū)域A至C中獲取可使用的(可用狀態(tài))區(qū)域的量化參數(更具體地，量化參數QPa、QPb和QPc中的一個參數)作為周圍區(qū)域量化參數。
在步驟S310，預測量化參數生成單元151采用在步驟S309中獲取的周圍區(qū)域量化參數作為預測量化參數。更具體地，預測量化參數生成單元151采用區(qū)域量化參數QPa、QPb和QPc中的任一個作為預測量化參數。當在步驟S310內的處理結束時，預測量化參數生成單元151終止預測量化參數生成處理并將處理返回至圖8。
如上所述，對于周圍區(qū)域是否是可使用的做出判定，并且由此量化參數編碼單元121能夠僅使用可用周圍區(qū)域的周圍區(qū)域量化參數以更為可靠的方式生成預測量化參數。如上所述，可以使用任何條件來判定周圍區(qū)域是否可用，并且由此量化參數編碼單元121能夠僅使用期望的可用周圍區(qū)域的周圍區(qū)域量化參數以更為可靠的方式生成期望的預測量化參數。
如上所述，預測量化參數的計算方法根據可用周圍區(qū)域的數量來判定，并且因此量化參數編碼單元121能夠通過應用更為恰當的計算方法而以更為可靠的方式生成預測量化參數。
在以上的說明中，雖然圖5中示例的周圍區(qū)域A至C被用作當前區(qū)域的周圍區(qū)域，但是周圍區(qū)域可以包括這些區(qū)域以外的其他區(qū)域。用作周圍區(qū)域的區(qū)域數量可以是任意數量。例如，可以根據有關當前區(qū)域和周圍區(qū)域之間的尺寸關系來判定。
在以上的說明中，雖然中值計算的選擇條件是全部周圍區(qū)域可用，但是本實施例不限于此。也可以是可用周圍區(qū)域的數量與能夠執(zhí)行中值計算的周圍區(qū)域的數量相當。例如，當周圍區(qū)域的數量為5時，中值計算的選擇條件可以是三個或更多個周圍區(qū)域可用。進一步地，當不應用中值計算時，計算控制單元302可以始終選擇平均值計算。
[量化參數解碼單元]
圖16是示出了在此情況下的量化參數解碼單元221的主要配置的示例的框圖。如圖16所示，量化參數解碼單元221具有如圖14所示的配置，與根據上述方法生成預測量化參數的量化參數編碼單元121相對應，并且量化參數編碼單元121從生成的差分量化參數中正確地生成關注區(qū)域量化參數。更具體地，如圖16所例示的，量化參數解碼單元221根據與圖14所例示的量化參數編碼單元121相同的方法來生成預測的量化參數。
如圖16所示，在此情況下的量化參數解碼單元221不僅包括第二實施例的配置(圖9)，還包括周圍區(qū)域利用可否判定單元311和計算控制單元312。
當預測量化參數生成單元241根據與周圍區(qū)域利用可否判定單元301相同的方法生成預測量化參數時，周圍區(qū)域利用可否判定單元311判定當前區(qū)域的各周圍區(qū)域是否能被使用。周圍區(qū)域利用可否判定單元311將判定結果提供給計算控制單元312。
根據由周圍區(qū)域利用可否判定單元301提供的判定結果，計算控制單元312根據與計算控制單元302相同的方法判定預測量化參數生成的計算方法，并且向預測量化參數生成單元241提供指示判定的計算方法的信息以及由周圍區(qū)域利用可否判定單元301提供的判定結果。
根據與預測量化參數生成單元151相同的方法，預測量化參數生成單元241從周圍區(qū)域量化參數緩沖器233獲取由周圍區(qū)域利用可否判定單元311判定為可使用的(可用狀態(tài))周圍區(qū)域的量化參數來作為周圍區(qū)域量化參數，并且根據由計算控制單元312判定的計算方法使用該周圍區(qū)域量化參數生成預測量化參數。
更具體地，量化參數解碼單元221在預測量化參數生成處理中執(zhí)行與參考圖15的流程圖說明的各處理相同的處理。
如上所述，各單元執(zhí)行處理，并由此量化參數解碼單元221甚至在這一情況下仍能夠正確重構在圖像編碼裝置100內的量化處理中使用的關注區(qū)域量化參數。
<4.第四實施例>
[加權平均]
預測量化參數的計算方法可以是上述各計算方法之外的其他方法。例如，可以應用其中對各周圍區(qū)域量化參數進行加權和加法運算的加權平均值計算。在這一情形中，權重可以基于任何指標給出，但作為例子，可以根據周圍區(qū)域的尺寸來給出權重。
[量化參數編碼單元]
圖17是示出了在此情況下的量化參數編碼單元121的主要配置的示例的框圖。如圖17所示，在此情況下，量化參數編碼單元121不僅包括第一實施例的配置(圖1)，還包括周圍區(qū)域尺寸判定單元321。
周圍區(qū)域尺寸判定單元321關于預測量化參數生成單元151為其生成預測量化參數的當前區(qū)域判定各周圍區(qū)域的尺寸。周圍區(qū)域尺寸判定單元321將判定結果通知給預測量化參數生成單元151。
根據該判定結果，即基于各周圍區(qū)域的尺寸，預測量化參數生成單元151向各周圍區(qū)域量化參數給予權重，并且獲取其平均值。更具體地，預測量化參數生成單元151計算周圍區(qū)域量化參數的加權平均值，并且采用該加權平均值作為預測量化參數。
向各周圍區(qū)域量化參數給予權重的方式不受限制。例如，可以向用于尺寸更大的周圍區(qū)域的量化參數給予更大的權重(增加的權重)。更具體地，根據下式(9)計算預測量化參數。
PredQP＝(x×QPa+y×QPb+z×QPc)/(x+y+z)...(9)
如上所述，量化參數編碼單元121能夠使得預測量化參數以更為精確的方式反映周圍區(qū)域量化參數，并且這能夠改善預測量化參數的預測精度。
例如，作為替換，其尺寸接近當前區(qū)域尺寸的周圍區(qū)域的量化參數可被給予更大的權重(增加的權重)。更具體地，具有與當前區(qū)域相同尺寸的周圍區(qū)域的量化參數權重可被設為最高級別。應該注意到，只有用于與當前區(qū)域相同尺寸的周圍區(qū)域的量化參數的權重可被增加。
區(qū)域的尺寸趨向于依賴圖像特征，并且類似的圖像很可能被劃分為具有類似尺寸的區(qū)域。因此，位置靠近并具有類似尺寸的區(qū)域很可能具有類似的圖像，并且因此它們的量化參數可能會彼此類似。因此，預測量化參數生成單元151被配置為使得尺寸與當前區(qū)域的尺寸接近的周圍區(qū)域的量化參數可被給予更大的權重(增加的權重)，由此期望改善預測量化參數的預測精度。
預測量化參數生成單元151將預測量化參數提供給差分量化參數生成單元152。
[預測量化參數生成處理的流程]
將參考圖18的流程圖說明在此情況下的預測量化參數生成處理的流程的示例。
當預測量化參數生成處理開始時，在步驟S331，周圍區(qū)域尺寸判定單元321判定周圍區(qū)域的尺寸。
在步驟S332，預測量化參數生成單元151根據在步驟S331中判定的各周圍區(qū)域的尺寸判定給予各周圍區(qū)域量化參數的權重。
在步驟S333，預測量化參數生成單元151獲取周圍區(qū)域量化參數。在步驟S334，預測量化參數生成單元151使用周圍區(qū)域量化參數執(zhí)行加權平均并且生成預測量化參數。
當在步驟S334內的處理結束時，預測量化參數生成單元151終止預測量化參數生成處理并將處理返回至圖8。
如上所述，通過根據周圍區(qū)域的尺寸執(zhí)行加權平均，量化參數編碼單元121就可以生成正確反映周圍區(qū)域的量化參數的預測量化參數。因此，量化參數編碼單元121可以改善預測量化參數的預測精度。由此，圖像編碼裝置100可以改善編碼效率。
[量化參數解碼單元]
圖19是示出了在此情況下的量化參數解碼單元221的主要配置的示例的框圖。如圖19所示，量化參數解碼單元221具有如圖17所示的配置，與根據加權平均計算生成預測量化參數的量化參數編碼單元121相對應，并且量化參數編碼單元121從生成的差分量化參數中正確地生成關注區(qū)域量化參數。更具體地，如圖19所例示的，量化參數解碼單元221根據與圖17所例示的量化參數編碼單元121相同的方法來生成預測的量化參數。
如圖19所示，在此情況下，量化參數解碼單元221不僅包括第二實施例的配置(圖9)，還包括周圍區(qū)域尺寸判定單元331。
根據與周圍區(qū)域尺寸判定單元321相同的方法，周圍區(qū)域尺寸判定單元331關于預測量化參數生成單元241為其生成預測量化參數的當前區(qū)域判定各周圍區(qū)域的尺寸。周圍區(qū)域尺寸判定單元331將判定結果通知給預測量化參數生成單元241。
預測量化參數生成單元241根據與預測量化參數生成單元151相同的方法生成預測量化參數。更具體地，預測量化參數生成單元241基于各周圍區(qū)域的尺寸計算周圍區(qū)域量化參數的加權平均值，并且采用該加權平均值作為預測量化參數。
更具體地，量化參數解碼單元221在預測量化參數生成處理中執(zhí)行與參考圖18的流程圖說明的各處理相同的處理。
如上所述，各單元執(zhí)行處理，并由此量化參數解碼單元221甚至在這一情況下仍能夠正確重構在圖像編碼裝置100內的量化處理中使用的關注區(qū)域量化參數。
<5.第五實施例>
[設置數據的類別]
可以允許用戶等對是否允許使用如上所述用于計算預測量化參數的各類計算進行設置。可以使得這一設置作為類別數據被傳送至解碼側。
[量化參數編碼單元等]
圖20是示出了在此情況下的量化參數編碼單元121的主要配置的示例的框圖。如圖20所示，在此情況下的圖像編碼裝置100不僅包括第一實施例的配置(圖1)，還包括類別數據設置單元351。
類別數據設置單元351基于例如用戶指令、處理的外部指令等對是否允許使用用于計算預測量化參數的各類計算進行設置，并且生成包括該設置的類別數據。類別數據設置單元351將生成的類別數據提供給量化參數編碼單元121。類別數據設置單元351將生成的類別數據提供給無損編碼單元106，使得該無損編碼單元106對其進行編碼，并在隨后例如以數據被包括在序列參數組或圖片參數組的方式將該類別數據傳送至解碼側。
在此情況下，如圖20所示，量化參數編碼單元121不僅包括第一實施例的配置(圖6)，還包括類別數據緩沖器361和計算控制單元362。
類別數據緩沖器361獲取并存儲由類別數據設置單元351提供的類別數據。類別數據緩沖器361以預定的定時或是基于外部請求讀取存儲的類別數據，并且將類別數據提供給計算控制單元362。
計算控制單元362從類別數據緩沖器361讀取與預測量化參數生成單元151為其生成預測量化參數的當前區(qū)域相對應的類別數據。計算控制單元362根據類別數據等判定用于計算預測量化參數的計算方法，并且將該計算方法通知給預測量化參數生成單元151。
預測量化參數生成單元151根據由計算控制單元362指定的方法計算預測量化參數生成。
[類別數據]
隨后將對類別數據進行詳細說明。圖21示出了類別數據的例子。如圖21所示，類別數據例如包括三個標志，即PredQP_median_enable、PredQP_average_enable和PredQP_waverage_enable。為任意給定數據的每一個(諸如，圖片、片、LCU和CU)設置類別數據。
PredQP_median_enable是指示在設置該標記的數據單位內是否將中值計算應用于對預測量化參數生成的計算的標記。當該標志的值為“0”時，中值計算的使用被禁止，且計算控制單元362不能選擇中值計算來計算預測量化參數生成。當該標志的值為“1”時，中值計算的使用不被禁止，且計算控制單元362可以選擇中值計算來計算預測量化參數生成。
PredQP_average_enable是指示在設置該標記的數據單位內是否將平均值計算應用于對預測量化參數生成的計算的標記信息。當該標志的值為"0"時，平均值計算的使用被禁止，并且計算控制單元362不能選擇平均值計算來計算預測量化參數生成。當該標志的值為“1”時，平均值計算的使用不被禁止，且計算控制單元362可以選擇平均值計算來計算預測量化參數生成。
PredQP_average_enable是指示在設置該標記的數據單位內是否將加權平均值計算應用于對預測量化參數生成的計算的標記信息。當該標志的值為"0"時，加權平均值計算的使用被禁止，并且計算控制單元362不能選擇加權平均值計算來計算預測量化參數生成。當該標志的值為"1"時，加權平均值計算的使用不被禁止，且計算控制單元362可以選擇加權平均值計算來計算預測量化參數生成。
[類別數據設置處理的流程]
隨后將參考圖22的流程圖描述用于設置類別數據的類別數據設置處理的流程的示例。在如下的說明中，為了解釋的目的，為每個LCU設置類別數據。
當類別數據設置處理開始時，在步驟S351，類別數據設置單元351為每個LCU設置PredQP_median_enable。在步驟S352，類別數據設置單元351為每個LCU設置PredQP_average_enable。在步驟S353，類別數據設置單元351為每個LCU設置PredQP_waverage_enable。
在步驟S354，類別數據設置單元351將包括在步驟S351至步驟S353中生成的各類標志的類別數據通過無損編碼單元106，以使得無損編碼單元106對其進行編碼，并例如以將其包括在序列參數組(SPS)和圖片參數組(PPS)等的方式將其傳送至解碼側。
在步驟S354內的處理結束時，類別數據設置單元351終止該類別數據設置處理。
[預測量化參數生成處理的流程]
隨后，將參考圖23的流程圖說明在此情況下預測量化參數生成處理的流程的示例。在預測量化參數生成處理開始時，在步驟S371，類別數據緩沖器361獲取當前區(qū)域的類別數據。在步驟S372，計算控制單元362基于在步驟S371中獲取的類別數據判定預測量化參數生成的計算方法。
在步驟S373，預測量化參數生成單元151選擇多個周圍區(qū)域，從為所述多個周圍區(qū)域獲取預測量化參數的候選。在步驟S374，預測量化參數生成單元151獲取所選周圍區(qū)域的周圍區(qū)域量化參數。在步驟S375，預測量化參數生成單元151使用周圍區(qū)域量化參數生成預測量化參數。
當在步驟S375內的處理結束時，預測量化參數生成單元151終止預測量化參數生成處理并將處理返回至圖8。
如上所述，預測量化參數生成單元151根據類別數據生成預測量化參數。因此，預測量化參數生成單元151能夠選擇更為合適的計算方法。
[量化參數解碼單元等]
圖24是示出了在此情況下的量化參數解碼單元221等的主要配置的示例的框圖。如圖24所示，量化參數解碼單元221具有如圖20所示的配置，與根據上述方法生成預測量化參數的量化參數編碼單元121相對應，并且量化參數編碼單元121從生成的差分量化參數中正確地生成關注區(qū)域量化參數。更具體地，如圖24所例示的，量化參數解碼單元221根據與圖20所例示的量化參數編碼單元121相同的方法來生成預測量化參數。
如圖24所示，在此情況下的量化參數解碼單元221包括類別數據緩沖器381和計算控制單元382。
類別數據緩沖器381獲取并存儲由無損解碼單元202提取并從解碼側傳送的類別數據。類別數據緩沖器381以預定的定時或根據外部請求將存儲的類別數據緩沖器381提供給計算控制單元382。
根據與計算控制單元362相同的方法，計算控制單元382從類別數據緩沖器381讀取與預測量化參數生成單元241為其生成預測量化參數的當前區(qū)域相對應的類別數據。計算控制單元382根據類別數據等判定用于計算預測量化參數的計算方法，并且將該計算方法通知給預測量化參數生成單元241。
預測量化參數生成單元241根據由計算控制單元382指定的方法計算預測量化參數生成。
更具體地，量化參數解碼單元221在預測量化參數生成處理中執(zhí)行與參考圖23的流程圖說明的各處理相同的處理。
如上所述，由此量化參數解碼單元221甚至在這一情況下仍能夠正確重構在圖像編碼裝置100內的量化處理中使用的關注區(qū)域量化參數。
[類別數據]
對應于類別數據的計算方法可以是任何方法，并且可以是上述說明的方法之外的方法。作為替換，類別數據可以不與上述計算方法的部分或全部相對應。進一步地，包括在類別數據內的標志不受限制，并且除了上述標志之外的其他標記也可被包括在類別數據內。例如，如圖25所示，可以包括PredQP_type_flag。
PredQP_type_flag是指示能夠用于被設置該標志的數據單位內的預測量化參數生成的計算的計算方法的標志信息。例如，當該標志的值是"00"時，則全部計算方法的使用都被禁止，并且預測量化參數生成單元151不能執(zhí)行預測計算。當該標志的值為"01"時，中值計算的使用不被禁止，且計算控制單元362可以選擇中值計算來計算該預測量化參數生成。
當該標志的值為"10"時，平均值計算的使用不被禁止，且計算控制單元362可以選擇平均值計算來計算該預測量化參數生成。當該標志的值為"11"時，中值計算和平均值計算兩者的使用都不被禁止，且計算控制單元362可以從中值計算和平均值計算兩者中進行選擇。
還可被配置為使得哪一值允許或禁止哪種計算。由PredQP_type_flag控制的計算方法的類別和數量可以不同于以上的描述。進一步地，PredQP_type_flag的比特長度可以是三或更多。
[類別數據設置處理的流程]
當上述PredQP_type_flag被采用作為類別數據時，量化參數編碼單元121等的配置與以上已參考圖20描述的配置相同。預測量化參數生成處理的流程與參考圖23的流程圖描述的處理相同。
將參考圖26的流程圖描述其中采用這類PredQP_type_flag的類別數據設置處理的流程的示例。
當類別數據設置處理開始時，在步驟S391，類別數據設置單元351為每個LCU設置PredQP_type_flag。這一設置被提供并保存在類別數據緩沖器361內。在步驟S392，類別數據設置單元351將在步驟S391內的處理中設置的類別數據提供給無損編碼單元106，使得無損編碼單元106對數據進行編碼并將編碼數據傳送至解碼側。
如上所述，預測量化參數生成單元151根據類別數據生成預測量化參數。因此，預測量化參數生成單元151能夠選擇更為合適的計算方法。
還可以為諸如圖片、片、LCU、CU之類的每一種任意給定數據單位設置PredQP_type_flag。
由類別數據控制的預測計算的數量和類別可以是可改變的。即便是在這一情況下，指示由該類別數據控制的預測計算的數量和類別的信息仍可被傳送至解碼側。
例如，本技術可被應用于在經由諸如衛(wèi)星廣播、有線電視、因特網或蜂窩電話之類的網絡介質接收由諸如離散余弦變換和運動補償(諸如MPEG,H.26x)之類的正交變換壓縮的圖像信息(比特流)時使用的圖像編碼裝置和圖像解碼裝置。本技術可被應用于在處理諸如光盤、磁盤和閃存之類的存儲介質上使用的圖像編碼裝置和圖像解碼裝置。進一步地，該技術還可被應用于包括在該圖像編碼裝置和圖像解碼裝置等的運動預測補償裝置。
<6.第六實施例>
[LCU單位的預測]
由此，當處理使用LCU(最大編碼單位)單位(基于LCU)完成時，處理被封閉在該LCU內，由此使得速率控制變得容易。然而，在此情況下，用于計算量化參數(差分量化參數/預測量化參數)的緩沖器也在該LCU單位內被控制，并且數據被使用該LCU單位重置(丟棄)。
當處理使用LCU單位(基于LCU)完成時，量化參數的預測在諸如CU和TU的小于LCU的單位內完成。例如，當為每個CU完成量化參數的預測并且當前CU是LCU內處于編碼次序(解碼次序)的最初位置(在光柵掃描的情況下處于左上角)的CU時，在預測期間查找到的周圍CU位于當前LCU之外(處于另一LCU內)。
因此，通過重置緩沖器，量化參數被丟棄并且狀態(tài)很可能是不可使用的(不可用狀態(tài)(不是可用的狀態(tài)))。
因此在處理在LCU單位(基于LCU)內完成并且量化參數的預測針對小于該LCU的每個區(qū)域(例如，CU)完成的情況下，處理于是可被如下執(zhí)行。在當前區(qū)域(例如，當前CU)的周圍區(qū)域位于當前LCU之外時，可以查找緊接在前處理的(在前處理的)區(qū)域(例如，在前CU)的量化參數。更具體地，緊接在前為其計算差分量化參數的區(qū)域的量化參數可以被采用作為預測量化參數(或者可被用于預測量化參數的計算)。
將參考圖27進行更為具體的說明。假設處理在LCU單位(基于LCU)內完成，并且為每個CU完成量化參數的預測。該LCU內的每個CU以光柵掃描的次序完成。進一步，假設當前CU(Current CU)位于當前LCU(Current LCU)的左上角(更具體地，當前LCU內最早經歷編碼處理的CU)。假設緊接在前處理的CU(在前CU)位于鄰接當前LCU左側的LCU(緊接在前處理的LCU(在前LCU))的右下角(更具體地，在前LCU內最后經歷編碼處理的CU)。
在當前CU(Current CU)的量化參數的預測中被查找的周圍CU是CU(A)、CU(B)和CU(C)時，這些CU全都位于當前LCU之外。因此，所有這些CU都被判定為是不可使用的狀態(tài)(不可用狀態(tài)(不是可用的狀態(tài)))，并且作為這些CU的代替，采用緊接在前處理的CU的量化參數Qpprev作為預測量化參數PredQP。更具體地，根據下式(10)計算當前CU的量化參數QPcurr和預測量化參數PredQP的差分量化參數dQP。
dQP＝QPcurr-PredQP＝QPcurr-QPprev...(10)
例如，在第三實施例中，量化參數編碼單元121的周圍區(qū)域利用可否判定單元301(圖14)根據當前區(qū)域(例如，圖27中的Current CU)的位置判定周圍區(qū)域(圖27中的CU(A)至CU(C))是否可用(是否處于可用狀態(tài))。如圖27中的示例所示，當全部周圍區(qū)域被判定為不可使用時(位于Current LCU之外并且不是可用狀態(tài))，計算控制單元302就將在前處理的區(qū)域(例如，圖27中的Previous CU)指定為參考對象。預測量化參數生成單元151采用在前處理的區(qū)域(例如，圖27中的Previous CU)的量化參數作為預測量化參數。差分量化參數生成單元152生成作為預測量化參數和當前區(qū)域(例如，圖27中的Current CU)的量化參數之差的差分量化參數。
由此，圖像編碼裝置100使用LCU單位執(zhí)行處理(基于LCU)，由此能夠容易地進行速率控制并且能夠更為可靠地生成預測量化參數。
這類方法不僅可以應用于在編碼期間執(zhí)行的預測量化參數生成處理，還可以應用于在解碼期間執(zhí)行的預測量化參數生成處理。例如，如圖16所例示的，量化參數解碼單元221根據與圖14所例示的量化參數編碼單元121相同的方法來生成預測量化參數。
在此情況下，例如，量化參數解碼單元221的周圍區(qū)域利用可否判定單元311(圖16)根據當前區(qū)域(例如，圖27中的Current CU)的位置判定周圍區(qū)域(圖27中的CU(A)至CU(C))是否可用(是否處于可用狀態(tài))。如圖27中的示例所示，當全部周圍區(qū)域被判定為不可使用時(位于Current LCU之外并且不是可用狀態(tài))，計算控制單元312就將在前處理的區(qū)域(例如，圖27中的Previous CU)指定為參考對象。預測量化參數生成單元241采用在前處理的區(qū)域(例如，圖27中的Previous CU)的量化參數作為預測量化參數。關注區(qū)域量化參數重建單元242將預測量化參數與當前區(qū)域(例如，圖27中的Current CU)的差分量化參數相加，由此重構關注區(qū)域量化參數。逆量化處理單元234使用該關注區(qū)域量化參數對正交變換系數執(zhí)行逆量化處理。
由此，圖像解碼裝置200使用LCU單位(基于LCU)執(zhí)行處理，由此能夠容易地進行速率控制并且能夠更為可靠地生成預測量化參數。
<7.第七實施例>
[對多視圖圖像點編碼/多視點圖像解碼的應用]
以上系列的處理可被應用于多視點圖像編碼/多視點圖像解碼。圖28示出了多視點圖像編碼方法的例子。
如圖28所示，多視點圖像包括用于多個視點的圖像，并且所述多個視點中的預定視點的圖像被指定為基視圖圖像。該基視圖圖像之外的其他視點的圖像被看作是非基視圖圖像。
當完成如圖28所示的多視點圖像編碼時，就能夠在各視圖(同一視圖)中獲取量化參數的差。
(1)基視圖：
dQP(基視圖)＝QPcurr(基視圖)-PredQP(基視圖)
(2)非基視圖：
dQP(非基視圖)＝QPcurr(非基視圖)-PredQP(非基視圖)
能夠在各視圖(不同視圖)中獲取量化參數的差。
(3)基視圖/非基視圖
dQP(間視圖)＝QPcurr(基視圖)-QPcurr(非基視圖)
(4)非基視圖/非基視圖
dQP(間視圖)＝QPcurr(非基視圖i)-QPcurr(非基視圖j)
使用不同視圖的區(qū)域的量化參數，就可以通過諸如中值、平均值或加權平均值等的任何計算來生成當前區(qū)域的量化參數QPcurr的預測值PredQP。
(5)基視圖：
(5-1)PredQP(基視圖)＝Med(QPa(非基視圖),QPb(非基視圖),QPc(非基視圖))
(5-2)PredQP(基視圖)＝Avr(QPa(非基視圖),QPb(非基視圖),QPc(非基視圖))
(5-3)PredQP(基視圖)＝(x×QPa(非基視圖)+y×QPb(非基視圖)±z×QPc(非基視圖))/(x+y+z)
(6)非基視圖：
(6-1)PredQP(非基視圖i)＝Med(QPa(非基視圖j),QPb(非基視圖j),QPc(非基視圖j))
(6-2)PredQP(非基視圖i)＝Avr(QPa(非基視圖j),QPb(非基視圖j),QPc(非基視圖j))
(6-3)PredQP(非基視圖i)＝(x×QPa(非基視圖j)+y×QPb(非基視圖j)+z×QPc(非基視圖j))/(x+y+z)
將會理解的是，即使在這一情況下，仍可以如第三實施例中所說明的那樣來確認用于計算預測量化參數的周圍區(qū)域是否可用。于是，可以僅使用可用區(qū)域來計算預測值PredQP。計算預測值PredQP的方法可以基于可用區(qū)域來判定。例如，如同在第三實施例中所說明的，可以根據可用區(qū)域的數量從諸如中值和平均值之類的計算方法中選擇用于預測的計算。
即使在這一情況下，如在第四實施例中所說明的，可以基于對不同于當前區(qū)域的視圖的多個周圍區(qū)域的量化參數的加權平均值計算來計算預測值PredQP。在此情況下，可以根據周圍區(qū)域的尺寸或是可以根據與當前區(qū)域尺寸的相似性來給出權重。
進一步地，即使在這一情況下，如在第五實施例中所說明的，可以基于例如用戶指令、處理的外部指令來實現對于是否允許使用計算預測量化參數的各類計算的設置。包括該設置的類別數據可被傳送至解碼側。類別數據可以包括指示針對每個計算方法是否可用的標志，或者可以包括可用計算方法。
包括在類別數據內的標志可以針對基視圖圖像和非基視圖圖像中的每一個圖像被獨立設置，或者可被設置為針對基視圖圖像和非基視圖圖像兩者的共用信息。
如上所述的量化參數的預測還以與在第二至第五實施例中說明的圖像解碼裝置中的相同方式來執(zhí)行。
可以為上述每個dQP設置標志以對是否存在值不為零的dQP加以區(qū)分。
[多視點圖像編碼裝置]
圖29是示出了執(zhí)行上述多視點圖像編碼的多視點圖像編碼裝置的圖示。如圖29所示，多視點圖像編碼裝置600包括編碼單元601、編碼單元602和多路復用單元603。
編碼單元601對基視圖圖像進行編碼并生成基視圖圖像編碼流。編碼單元602對非基視圖圖像進行編碼并生成非基視圖圖像編碼流。多路復用單元603對由編碼單元601生成的基視圖圖像編碼流以及由編碼單元602生成的非基視圖圖像編碼流進行多路復用，并且生成多視點圖像編碼流。
圖像編碼裝置100(圖1)可被應用于多視點圖像編碼裝置600的編碼單元601和編碼單元602。在此情況下，多視點圖像編碼裝置600設置并傳送由編碼單元601設置的量化參數和由編碼單元602設置的量化參數之間的差值。
[多視點圖像解碼裝置]
圖30是示出了執(zhí)行上述多視點圖像解碼的多視點圖像解碼裝置的圖示。如圖30所示，多視點圖像解碼裝置610包括多路分解單元611、解碼單元612和解碼單元613。
多路分解單元611對由多路復用基視圖圖像編碼流和非基視圖圖像編碼流獲取的多視點圖像編碼流進行多路分解，并提取視圖圖像編碼流和非基視圖圖像編碼流。解碼單元612對由多路分解單元611提取的基視圖圖像編碼流進行解碼并獲取基視圖圖像。解碼單元613對由多路分解單元611提取的非基視圖圖像編碼流進行解碼并獲取非基視圖圖像。
圖像解碼裝置200(圖10)可被應用于多視點圖像解碼裝置610的解碼單元612和解碼單元613。在此情況下，多視點圖像解碼裝置61根據由編碼單元601設置的量化參數和由編碼單元602設置的量化參數之間的差值設置量化參數，并執(zhí)行逆量化。
<8.第八實施例>
[到分層圖像點編碼/分層圖像解碼的應用]
以上系列的處理可被應用于多視點圖像編碼/多視點圖像解碼。圖31示出了多視點圖像編碼方法的例子。
如圖31所示，分層圖像包括多個分層(分辨率)的圖像，并且多個分辨率中的一個預定分辨率的分層圖像被指定為基層圖像。該基層圖像之外的分層的圖像被看作是非基層圖像。
執(zhí)行如圖31所示的分層圖像編碼(空間定標度(scalability))，并可以在各層(同一層)內獲取量化參數的差。
(1)基層：
dQP(基層)＝QPcurr(基層)-PredQP(基層)
(2)非基層：
dQP(非基層)＝QPcurr(非基層)-PredQP(非基層)
作為替換，可以在各層(不同層)中獲取量化參數的差。
(3)基層/非基層：
dQP(間層)＝QPcurr(基層)-QPcurr(非基層)
(4)非基層/非基層：
dQP(間層)＝QPcurr(非基層i)-QPcurr(非基層j)
使用不同層的區(qū)域的量化參數，就可以通過諸如中值、平均值或加權平均值等的任何計算來生成當前區(qū)域的量化參數QPcurr的預測值PredQP。
(5)基層：
(5-1)PredQP(基層)＝Med(QPa(非基層),QPb(非基層),QPc(非基層))
(5-2)PredQP(基層)＝Avr(QPa(非基層),QPb(非基層),QPc(非基層))
(5-3)PredQP(基層)＝(x×QPa(非基層)+y×QPb(非基層)+z×QPc(非基層))/(x+y+z)
(6)非基層：
(6-1)PredQP(非基層i)＝Med(QPa(非基層j),QPb(非基層j),QPc(非基層j))
(6-2)PredQP(非基層i)＝Avr(QPa(非基層j),QPb(非基層j),QPc(非基層j))
(6-3)PredQP(非基層i)＝(x×Qpa(非基層j)+y×QPb(非基層j)+z×QPc(非基層j)+/(x+y+z)
將會理解的是，即使在這一情況下，仍可以如第三實施例中所說明的那樣來確認用于計算預測量化參數的周圍區(qū)域是否可用。于是，可以僅使用可用區(qū)域來計算預測值PredQP。計算預測值PredQP的方法可以基于可用區(qū)域來判定。例如，如同在第三實施例中所說明的，可以根據可用區(qū)域的數量從諸如中值和平均值之類的計算方法中選擇用于預測的計算。
即使在這一情況下，如在第四實施例中所說明的，可以基于對各層的不同于當前區(qū)域的多個周圍區(qū)域的量化參數的加權平均值計算來計算預測值PredQP。在此情況下，可以根據周圍區(qū)域的尺寸或是可以根據與當前區(qū)域尺寸的相似性來給出權重。
進一步地，即使在這一情況下，如在第五實施例中所說明的，可以基于例如用戶指令、處理的外部指令來實現對于是否允許使用計算預測量化參數的各類計算的設置。包括該設置的類別數據可被傳送至解碼側。類別數據可以包括指示針對每個計算方法是否可應用的標志，或者可以包括可用計算方法。
包括在類別數據內的標志可以針對基層圖像和非基層圖像中的每一個圖像被獨立設置，或者可被設置為針對基層圖像和非基層圖像兩者的共用信息。
如上所述的量化參數的預測還以與在第二至第五實施例中說明的圖像解碼裝置中的相同方式來執(zhí)行。
與上述方法相類似，可以為上述每個dQP設置標志以對是否存在值不為零的dQP加以區(qū)分。
[分層圖像編碼裝置]
圖32是示出了執(zhí)行上述分層圖像編碼的分層圖像編碼裝置的圖示。如圖32所示，分層圖像編碼裝置620包括編碼單元621、編碼單元622和多路復用單元623。
編碼單元621對基層圖像進行編碼并生成基層圖像編碼流。編碼單元622對非基層圖像進行編碼并生成非基層圖像編碼流。多路復用單元623對由編碼單元621生成的基層圖像編碼流以及由編碼單元622生成的非基層圖像編碼流進行多路復用，并且生成分層圖像編碼流。
圖像編碼裝置100(圖1)可被應用于分層圖像編碼裝置620的編碼單元621和編碼單元622。在此情況下，分層圖像編碼裝置620設置并傳送由編碼單元621設置的量化參數和由編碼單元622設置的量化參數之間的差值。
[分層圖像解碼裝置]
圖33是示出了執(zhí)行上述分層圖像解碼的分層圖像解碼裝置的圖示。如圖33所示，分層圖像解碼裝置630包括多路分解單元631、解碼單元632和解碼單元633。
多路分解單元631對由多路復用基層圖像編碼流和非基層圖像編碼流獲取的分層圖像編碼流進行多路分解，并提取多路復用基層圖像編碼流和非基層圖像編碼流。解碼單元632對由多路分解單元631提取的基層圖像編碼流進行解碼并獲取基層圖像。解碼單元633對由多路分解單元631提取的非基層圖像編碼流進行解碼并獲取非基層圖像。
圖像解碼裝置200(圖10)可被應用于分層圖像解碼裝置630的解碼單元633和解碼單元632。在此情況下，分層圖像解碼裝置630根據由編碼單元621設置的量化參數和由編碼單元622設置的量化參數之間的差值設置量化參數，并執(zhí)行逆量化。
<9.第九實施例>
[計算機]
以上系列的處理可由硬件或者可由軟件執(zhí)行。在系列處理由軟件執(zhí)行的情況下，構成軟件的程序被安裝至計算機。在此情況下，計算機包括嵌入到專用硬件內的計算機以及通過安裝各類程序而能夠執(zhí)行各類功能的通用計算機。
在圖34中，計算機800的CPU(中央處理單元)801根據存儲在ROM(只讀存儲器)802內的程序或從存儲單元813載入到RAM(隨機存取存儲器)803的程序執(zhí)行各類處理。在需要時，RAM 803還例如存儲被請求以允許CPU 801執(zhí)行各類處理的數據。
CPU 801、ROM 802和RAM 803經由總線804彼此相連。該總線804還被連接至輸入/輸出接口810。
輸入/輸出接口810連接至由鍵盤和鼠標等組成的輸入單元811、由CRT(陰極射線管)和LCD(液晶顯示器)等組成的顯示器、由揚聲器等組成的輸出單元812、由硬盤等組成的存儲單元813以及由調制解調器等構成的通信單元814。通信單元814經由包括因特網在內的網絡執(zhí)行通信處理。
輸入/輸出接口810還在需要時連接至驅動器815，并且諸如磁盤、光盤、磁光盤或半導體存儲器等的可移除介質821在需要時被裝載，并且從其中讀取的計算機程序在需要時被安裝至存儲單元813。
當以上各系列的處理由軟件執(zhí)行時，構成軟件的程序從網絡或記錄介質安裝。
例如，如圖34所示，該記錄介質不僅包括由與裝置主體相分離被分配以將程序分配給用戶的例如記錄有程序的磁盤(包括柔性盤)、光盤(包括CD-ROM(致密盤只讀存儲器)、DVD(數字通用盤)、磁光盤(包括MD(迷你盤))或半導體存儲器構成的可移除介質821，還包括在預先并入裝置主體的同時分配給用戶的存儲有程序的ROM802以及包括在存儲單元813內的硬盤。
由計算機執(zhí)行的程序可以是按照本說明書說明次序的時間序列執(zhí)行處理的程序，或者可以是并行或按必需定時(例如，根據調入)執(zhí)行處理的程序。
在此說明書中，描述記錄在記錄介質中的程序的步驟包括根據描述的次序按時間序列執(zhí)行的處理。各步驟可以不必按照時間序列執(zhí)行，并且所述步驟包括并行或獨立執(zhí)行的處理。
在本說明書中，系統包括由多個裝置構成的整體設備。
在以上說明中被解釋為一個裝置(或一個處理單元)的配置可被分割，并且可被構造為多個裝置(或多個處理單元)。在以上說明中被解釋為多個裝置(或多個處理單元)的配置可被組合，并且可被構造為一個裝置(或一個處理單元)。作為替換，將會理解的是，每個裝置(或每個處理單元)的配置都可以添加上述之外的任何配置。進一步地，在整個系統的配置和操作基本相同的情況下，某一裝置(或處理單元)的配置的一部分可被包括在另一裝置(或另一處理單元)的配置中。尤其是，本技術不限于上述實施例，并且可以按照各種方式改變，只要其不脫離本技術的范圍。
根據上述各實施例的圖像編碼裝置和圖像解碼裝置能夠被應用于例如通過衛(wèi)星廣播、有線電視之類的有線廣播、因特網上分配、蜂窩通信等分配至終端的發(fā)射機或接收機，用于將圖像記錄至諸如光盤、磁盤和閃存的介質的記錄裝置，或者用于從這些記錄介質中再現圖像的再現裝置的各類電子裝置。其后，將對四個應用的示例加以說明。
[應用的第一示例：電視裝置]
圖35示出了例示有應用了上述實施例的電視裝置的示意性配置。電視裝置900包括天線901、調諧器902、多路分解器903、解碼器904、視頻信號處理單元905、顯示單元906、音頻信號處理單元907、揚聲器908、外部接口909、控制單元910、用戶接口911和總線912。
調諧器902從經由天線901接收的廣播信號中提取期望的頻道的信號，并且解調所提取的信號。隨后，調諧器902將通過解調獲得的比特流輸出至多路分解器903。更具體地，調諧器902起到接收其中圖像被編碼的比特流的電視裝置900的傳輸單元的作用。
多路分解器903從比特流中分離出觀看對象節(jié)目的視頻流和音頻流，并將各分離的流輸出至解碼器904。多路分解器903從比特流中提取諸如EPG(電子節(jié)目指南)的輔助數據，并且將所提取的數據提供給控制單元910。在比特流被擾頻的情況下，多路分解器903還執(zhí)行去擾頻。
解碼器904對從多路分解器903接收的視頻流和音頻流進行解碼。其后，解碼器904將通過解碼處理生成的視頻數據輸出至視頻信號處理單元905。解碼器904將通過解碼處理生成的音頻數據輸出至音頻信號處理單元907。
視頻信號處理單元905播放從解碼器904接收的視頻數據，并使得顯示單元906顯示所述視頻。視頻信號處理單元905可以在顯示單元906上顯示經由網絡提供的應用屏幕。視頻信號處理單元905可以根據設置對視頻數據執(zhí)行諸如降噪之類的附加處理。另外，視頻信號處理單元905生成諸如菜單、按鈕或光標之類的GUI(圖形用戶界面)圖像并將生成的圖像重疊在輸出圖像之上。
顯示單元906由提供自視頻信號處理單元905的驅動信號驅動，并且在顯示裝置(諸如液晶顯示器、等離子顯示器或OELD(有機電致發(fā)光顯示器)(有機EL顯示器)等)的視頻屏幕上顯示視頻或圖像。
音頻信號處理單元907對從解碼器904接收的音頻數據執(zhí)行諸如D/A轉換和放大的再現處理，并使得揚聲器908輸出音頻。音頻信號處理單元907也對音頻數據執(zhí)行諸如降噪的附加處理。
外部接口909是用于將電視裝置900連接至外部裝置或網絡的接口。例如，經由外部接口909接收到的視頻流或音頻流可由解碼器904解碼。更具體地，外部接口909還可以具有接收其中圖像被編碼的比特流的作用并被用作電視裝置900的傳輸單元。
控制單元910具有諸如CPU的處理器，以及諸如RAM或ROM的存儲器。存儲器存儲例如由CPU處理的程序、程序數據、EPG數據、以及經由網絡獲取的數據。存儲器中存儲的程序例如可以在電視裝置900啟動時由CPU讀取并執(zhí)行。CPU根據例如從用戶接口911接收到的操作信號執(zhí)行用于控制電視裝置900的操作的程序。
用戶接口911連接至控制單元910。用戶接口911包括例如用戶用來操作電視裝置900的按鈕和開關以及用于接收遙控信號的接收單元。用戶接口911通過檢測用戶經由這些結構元件所進行的操作生成操作信號，并將生成的操作信號輸出至控制單元910。
總線912將調諧器902、多路分解器903、解碼器904、視頻信號處理單元905、音頻信號處理單元907、外部接口909和控制單元910彼此連接。
在上述配置的電視裝置900中，解碼器904具有根據上述實施例的圖像解碼裝置的功能。因此，當電視裝置900解碼圖像時，用于量化參數的編碼效率能夠得到改善。
[應用的第二示例：蜂窩電話]
圖36示出了例示有應用了上述實施例的蜂窩電話的示意性配置。蜂窩電話920包括天線921、通信單元922、音頻編解碼器923、揚聲器924、麥克風925、相機單元926、圖像處理單元927、多路分解單元928、記錄和再現單元929、顯示單元930、控制單元931、操作單元932和總線933。
天線921連接至通信單元922。揚聲器924和麥克風925連接至音頻編解碼器923。操作單元932連接至控制單元931?？偩€933將通信單元922、音頻編解碼器923、相機單元926、圖像處理單元927、多路分解單元928、記錄和再現單元929、顯示單元930和控制單元931彼此相連。
蜂窩電話920執(zhí)行諸如音頻信號的發(fā)送/接收、電子郵件或圖像數據的發(fā)送/接收、拍攝圖像以及以包括音頻電話呼叫模式、數據通信模式、拍攝模式和視頻呼叫模式在內的各種模式來記錄數據之類的操作。
在音頻電話呼叫模式中，由麥克風925生成的模擬音頻數據被提供給音頻編解碼器923。音頻編解碼器923將模擬音頻信號轉換成音頻數據，對經轉換的音頻數據執(zhí)行A/D轉換并壓縮該音頻數據。隨后，音頻編解碼器923將經壓縮的音頻數據輸出至通信單元922。通信單元922編碼并調整音頻數據，并且生成發(fā)送信號。隨后，通信單元922將生成的發(fā)送信號經由天線921發(fā)送至基站(未示出)。通信單元922放大經由天線921接收到的無線電信號，轉換頻率并獲取接收信號。通信單元922隨后通過解調和解碼接收信號生成音頻數據并將生成的音頻數據輸出至音頻編解碼器923。音頻編解碼器923解壓縮音頻數據，執(zhí)行D/A轉換并生成模擬音頻信號。隨后，音頻編解碼器923將生成的音頻信號提供給揚聲器924并輸出音頻。
在數字通信模式下，例如控制單元931根據用戶使用操作單元932給予的操作生成組成電子郵件的文本數據?？刂茊卧?31在顯示單元930上顯示字符?？刂茊卧?31根據用戶使用操作單元932給予的發(fā)送指令生成電子郵件數據并將生成的電子郵件數據輸出至通信單元922。通信單元922編碼并調制電子郵件數據，并且生成發(fā)送信號。隨后，通信單元922將生成的傳輸信號經由天線921發(fā)送至基站(未示出)。通信單元922放大經由天線921接收到的無線電信號，轉換頻率并獲取接收信號。隨后，通信單元922通過對接收信號進行解調和解碼來恢復電子郵件數據，并且將恢復的電子郵件數據輸出至控制單元931。控制單元931在顯示單元930上顯示電子郵件的內容，并且將該電子郵件數據存儲至記錄/再現單元929的記錄介質。
記錄/再現單元929可以具有能被讀取和寫入的任何給定記錄介質。例如，存儲介質可以是諸如RAM或閃存的內置記錄介質，或者是諸如硬盤、磁盤、磁光盤、光盤、USB(未分配空間位圖)存儲器或存儲卡之類的外部安裝的記錄介質。
在拍攝模式中，例如，相機單元926拍攝被攝體的圖像，生成圖像數據，并將生成的圖像數據輸出至圖像處理單元927。圖像處理單元927對從相機單元926接收的圖像數據進行編碼，并將比特流記錄到記錄再現單元929的記錄介質。
在視頻呼叫模式中，例如多路分解器928多路復用由圖像處理單元927編碼的視頻流以及從音頻編解碼器923接收到的音頻流，并且將經多路復用的流輸出至通信單元922。通信單元922編碼并調制所述流，并且生成發(fā)送信號。隨后，通信單元922將生成的發(fā)送信號經由天線921發(fā)送至基站(未示出)。通信單元922放大經由天線921接收到的無線電信號，轉換頻率并獲取接收信號。發(fā)送信號和接收到的信號可以包括比特流。隨后，通信單元922通過對接收信號進行解調和解碼來恢復所述流，并將恢復的流輸出至多路分解器928。多路分解器928從接收到的流中分離出視頻流和音頻流，并將視頻流輸出至圖像處理單元927而將音頻流輸出至音頻編解碼器923。圖像處理單元927解碼視頻流并生成視頻數據。視頻數據被提供至顯示單元930，并且顯示單元930顯示一系列的圖像。音頻編解碼器923解壓縮音頻流，執(zhí)行D/A轉換并生成模擬音頻信號。隨后，音頻編解碼器923將生成的音頻信號提供給揚聲器924并輸出音頻。
在如上配置的蜂窩電話920中，圖像處理單元927具有根據上述實施例的圖像編碼裝置和圖像解碼裝置的功能。因此，當蜂窩電話920編碼和解碼圖像時，用于量化參數的編碼效率能夠得到改善。
[第三應用的示例：記錄/再現裝置]
圖37示出了例示有應用了上述實施例的記錄/再現裝置的示意性配置。例如，該記錄/再現裝置940對接收到的廣播節(jié)目的音頻數據和視頻數據進行編碼，并且將其記錄至記錄介質。例如，記錄/再現裝置940可以對從另一裝置獲得的音頻數據和視頻數據進行編碼，并且將其記錄至記錄介質。例如，記錄/再現裝置940可以根據用戶指令使用監(jiān)視器和揚聲器來再現記錄在該記錄介質上的數據。在這些時刻，記錄/再現裝置940解碼音頻數據和視頻數據。
記錄/再現裝置940包括調諧器941、外部接口942、編碼器943、HDD(硬盤驅動器)944、盤驅動器945、選擇器946、解碼器947、OSD(屏上顯示器)948、控制單元949和用戶接口950。
調諧器941從經由天線(未示出)接收的廣播信號中提取期望的頻道的信號，并且解調所提取的信號。隨后，調諧器941將通過解調獲得的比特流輸出至選擇器946。更具體地，調諧器941起到記錄/再現裝置940的傳輸單元的作用。
外部接口942是用于將記錄/再現裝置940連接至外部裝置或網絡的接口。例如，外部接口942例如可以是IEEE 1394接口、網絡接口、USB接口、閃存接口等。例如，由外部接口942接收到的視頻數據和音頻數據輸入至編碼器943。更具體地，外部接口942起到記錄/再現裝置940的傳輸單元的作用。
在從外部接口942接收到的視頻數據和音頻數據未被編碼的情況下，編碼器943對所述視頻數據和音頻數據進行編碼。隨后，編碼器943將比特流輸出至選擇器946。
HDD 944在內部硬盤中記錄通過壓縮諸如視頻和音頻的內容數據而獲取的比特流、各種類別的程序和其他數據。當視頻和音頻被再現時，HDD 944從音頻中讀取數據。
盤驅動器945向載入的記錄介質中記錄數據或從中讀取數據。載入盤驅動器945的記錄介質例如可以是DVD盤(DVD-Video、DVD-RAM、DVD-R、DVD-RW、DVD+R和DVD+RW等)或藍光(注冊商標)盤。
當記錄視頻和音頻時，選擇器946選擇從調諧器941或從編碼器943接收到的比特流，并將所選比特流輸出至HDD 944或盤驅動器945。當再現視頻和音頻時，選擇器946將從HDD 944或從盤驅動器945接收到的比特流輸出至解碼器947。
解碼器947解碼所述比特流，并生成視頻數據和音頻數據。隨后，解碼器947將生成的視頻數據輸出至OSD 948。解碼器904將生成的音頻數據輸出至外部揚聲器。
OSD 948再現從解碼器947接收到的視頻數據，并且顯示視頻。OSD 948可以將諸如菜單、按鈕或光標等的GUI圖像重疊在顯示的視頻上。
控制單元949具有諸如CPU的處理器，以及諸如RAM或ROM的存儲器。存儲器記錄由CPU執(zhí)行的程序、程序數據等。存儲器中存儲的程序例如在記錄/再現裝置940啟動時由CPU讀取并執(zhí)行。CPU根據例如從用戶接口950接收到的操作信號執(zhí)行用于控制記錄/再現裝置900的操作的程序。
用戶接口950連接至控制單元949。用戶接口950包括例如用戶用來操作記錄/再現裝置940的按鈕和開關以及用于接收遙控信號的接收單元。用戶接口950通過檢測用戶經由這些結構元件所進行的操作生成操作信號，并將生成的操作信號輸出至控制單元949。
在上述配置的記錄/再現裝置940中，編碼器943具有根據上述實施例的圖像編碼裝置的功能。解碼器947具有根據上述實施例的圖像解碼裝置的功能。因此，當記錄/再現裝置940編碼和解碼圖像時，用于量化參數的編碼效率能夠得到改善。
[應用的第四示例：圖像拍攝裝置]
圖38示出了例示有應用了上述實施例的圖像拍攝裝置的示意性配置。圖像拍攝裝置960拍攝被攝體的圖像，生成圖像數據，并將圖像數據記錄至記錄介質。
圖像拍攝裝置960包括光學塊961、圖像拍攝單元962、信號處理單元963、圖像處理單元964、顯示單元965、外部接口966、存儲器967、介質驅動器968、OSD 969、控制單元970、用戶接口971和總線972。
光學塊961連接至圖像拍攝單元962。圖像拍攝單元962連接至信號處理單元963。顯示單元965連接至信號處理單元964。用戶接口971連接至控制單元970?？偩€972將圖像處理單元964、外部接口966、存儲器967、介質驅動器968、OSD 969和控制單元970彼此連接。
光學塊961包括聚焦透鏡和光圈機構。光學塊961使得被攝體的光學像在圖像拍攝單元962的圖像拍攝表面上形成。圖像拍攝單元962包括諸如CCD(電荷耦合器件)或CMOS(互補金屬氧化物半導體)的圖像傳感器，并通過光電轉換將在圖像拍攝表面上形成的光學像轉換成作為電信號的圖像信號。隨后，圖像拍攝單元962將圖像信號輸出至信號處理單元963。
信號處理單元963對從圖像拍攝單元962接收到的圖像信號執(zhí)行各種相機信號處理，諸如knee校正、伽馬校正和色差校正。信號處理單元963將已經歷相機信號處理的圖像數據輸出至圖像處理單元964。
圖像處理單元964對從信號處理單元963接收到的圖像數據進行編碼，并生成編碼數據。隨后，圖像處理單元964將生成的編碼數據輸出至外部接口966或介質驅動器968。圖像處理單元964解碼從外部接口966或介質驅動器968接收到的編碼數據，并生成圖像數據。隨后，圖像處理單元964將生成的圖像數據輸出至顯示單元965。圖像處理單元964可以將從信號處理單元963接收到的圖像數據輸出至顯示單元965，并且可以在其上顯示圖像。圖像處理單元964還可以將從OSD 969獲取的顯示數據重疊在要被輸出至顯示單元965的圖像上。
例如，OSD 969可以生成諸如菜單、按鈕或光標的GUI圖像，并將生成的圖像輸出至圖像處理單元964。
外部接口966被構造成例如USB輸入/輸出終端。外部接口966在例如打印圖像期間將圖像拍攝裝置960與打印機相連。外部接口966還在需要時連接至驅動器。在驅動器中例如可以裝載諸如磁盤或光盤的可移除介質。從可移除介質中讀取的程序可被安裝至圖像拍攝裝置960。此外，外部接口966還可被構造為用于連接至諸如LAN或因特網的網絡的網絡接口。更具體地，外部接口966起到圖像拍攝裝置960的傳輸單元的作用。
載入介質驅動器968的記錄介質可以是能夠讀取和寫入的任何可移除介質，諸如磁盤、磁光盤、光盤或半導體存儲器?？梢耘渲靡怨潭ǚ绞捷d入介質驅動器968的記錄介質，以及諸如內部硬盤驅動器或SSD(固態(tài)驅動器)之類的不可移除存儲單元。
控制單元970具有諸如CPU的處理器，以及諸如RAM或ROM的存儲器。存儲器記錄由CPU執(zhí)行的程序、程序數據等。存儲器中存儲的程序例如在圖像拍攝裝置960啟動時由CPU讀取并執(zhí)行。CPU根據例如從用戶接口971接收到的操作信號執(zhí)行用于控制圖像拍攝裝置960的操作的程序。
用戶接口971連接至控制單元970。用戶接口971包括例如用戶用于操作圖像拍攝裝置960的按鈕和開關。用戶接口971通過檢測用戶經由這些結構元件所進行的操作生成操作信號，并將生成的操作信號輸出至控制單元970。
在如上配置的圖像拍攝裝置960中，圖像處理單元964具有根據上述實施例的圖像編碼裝置和圖像解碼裝置的功能。因此，當圖像拍攝裝置960編碼和解碼圖像時，用于量化參數的編碼效率能夠得到改善。
在本說明書的說明中，諸如差分量化參數的各種信息被多路復用為比特流，并例如從編碼側發(fā)送至解碼側。然而，發(fā)送信息的方法不限于這類例子。例如，這類信息可以不被多路復用為比特流，并且可以作為與比特流關聯的分離數據被發(fā)送或記錄。在這種情況中，術語“關聯”指的是包括在比特流內的圖像(可以是圖像的一部分，諸如片或塊)和與該圖像相對應的信息在解碼期間被鏈接。更具體地，信息可通過與圖像(或比特流)的發(fā)送路徑相分離的發(fā)送路徑發(fā)送。信息可被記錄在與記錄圖像(或比特流)不同的另一記錄介質上(或同一記錄介質的另一記錄區(qū)域上)。進一步地，信息和圖像(或比特流)可以在諸如多個幀、一個幀、或幀的一部分的任何給定單位內彼此關聯。
雖然已經結合附圖詳細描述了本公開的優(yōu)選實施例，但是本公開不限于這類示例。清楚的是，具有本公開所屬技術領域普通技術人員能夠想出由所附權利要求限定的技術范圍內的各種改變或修改例，并且將會理解的是，這些改變和修改仍被包括在本公開的技術范圍內。
應該注意到本技術可被如下配置。
(1)一種圖像處理裝置，包括：
通過使用為多個周圍編碼單位設置的多個量化參數來為當前編碼單位設置預測量化參數的預測量化參數設置單元，其中所述多個周圍編碼單位定位在作為編碼處理的對象的當前編碼單位周圍；
用于設置差分量化參數的差分量化參數設置單元，其中所述差分量化參數指示為當前編碼單位設置的量化參數和由預測量化參數設置單元設置的預測量化參數之間的差值；
通過對由量化圖像數據獲取的量化數據進行編碼來生成比特流的編碼單元；以及
用于發(fā)送由編碼單元生成的比特流以及由差分量化參數設置單元設置的差分量化參數的發(fā)送單元。
(2)如(1)所述的圖像處理裝置，其中預測量化參數設置單元通過將預測計算應用于為所述多個周圍編碼單位設置的多個量化參數來設置預測量化參數。
(3)如(2)所述的圖像處理裝置，其中預測量化參數設置單元通過將中值計算應用于為所述多個周圍編碼單位設置的所述多個量化參數而將預測量化參數設置成為所述多個周圍編碼單位設置的多個量化參數的中值。
(4)如(3)所述的圖像處理裝置，當所述多個周圍編碼單位全都處于可用狀態(tài)時，預測量化參數設置單元將中值計算應用于為所述多個周圍編碼單位設置的所述多個量化參數。
(5)如(2)至(4)所述的圖像處理裝置，其中預測量化參數設置單元通過將平均值計算應用于為所述多個周圍編碼單位設置的所述多個量化參數而將預測量化參數設置成為所述多個周圍編碼單位設置的所述多個量化參數的平均值。
(6)如(5)所述的圖像處理裝置，當判定單元判定周圍編碼單位中有部分處于可用狀態(tài)時，預測量化參數設置單元將平均值計算應用于為所述多個周圍編碼單位設置的所述多個量化參數。
(7)如(5)或(6)所述的圖像處理裝置，其中預測量化參數設置單元通過將加權平均值計算應用于為由選擇單元所選的多個周圍編碼單位設置的多個量化參數而將預測量化參數設置成為所述多個周圍編碼單位設置的多個量化參數的加權平均值。
(8)如(7)所述的圖像處理裝置，其中預測量化參數設置單元設置加權平均值計算以使得更大的權重被給予與當前編碼單位具有相同尺寸的周圍編碼單位。
(9)如(7)所述的圖像處理裝置，其中預測量化參數設置單元以使得更大的權重被給予具有更大的尺寸的周圍編碼單位的方式來設置加權平均值計算。
(10)如(2)至(9)所述的圖像處理裝置，其中對于已被編碼的編碼單位，所述多個周圍編碼單位包括鄰接所述當前編碼單位左側的編碼單位、鄰接所述當前編碼單位上側的編碼單位以及鄰接所述當前編碼單位左上側的編碼單位。
(11)如(10)所述的圖像處理裝置，其中所述多個周圍編碼單位還包括鄰接所述當前編碼單位右上側的編碼單位以及鄰接所述當前編碼單位左下側的編碼單位。
(12)如(2)至(11)所述的圖像處理裝置，還包括用于判定周圍編碼單位是否處于可用狀態(tài)的判定單元，
其中所述預測量化參數設置單元根據由所述判定單元判定為可用的編碼單位的數量來改變預測計算的方法。
(13)如(1)至(12)所述的圖像處理裝置，還包括用于判定當預測量化參數被設置時位于當前最大編碼單位中的周圍編碼單位是否處于可用狀態(tài)的判定單元，
其中所述預測量化參數設置單元通過僅使用由所述判定單元判定為處于可用狀態(tài)的編碼單位的量化參數來設置預測量化參數。
(14)如(13)所述的圖像處理裝置，其中在當前編碼單位位于所述當前最大編碼單位的前方位置處時，預測量化參數設置單元將位于緊接在前的最大編碼單位的最后位置處的編碼單位的量化參數設置為預測量化參數。
(15)如(2)至(14)所述的圖像處理裝置，還包括用于設置指示預測計算類別的類別數據的設置單元，
其中所述發(fā)送單元發(fā)送由所述設置單元設置的類別數據。
(16)如(15)所述的圖像處理裝置，其中所述設置單元為作為最上層或片中的編碼單位的每個最大編碼單位設置所述類別數據。
(17)如(16)所述的圖像處理裝置，其中所述發(fā)送單元將由所述設置單元設置的類別數據作為由所述編碼單元生成的比特流的參數集發(fā)送。
(18)一種用于圖像處理裝置的圖像處理方法，包括：
使得預測量化參數設置單元通過使用為多個周圍編碼單位設置的多個量化參數為當前編碼單位設置預測量化參數，其中所述多個周圍編碼單位定位在作為編碼處理的對象的當前編碼單位周圍；
使得差分量化參數設置單元設置差分量化參數，其中所述差分量化參數指示為當前編碼單位設置的量化參數和被設置的預測量化參數之間的差值；
使得編碼單元對通過由量化圖像數據獲取的量化數據進行編碼來生成比特流；以及
使得發(fā)送單元發(fā)送生成的比特流以及被設置的差分量化參數。
(19)一種圖像處理裝置，包括：
用于接收差分量化參數以及通過對圖像數據進行編碼獲取的比特流的接收單元，所述差分量化參數指示為作為解碼處理的對象的當前編碼單位設置的量化參數和通過根據為定位在所述當前編碼單位周圍的多個周圍編碼單位設置的多個量化參數進行預測而獲取的預測量化參數之間的差值；
使用從所述接收單元接收到的差分量化參數設置當前編碼單位的量化參數的量化參數設置單元；以及
通過使用由所述量化參數設置單元設置的量化參數對從所述接收單元接收到的比特流進行逆量化來生成圖像數據的解碼單元。
(20)一種用于圖像處理裝置的圖像處理方法，包括：
使得接收單元接收差分量化參數，所述差分量化參數指示為作為解碼處理的對象的當前編碼單位設置的量化參數和通過根據為定位在所述當前編碼單位周圍的多個周圍編碼單位設置的多個量化參數進行預測而獲取的預測量化參數之間的差值；
使得量化參數設置單元使用所接收到的差分量化參數設置當前編碼單位的量化參數；以及
使得解碼單元通過使用被設置的量化參數對接收到的比特流進行逆量化來生成圖像數據。
(21)一種圖像處理裝置，包括：
用于在設置預測量化參數時判定定位在作為編碼處理的對象的當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)的判定單元；
通過僅使用由所述判定單元判定為處于可用狀態(tài)的編碼單位的量化參數來設置用于當前編碼單位的預測量化參數的預測量化參數設置單元；
用于設置差分量化參數的差分量化參數設置單元，其中所述差分量化參數指示為當前編碼單位設置的量化參數和由預測量化參數設置單元設置的預測量化參數之間的差值；
通過對由量化圖像數據獲取的量化數據進行編碼來生成比特流的編碼單元；以及
用于發(fā)送由編碼單元生成的比特流以及由差分量化參數設置單元設置的差分量化參數的發(fā)送單元。
(22)如(21)所述的圖像處理裝置，其中在當前編碼單位位于所述當前最大編碼單位的前方位置處時，預測量化參數設置單元將位于緊接在前的最大編碼單位的最后位置處的編碼單位的量化參數設置為預測量化參數。
(23)一種用于圖像處理裝置的圖像處理方法，包括：
使得判定單元在設置預測量化參數時判定定位在作為編碼處理的對象的當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)；
使得預測量化參數設置單元通過僅使用被判定為處于可用狀態(tài)的編碼單位的量化參數來設置用于當前編碼單位的預測量化參數；
使得差分量化參數設置單元設置差分量化參數，其中所述差分量化參數指示為當前編碼單位設置的量化參數和被設置的預測量化參數之間的差值；
使得編碼單元對通過由量化圖像數據獲取的量化數據進行編碼來生成比特流；以及
使得發(fā)送單元發(fā)送生成的比特流以及被設置的差分量化參數。
(24)一種圖像處理裝置，包括：
用于接收差分量化參數以及通過對圖像數據進行編碼獲取的比特流的接收單元，所述差分量化參數指示為作為解碼處理的對象的當前編碼單位設置的量化參數和作為量化參數的預測值的預測量化參數之間的差值；
用于在設置預測量化參數時判定定位在當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)的判定單元；
通過僅使用由所述判定單元判定為處于可用狀態(tài)的編碼單位的量化參數來設置用于當前編碼單位的預測量化參數的預測量化參數設置單元；
通過把為當前編碼單位設置的量化參數和由接收單元接收到的差分量化參數相加來生成當前編碼單位的量化參數的量化參數生成單元；
用于對由接收單元接收到的比特流進行解碼的解碼單元；以及
通過使用由量化參數生成單元生成的量化參數來對在解碼單元對比特流進行解碼時獲取的量化系數進行逆量化的逆量化單元。
(25)一種用于圖像處理裝置的圖像處理方法，包括：
使得接收單元接收差分量化參數以及通過編碼圖像數據獲取的比特流，所述差分量化參數指示為作為解碼處理的對象的當前編碼單位設置的量化參數和作為量化參數的預測值的預測量化參數之間的差值；
使得判定單元在設置預測量化參數時判定定位在當前編碼單位周圍的多個周圍編碼單位是否處于可用狀態(tài)；
使得預測量化參數設置單元通過僅使用被判定為處于可用狀態(tài)的編碼單位的量化參數來設置用于當前編碼單位的預測量化參數；
使得量化參數生成單元通過把為當前編碼單位設置的量化參數和所接收到的差分量化參數相加來生成當前編碼單位的量化參數；
使得解碼單元解碼接收到的比特流；以及
使得逆量化單元通過使用生成的量化參數來對通過解碼比特流獲取的量化系數進行逆量化。
參考編號列表
100圖像編碼裝置,105量化單元,108逆量化單元,121量化參數編碼單元,122量化參數解碼單元,131活動性計算單元,141關注區(qū)域量化參數生成單元,142量化處理單元,143周圍區(qū)域量化參數緩沖器,144差分量化參數緩沖器,151預測量化參數生成單元,152差分量化參數生成單元,200圖像解碼裝置,203逆量化單元,221量化參數解碼單元,231差分量化參數緩沖器,232量化正交變換系數緩沖器,233周圍區(qū)域量化參數緩沖器,234逆量化處理單元,241預測量化參數生成單元,242關注區(qū)域量化參數重建單元,301周圍區(qū)域利用可否判定單元,302計算控制單元,311周圍區(qū)域利用可否判定單元,312計算控制單元,321周圍區(qū)域尺寸判定單元,331周圍區(qū)域尺寸判定單元,351類別數據設置單元,361類別數據緩沖器,362計算控制單元,381類別數據緩沖器,382計算控制單元。
- 還沒有人留言評論。精彩留言會獲得點贊！