動圖像編碼裝置以及動圖像編碼方法
【專利摘要】本發(fā)明涉及動圖像編碼裝置以及動圖像編碼方法。第1預測矢量候選列表生成部(130)基于相鄰于編碼對象塊的已編碼塊的運動矢量,來生成第1預測運動矢量候選列表。第2預測矢量候選列表生成部(132)基于已編碼圖像中的、與編碼對象塊同一位置的塊及相鄰于同一位置塊的塊的運動矢量,來生成第2預測運動矢量候選列表。結合判定部(131)通過編碼對象塊的塊尺寸與閾值尺寸的比較來判定是否生成結合了第1及第2預測矢量候選列表的第3預測矢量候選列表。當編碼對象塊的塊尺寸小于閾值尺寸時,預測矢量候選列表決定部(133)不結合第2預測矢量候選列表地、基于第1預測矢量候選列表來生成第3預測矢量候選列表。
【專利說明】動圖像編碼裝置以及動圖像編碼方法
[0001 ] 本申請是基于申請?zhí)枮?01280012382.9、申請日為2012年03月05日、
【申請人】為JVC
建伍株式會社、發(fā)明名稱為“動圖像編碼裝置、動圖像編碼方法及動圖像編碼程序、及動圖像解碼裝置、動圖像解碼方法及動圖像解碼程序”的發(fā)明提出的分案申請。
技術領域
[0002]本發(fā)明涉及使用了運動補償預測的動圖像編碼和解碼技術,尤其涉及運動補償預測中所利用的運動矢量的編碼和解碼技術。
【背景技術】
[0003]在一般的動圖像壓縮編碼中,使用運動補償預測。運動補償預測是如下技術:將對象圖像分割成較小的塊,以已解碼的圖像為參照圖像,將從與對象圖像的對象塊相同的位置起向運動矢量所表示的運動方向移動了運動量后的位置的參照圖像,生成為預測信號。關于運動補償預測,有利用I個運動矢量單向地進行運動補償預測的方式,和利用2個運動矢量雙向地進行運動補償預測的方式。
[0004]此外,關于運動矢量,將相鄰于處理對象塊的、已編碼的塊的運動矢量作為預測運動矢量(也簡單稱作“預測矢量”),通過求出處理對象塊的運動矢量與預測矢量的差分,并將差分矢量作為編碼矢量進行傳輸,而提高了壓縮效率。
[0005]在MPEG-4AVC中,通過將使運動補償預測的塊尺寸處理得比MPEG-2更小、且更多樣,提高了運動補償預測的效率。但另一方面,因減小了塊尺寸,運動矢量的數(shù)量會增加,故編碼矢量的碼量成為了問題。
[0006]為此,雖然MPEG-2中簡單地將處理對象塊左側相鄰的塊的運動矢量作為了預測矢量(非專利文獻I),但在MPEG-4AVC中,通過將多個相鄰塊的運動矢量的中值作為預測矢量,提高了預測矢量的精度,并抑制了編碼矢量的碼量增加(非專利文獻2)。此外,在MPEG-4AVC中,已知有利用已編碼的其它圖像的運動矢量來提高編碼矢量的編碼效率的技術。
[0007]〔在先技術文獻〕
[0008]〔非專利文獻〕
[0009]〔非專利文獻I〕IS0/IEC13818-2Informat1n technology—Generic coding ofmoving pictures and associated aud1 informat1n:Video;
[0010]〔非專利文獻2〕IS0/IEC14496-10Informat1n technology—Coding of aud1-visual objects—Part 10:Advanced Video Coding0
【發(fā)明內(nèi)容】
[0011]〔發(fā)明所要解決的課題〕
[0012]在非專利文獻I及2所記載的方法中,都僅能得到一個預測矢量,故存在預測精度較差、編碼效率不佳這樣的問題。本發(fā)明人們考慮了采取使用多個預測矢量候選的方法,但認識到此時需要對用于識別預測矢量候選的索引進行編碼,索引的碼量會增加這一課題。
[0013]本發(fā)明是鑒于這樣的狀況而研發(fā)的,其目的在于提供一種能提高運動矢量的預測精度和編碼效率的動圖像編碼及解碼技術。
[0014]〔用于解決課題的手段〕
[0015]為解決上述課題,本發(fā)明一個方案的動圖像編碼裝置是按塊單位進行運動補償預測的動圖像編碼裝置,其包括:預測運動矢量候選生成部(133),當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,基于已編碼圖像中的塊來導出預測運動矢量候選,當上述編碼對象塊的塊尺寸在上述規(guī)定閾值尺寸以下時,不導出上述預測運動矢量候選。
[0016]本發(fā)明的另一方案也是動圖像編碼裝置。該裝置是按塊單位進行運動補償預測的動圖像編碼裝置,包括:預測運動矢量候選列表生成部(133),當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將基于已編碼圖像中的塊獲得的預測運動矢量候選加入到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不將上述預測運動矢量候選加入到上述預測運動矢量候選列表中;預測運動矢量選擇部(121),從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量;以及編碼部(104),對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0017]本發(fā)明的另一方案也是動圖像編碼裝置。該按塊單位進行運動補償預測的動圖像編碼裝置包括:空間預測運動矢量候選生成部(130),基于與編碼對象塊相鄰的塊導出空間預測運動矢量的候選;時間預測運動矢量候選生成部(132),基于已編碼圖像中的塊導出時間預測運動矢量的候選;預測運動矢量候選列表生成部(133),當表示是否利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選生成預測運動矢量候選列表,當上述利用允許信息表示不允許時,基于上述空間預測運動矢量候選生成預測運動矢量候選列表;預測運動矢量選擇部(121 ),從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量;以及編碼部(104),對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0018]本發(fā)明的另一方案也是動圖像編碼裝置。該以多種塊尺寸進行運動補償預測的動圖像編碼裝置包括:第I預測矢量候選列表生成部(130),基于與編碼對象塊相鄰的、已編碼的I個以上的塊的運動矢量,生成包含第I預測運動矢量的候選的第I預測矢量候選列表;第2預測矢量候選列表生成部(132),基于已編碼圖像中的、與上述編碼對象塊同一位置的塊及相鄰于上述同一位置的塊的I個以上的塊的運動矢量,生成包含第2預測運動矢量的候選的第2預測矢量候選列表;結合判定部(131),根據(jù)上述編碼對象塊的塊尺寸與規(guī)定閾值尺寸的比較結果,判定是否生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表;第3預測矢量候選列表生成部(133),當上述編碼對象塊的塊尺寸小于上述規(guī)定閾值尺寸時,不結合上述第2預測矢量候選列表地、基于上述第I預測矢量候選列表生成上述第3預測矢量候選列表;預測矢量選擇部(121),從上述第3預測矢量候選列表中選出上述編碼對象塊的預測運動矢量;以及編碼部(104),對表示上述所選出的預測運動矢量在上述第3預測矢量候選列表中的位置的信息進行編碼。
[0019]本發(fā)明的另一方案也是動圖像編碼裝置。該以多種塊尺寸進行運動補償預測的動圖像編碼裝置包括:第I運動矢量存儲部(111),將已編碼的塊的運動矢量保存在按最小塊尺寸單位劃分出的存儲器區(qū)域中進行管理;第I預測矢量候選列表生成部(130),參照上述第I運動矢量存儲部(111),并基于相鄰于編碼對象塊的、已編碼的I個以上的塊的運動矢量,生成包含第I預測運動矢量的候選的第I預測矢量候選列表;第2運動矢量存儲部(302),以規(guī)定的壓縮尺寸匯總已編碼圖像的、最小塊尺寸單位的運動矢量,將之置換為一個代表運動矢量,并保存在按壓縮尺寸單位劃分出的存儲器區(qū)域中,來進行管理;第2預測矢量候選列表生成部(132),參照上述第2運動矢量存儲部(302),并基于已編碼的圖像中的、與上述編碼對象塊同一位置的塊及相鄰于上述同一位置的塊的I個以上的塊的運動矢量,生成包含第2預測運動矢量的候選的第2預測矢量候選列表;結合判定部(131),根據(jù)上述編碼對象塊的塊尺寸與規(guī)定閾值尺寸的比較結果,判定是否生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表;第3預測矢量候選列表生成部
(133),當上述編碼對象塊的塊尺寸小于上述規(guī)定的閾值尺寸時,不結合上述第2預測矢量候選列表地、基于上述第I預測矢量候選列表生成上述第3預測矢量候選列表;預測矢量選擇部(121),從上述第3預測矢量候選列表中選出上述編碼對象塊的預測運動矢量;以及編碼部(104),對表示上述所選出的預測運動矢量在上述第3預測矢量候選列表中的位置的信息進行編碼。
[0020]本發(fā)明的另一方案也是動圖像編碼裝置。該按塊單位進行運動補償預測的動圖像編碼裝置包括:預測運動矢量候選生成部,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將從已編碼圖像中的塊導出的預測運動矢量候選包含到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不改變上述預測運動矢量候選列表;預測運動矢量選擇部,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量;運動信息候選生成部,當上述編碼對象塊的塊尺寸大于上述規(guī)定的閾值尺寸時,將從已編碼圖像中的塊導出的運動信息候選包含到運動信息候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不改變上述運動信息候選列表;運動信息選擇部,從上述運動信息候選列表中選出上述編碼對象塊的運動信息;編碼部,編碼繼承方向標志,上述繼承方向標志示出對合并索引或預測運動矢量索引的哪一個進行編碼,當上述繼承方向標志表示上述合并索引的使用時,上述編碼部對表示上述被選擇的運動信息在上述運動信息候選列表中的位置的合并索引進行編碼,當上述繼承方向標志表示上述預測運動矢量索引的使用時,上述編碼部對表示上述被選擇的預測運動矢量在上述預測運動矢量候選列表中的位置的預測運動矢量索引進行編碼。
[0021]本發(fā)明的另一方案是動圖像編碼方法。該按塊單位進行運動補償預測的動圖像編碼方法包括:預測運動矢量候選生成步驟,當編碼對象塊的塊尺寸大于規(guī)定閾值尺寸時,基于已編碼圖像中的塊來導出預測運動矢量候選,當上述編碼對象塊的塊尺寸在上述規(guī)定閾值尺寸以下時,不導出上述預測運動矢量候選。
[0022]本發(fā)明的另一方案也是動圖像編碼方法。該按塊單位進行運動補償預測的動圖像編碼方法包括:預測運動矢量候選列表生成步驟,當編碼對象塊的塊尺寸大于規(guī)定閾值尺寸時,將基于已編碼圖像中的塊獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中;預測運動矢量選擇步驟,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量;以及編碼步驟,對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0023]本發(fā)明的另一方案也是動圖像編碼方法。該按塊單位進行運動補償預測的動圖像編碼方法包括:空間預測運動矢量候選生成步驟,基于與編碼對象塊相鄰的塊導出空間預測運動矢量候選;時間預測運動矢量候選生成步驟,基于已編碼圖像中的塊導出時間預測運動矢量候選;預測運動矢量候選列表生成步驟,當表示是否利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選生成預測運動矢量候選列表,當上述利用允許信息表示不允許時,基于上述空間預測運動矢量候選生成預測運動矢量候選列表;預測運動矢量選擇步驟,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量;以及編碼步驟,對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0024]本發(fā)明的另一方案也是動圖像編碼方法。按塊單位進行運動補償預測的動圖像編碼方法包括:預測運動矢量候選生成步驟,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將從已編碼圖像中的塊導出的預測運動矢量候選包含到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不改變上述預測運動矢量候選列表;預測運動矢量選擇步驟,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量;運動信息候選生成步驟,當上述編碼對象塊的塊尺寸大于上述規(guī)定的閾值尺寸時,將從已編碼圖像中的塊導出的運動信息候選包含到運動信息候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不改變上述運動信息候選列表;運動信息選擇步驟,從上述運動信息候選列表中選出上述編碼對象塊的運動信息;編碼步驟,編碼繼承方向標志,上述繼承方向標志示出對合并索引或預測運動矢量索引的哪一個進行編碼,當上述繼承方向標志表示上述合并索引的使用時,上述編碼步驟對表示上述被選擇的運動信息在上述運動信息候選列表中的位置的合并索引進行編碼,當上述繼承方向標志表示上述預測運動矢量索引的使用時,上述編碼步驟對表示上述被選擇的預測運動矢量在上述預測運動矢量候選列表中的位置的預測運動矢量索引進行編碼。
[0025]本發(fā)明一個方案的按塊單位進行運動補償預測的動圖像解碼裝置包括:預測運動矢量候選生成部(133),當解碼對象塊的塊尺寸大于規(guī)定閾值尺寸時,基于已解碼圖像中的塊來導出預測運動矢量候選,當上述解碼對象塊的塊尺寸在上述規(guī)定閾值尺寸以下時,不導出上述預測運動矢量候選。
[0026]本發(fā)明的另一方案也是動圖像解碼裝置。該按塊單位進行運動補償預測動圖像解碼裝置包括:預測運動矢量候選列表生成部(133),當解碼對象塊的塊尺寸大于規(guī)定閾值尺寸時,將基于已解碼圖像中的塊獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述解碼對象塊的塊尺寸在上述規(guī)定閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中;解碼部(201),解碼出表示應參照的預測運動矢量在上述預測運動矢量候選列表中的位置的信息;以及預測運動矢量選擇部(221),基于上述表示應參照的預測運動矢量在上述預測運動矢量候選列表中的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0027]本發(fā)明的另一方案也是動圖像解碼裝置。該按塊單位進行運動補償預測動圖像解碼裝置裝置包括:解碼部(201),解碼出表示應參照的預測運動矢量在預測運動矢量候選列表中的位置的信息;空間預測運動矢量候選生成部(130),基于與解碼對象塊相鄰的塊導出空間預測運動矢量候選;時間預測運動矢量候選生成部(132),基于已解碼圖像中的塊導出時間預測運動矢量的候選;預測運動矢量候選列表生成部(133),當表示是否利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選生成預測運動矢量候選列表,當上述利用允許信息表示不允許時,基于上述空間預測運動矢量候選生成預測運動矢量候選列表;以及預測運動矢量選擇部(221),基于上述表示預測運動矢量的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0028]本發(fā)明的另一方案也是動圖像解碼裝置。該按多種塊尺寸進行運動補償預測的動圖像解碼裝置包括:解碼部(201),解碼出表示應參照的預測運動矢量在預測矢量候選列表中的位置的信息;第I預測矢量候選列表生成部(130),基于與解碼對象塊相鄰的、已解碼的I個以上的塊的運動矢量,生成包含第I預測運動矢量的候選的第I預測矢量候選列表;第2預測矢量候選列表生成部(132),基于已解碼的圖像中的、與上述解碼對象塊同一位置的塊及相鄰于上述同一位置的塊的I個以上的塊的運動矢量,生成包含第2預測運動矢量的候選的第2預測矢量候選列表;結合判定部(131),根據(jù)上述解碼對象塊的塊尺寸與規(guī)定閾值尺寸的比較結果,判定是否生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表;第3預測矢量候選列表生成部(133),當上述解碼對象塊的塊尺寸小于上述規(guī)定閾值尺寸時,不結合上述第2預測矢量候選列表地、基于上述第I預測矢量候選列表生成上述第3預測矢量候選列表;以及預測矢量選擇部(221),基于表示應參照的上述預測運動矢量的位置的信息,從上述第3預測矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0029]本發(fā)明的另一方案也是動圖像解碼裝置。該按多種塊尺寸進行運動補償預測的動圖像解碼裝置包括:解碼部(201),解碼出表示應參照的預測運動矢量在預測矢量候選列表中的位置的信息;第I運動矢量存儲部(207),將已解碼塊的運動矢量保存在按最小塊尺寸單位劃分出的存儲器區(qū)域中,來進行管理;第I預測矢量候選列表生成部(130),參照上述第I運動矢量存儲部(207),基于與解碼對象塊相鄰的、已解碼的I個以上的塊的運動矢量,生成包含第I預測運動矢量的候選的第I預測矢量候選列表;第2運動矢量存儲部(402),以規(guī)定的壓縮尺寸匯總已解碼圖像的最小塊尺寸單位的運動矢量,將之置換為一個代表運動矢量,并保存在按壓縮尺寸單位劃分出的存儲器區(qū)域中,來進行管理;第2預測矢量候選列表生成部(132),參照上述第2運動矢量存儲部(402),基于已解碼的圖像中的、與上述解碼對象塊同一位置的塊及相鄰于上述同一位置的塊的I個以上的塊的運動矢量,生成包含第2預測運動矢量的候選的第2預測矢量候選列表;結合判定部(131),根據(jù)上述解碼對象塊的塊尺寸與規(guī)定閾值尺寸的比較結果,判定是否生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表;第3預測矢量候選列表生成部(133),當上述解碼對象塊的塊尺寸小于上述規(guī)定閾值尺寸時,不結合上述第2預測矢量候選列表地、基于上述第I預測矢量候選列表生成上述第3預測矢量候選列表;以及預測矢量選擇部(221),基于表示應參照的上述預測運動矢量的位置的信息,從上述第3預測矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0030]本發(fā)明的另一方案是動圖像解碼方法。該按塊單位進行運動補償預測的動圖像解碼方法包括:預測運動矢量候選生成步驟,當解碼對象塊的塊尺寸大于規(guī)定閾值尺寸時,基于已解碼圖像中的塊來導出預測運動矢量候選,當上述解碼對象塊的塊尺寸在上述規(guī)定閾值尺寸以下時,不導出上述預測運動矢量候選。
[0031]本發(fā)明的另一方案也是動圖像解碼方法。該按塊單位進行運動補償預測動圖像解碼方法包括:預測運動矢量候選列表生成步驟,當解碼對象塊的塊尺寸大于規(guī)定閾值尺寸時,將基于已解碼圖像中的塊獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述解碼對象塊的塊尺寸在上述規(guī)定閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中;解碼步驟,解碼出表示應參照的預測運動矢量在上述預測運動矢量候選列表中的位置的信息;以及預測運動矢量選擇步驟,基于上述表示應參照的預測運動矢量在預測運動矢量候選列表中的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0032]本發(fā)明的另一方案也是動圖像解碼方法。該按塊單位進行運動補償預測動圖像解碼方法包括:解碼步驟,解碼出表示應參照的預測運動矢量在預測運動矢量候選列表中的位置的信息;空間預測運動矢量候選生成步驟,基于與解碼對象塊相鄰的塊導出空間預測運動矢量候選;時間預測運動矢量候選生成步驟,基于已解碼圖像中的塊導出時間預測運動矢量候選;預測運動矢量候選列表生成步驟,當表示是否利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選生成預測運動矢量候選列表,當上述利用允許信息表示不允許時,基于上述空間預測運動矢量候選生成預測運動矢量候選列表;以及預測運動矢量選擇步驟,基于上述表示預測運動矢量的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0033]此外,將以上構成要素的任意組合、本發(fā)明的表現(xiàn)形式在方法、裝置、系統(tǒng)、記錄介質、計算機程序等間變換后的實施方式,作為本發(fā)明的方案也是有效的。
[0034]〔發(fā)明效果〕
[0035]通過本發(fā)明,能提高運動矢量的預測精度和編碼效率。
【附圖說明】
[0036]圖1是說明第I實施方式的動圖像編碼裝置的結構的圖。
[0037]圖2是說明圖1的第I運動信息存儲器和第2運動信息存儲器中的運動矢量和參照圖像索引的管理方法的圖。
[0038]圖3是說明圖1的運動信息生成部的構成的圖。
[0039]圖4是說明第I候選塊群的圖。
[0040]圖5是說明第2候選塊群的圖。
[0041]圖6是說明圖3的預測矢量候選列表生成部的結構的圖。
[0042]圖7是說明第I實施方式的動圖像編碼裝置的編碼的動作的流程圖。
[0043]圖8是說明圖1的運動信息生成部的動作的流程圖。
[0044]圖9是說明圖6的預測矢量候選列表生成部的動作的流程圖。
[0045]圖10是說明圖6的第I預測矢量候選列表生成部和第2預測矢量候選列表生成部的動作的流程圖。
[0046]圖11是說明針對第I候選塊群的各方向的檢查的圖。
[0047]圖12是說明針對第2候選塊群的各方向的檢查的圖。
[0048]圖13是說明第I實施方式的動圖像解碼裝置的圖。
[0049]圖14是說明圖13的運動信息再現(xiàn)部的結構的圖。
[0050]圖15是說明第I實施方式的動圖像解碼裝置的解碼動作的流程圖。
[0051 ]圖16是說明圖14的運動信息再現(xiàn)部的動作的流程圖。
[0052]圖17是說明第I實施方式的擴展例的預測矢量候選列表生成部的結構的圖。
[0053]圖18是說明第I實施方式的擴展例的預測矢量候選列表生成部的動作的流程圖。
[0054]圖19是說明第I實施方式的擴展例的POC差的規(guī)定閾值尺寸的圖。
[0055]圖20是說明第I實施方式的擴展例的預測矢量候選列表生成部的動作的流程圖。
[0056]圖21是說明第2實施方式的動圖像編碼裝置的結構的圖。
[0057]圖22是說明圖21的運動信息壓縮部和運動信息解壓縮部所進行的運動信息壓縮和解壓縮的圖。
[0058]圖23是說明第2實施方式的SPS的句法的一部分的圖。
[0059]圖24是說明第2實施方式的動圖像編碼裝置的編碼動作的流程圖。
[0060]圖25是說明第2實施方式的預測矢量候選列表生成部的動作的流程圖。
[0061]圖26是說明第2實施方式的動圖像解碼裝置的圖。
[0062]圖27是說明第2實施方式的動圖像解碼裝置的解碼動作的流程圖。
[0063]圖28是說明預測編碼模式的圖。
[0064]圖29是說明將圖像分割成最大編碼塊的例子的圖。
[0065]圖30是說明編碼塊的圖。
[0066]圖31是說明預測塊的圖。
[0067]圖32是說明預測塊尺寸的圖。
[0068]圖33是說明預測塊的句法的一個例子的圖。
[0069]圖34是說明Truncated Unary碼序列的圖。
【具體實施方式】
[0070]首先,說明作為本發(fā)明實施方式的前提的技術。
[0071 ] 當今,遵循MPEG(Moving Picture Experts Group:運動圖像專家組)等編碼方式的裝置及系統(tǒng)正在普及。在這樣的編碼方式中,將時間軸上連續(xù)的多個圖像作為數(shù)字信號的信息來處理。此時,以高效率的信息播放、傳輸或存儲等為目的,而使用如下方法來進行壓縮編碼:利用了時間方向的冗余性的運動補償預測、和利用了空間方向的冗余性的離散余弦變換等正交變換。
[0072]在1995年,制定了 MPEG-2視頻(IS0/IEC 13818-2)編碼方式作為通用的視頻壓縮編碼方式,其作為DVD(Digital Versatile Disk:數(shù)字通用光盤)及D-VHS(注冊商標)標準的數(shù)字VTR的磁帶等存儲媒質、以及數(shù)字廣播等的應用程序而被廣泛利用。
[0073]此外,在2003年,通過國際標準化組織(ISO)和國際電工委員會(IEC)的JOINT技術委具會(IS0/IEC)、與國際電信聯(lián)盟電信標準化部門(ITU-T)的共同作業(yè),制定了被稱作10^6-4厶¥(:/!1.264的編碼方式(在150/^(:中被附加了14496-10、在11'1]-1'中被附加了!1.264的標準編號。以下將它稱作“MPEG-4AVC"。)作為國際標準。
[0074]當前,正通過國際標準化組織(ISO)和國際電工委員會(IEC)的JOINT技術委員會(IS0/IEC)、與國際電信聯(lián)盟電信標準化部門(ITU-T)的共同作業(yè)來研討被稱作HEVC的編碼方式的標準化。
[0075](預測編碼模式)
[0076]在本發(fā)明的實施方式中,可以以多種塊尺寸來切換運動補償預測的方向或編碼矢量數(shù)量。
[0077]在此,用圖28簡單說明將運動補償預測的方向與編碼矢量數(shù)量建立了關聯(lián)的預測編碼模式的一個例子。
[0078]有運動補償預測的方向是單向且編碼矢量數(shù)量為I的單向模式(UniPred)、運動補償預測的方向為雙向且編碼矢量數(shù)量為2的雙向模式(BiPred)、運動補償預測的方向為雙向且編碼矢量數(shù)量為O的時間直接模式(Temporal Direct)和空間直接模式(SpatialDierct)。還有不實施運動補償預測的預測編碼模式,即幀內(nèi)編碼預測模式(Intra)。
[0079](參照圖像索引)
[0080]本發(fā)明的實施方式中,為提高運動補償預測的精度,使得能在運動補償預測中從多個參照圖像中選擇最合適的參照圖像。因此,使運動補償預測中所使用的參照圖像成為參照圖像索引,與編碼矢量一起編碼進編碼流中。運動補償預測中所使用的參照圖像索引為O以上的數(shù)值。
[0081](編碼塊)
[0082]在本發(fā)明的實施方式中,將所被輸入的圖像信號如圖29那樣按最大編碼塊單位進行分割,將分割出的編碼塊按光柵掃描順序來處理。
[0083]編碼塊具有階層構造,能考慮編碼效率等地通過依次均勻地進行4分割,使之成為更小的編碼塊。此外,按Z形掃描(zigzag scan)順序將4分割后的編碼塊進行編碼。將無法進一步縮小的編碼塊稱作最小編碼塊。編碼塊是編碼的單位,即使是最大編碼塊,若分割數(shù)為O,則也成為編碼塊。
[0084]在本實施方式中,使得最大編碼塊為64像素X64像素、最小編碼塊為8像素X 8像素。
[0085]圖30表不最大編碼塊的分割的一個例子。在圖30的例子中,編碼塊被分割成了10個。CU0、CU1、CU9是32像素\32像素的編碼塊,0]2、0]3、0]8是16像素\16像素的編碼塊,CU4、CU5、CU6是8像素X 8像素的編碼塊。
[0086](預測塊)
[0087]在本發(fā)明的實施方式中,編碼塊被進一步分割成預測塊。將預測塊的分割方式表示在圖31中。有未分割編碼塊的2N X 2N、沿水平方向進行分割的2N X N、沿垂直方向進行分害_“21水平和垂直都進行分割的NXN。即,預測塊尺寸如圖32所示那樣,有CU分割數(shù)為0、作為最大預測塊尺寸的64像素X64像素、至CU分割數(shù)為3、作為最小預測塊尺寸的4像素X 4像素的13種預測塊尺寸。
[0088]在本發(fā)明的實施方式中,將最大編碼塊定為了64像素X64像素、最小編碼塊定為了8像素X垂直8,但不限定于該組合。此外,雖然將預測塊的分割方式定為圖31那樣,但只要進行I以上的分割即可,不限定于此。
[0089](預測矢量索引)
[0090]在HEVC中,正在研討為進一步提高預測矢量的精度,而從多個預測矢量候選中選出最合適的預測矢量,并將用于表示所選出的預測矢量的預測矢量索引進行編碼。此外,還正在研討利用其它圖像的運動矢量作為預測矢量候選。在以往的動圖像壓縮編碼中,雖然其它圖像的運動矢量曾在運動補償預測中被使用,但未曾被作為預測矢量來使用。
[0091]在本發(fā)明的實施方式中,會導入上述的預測矢量索引,還使用其它圖像的運動矢量作為預測矢量候選。
[0092](繼承方向索引)
[0093]在HEVC中,正在研討為進一步提高編碼效率,而從多個相鄰塊候選中選出最合適的相鄰塊,并對用于表示所選出的相鄰塊的繼承方向索引(合并索引)進行編碼和解碼。這是處理對象塊直接使用所選出的合并索引所表示的塊的運動信息(運動矢量、參照圖像索引及運動補償預測的方向)的方法。在該方法中,也正在研討與預測矢量索引一樣利用其它圖像的已處理的塊。
[0094](句法)
[0095]用圖33說明本實施方式的預測塊句法的一個例子。預測塊是幀內(nèi)還是幀間,是由上位的編碼塊來指定的,圖33表示預測塊是幀間時的句法。設置有繼承方向標志(merge_flag)、繼承方向索引(merge_idx)、運動補償預測的方向(bipred_flag)、參照索引(ref_idx_10和ref_idx_ll)、差分運動矢量(mvd_10[0]、mvd_10[ I ]、mvd_l I [O]、mvd_ll [ I ])、預測矢量索引(mvp_idx_10及mvp_idx_l I)。
[0096]在圖33中,在預測矢量索引的解碼(編碼)的前級,設置有用于算出預測矢量的候選數(shù)的函數(shù)NumMvpCandsO。這是因為預測矢量的候選數(shù)會根據(jù)周邊塊的狀況而針對每個預測塊有所變化。
[0097]此外,當預測矢量候選數(shù)為I時,不解碼(編碼)預測矢量索引。這是因為當預測矢量候選數(shù)為I時,即使不進行指定,也能唯一地確定。NumMvpCands()的詳細情況會在后文敘述。
[0098]此外,用圖34說明預測矢量索引的碼序列。在本實施方式中,作為預測矢量索引的碼序列,使用Truncated Unary碼序列。圖34的(a)表示預測矢量候選數(shù)量為2個時的Truncated Unary碼序列的預測矢量索引的碼序列,圖34的(b)表示預測矢量候選數(shù)量為3個時的Truncated Unary碼序列的預測矢量索引的碼序列,圖34的(c)表示預測矢量候選數(shù)量為4個時的Truncated Unary碼序列的預測矢量索引的碼序列。
[0099]基于圖34可知,即使是對同一預測矢量索引的值進行編碼,預測矢量候選數(shù)越少、分配給預測矢量索引的碼比特也越小。例如,在預測矢量索引為I時,若預測矢量候選數(shù)為2個,則是‘I’的I比特,若預測矢量候選數(shù)為3個,則是‘10’的2比特。
[0100]如上述的那樣,預測矢量候選數(shù)越少,預測矢量索引的編碼效率越提高。另一方面,預測矢量候選數(shù)會針對各預測塊分別變化,故為解碼預測矢量索引,需要預先算出預測矢量的候選數(shù)。
[0101]在以往的動圖像編碼中,僅在進行運動補償預測時進行對其它圖像的運動矢量的存儲器訪問,但在本發(fā)明的實施方式中,如上述的那樣,在算出預測矢量索引時,也需要預先算出預測矢量的候選數(shù),故向運動矢量存儲器的訪問量會較大地增加。
[0102](POC)
[0?03]在本發(fā)明的實施方式中,使用P0C(Picture Order Count:圖像順序計數(shù))作為圖像的時間信息(距離信息)JOC是表示在MPEG-4AVC中所定義的圖像的顯示順序的計數(shù)器。在圖像的顯示順序增加I時,POC也增加I。因此,能基于圖像間的POC差取得圖像間的時間差(距離)。
[0104](相鄰塊的運動矢量的特性)
[0105]一般地,處理對象塊的運動矢量與相鄰于處理對象塊的塊的運動矢量的相關度較高的情形,是在處理對象塊與相鄰于處理對象塊的塊做相同運動時、例如是處理對象塊與包含相鄰于處理對象塊的塊的區(qū)域平行移動時。
[0106](其它圖像的運動矢量的特性)
[0107]另一方面,一般來說,在時間直接模式或空間直接模式中所使用的已解碼的其它圖像上與處理對象塊處于同一位置的塊(同一位置塊)、同處理對象塊的相關度較高的情形,是在同一位置塊和處理對象塊處于靜止狀態(tài)、或同一位置塊與處理對象塊平行移動時。
[0108](小塊的運動矢量的特性)
[0109]此外,一般來說,塊的大小變小的情形,是處理對象塊的運動(運動矢量)與相鄰塊的運動(運動矢量)的相關度較低時,即認為運動較復雜,此時,處理對象塊和其它圖像的運動矢量的同一位置塊處于靜止狀態(tài)、或處理對象塊與同一位置塊平行移動著的可能性較低。
[0110]下面,詳細說明附圖和本發(fā)明的動圖像編碼裝置、動圖像編碼方法、動圖像編碼程序的優(yōu)選實施方式。此外,在附圖的說明中,針對相同要素賦予相同標號,并省略重復的說明。
[0111][第I實施方式]
[0112](動圖像編碼裝置100的結構)
[0113]圖1表示本發(fā)明的第I實施方式的動圖像編碼裝置100的結構。動圖像編碼裝置100是按實施運動補償預測的預測塊單位將動圖像信號進行編碼的裝置。編碼塊的分割、預測塊尺寸、預測編碼模式由上位的編碼控制部來決定。動圖像編碼裝置100由具有CPU(Central Processing Unit:中央處理單元)、幀存儲器、硬盤等的信息處理裝置等硬件來實現(xiàn)。動圖像編碼裝置100通過上述的構成要素的工作,來實現(xiàn)以下所說明的功能結構要素。
[0114]此外,處理對象的預測塊的位置信息、預測塊尺寸、參照圖像索引、運動補償預測的方向在動圖像編碼裝置100內(nèi)是共享的,未對其進行圖示。
[0115]本實施方式的動圖像編碼裝置100包括:預測塊圖像取得部101、減法部102、預測誤差編碼部103、碼序列生成部104、預測誤差解碼部105、運動補償部106、加法部107、運動矢量檢測部108、運動信息生成部109、幀存儲器110、第I運動信息存儲器111、及第2運動信息存儲器112。
[0116](動圖像編碼裝置100的功能)
[0117]下面,說明各部的功能。
[0118]預測塊圖像取得部101基于預測塊的位置信息和預測塊尺寸,從由端子10提供的圖像信號中取得處理對象的預測塊的圖像信號,并將預測塊的圖像信號提供給減法部102和運動矢量檢測部108。
[0119]減法部102將從預測塊圖像取得部101提供的圖像信號和從運動補償部106提供的預測信號進行減法運算,算出預測誤差信號,并將預測誤差信號提供給預測誤差編碼部103。
[0120]預測誤差編碼部103對從減法部102提供來的預測誤差信號進行量化和正交變換等處理,來生成預測誤差編碼數(shù)據(jù),并將預測誤差編碼數(shù)據(jù)提供給碼序列生成部104及預測誤差解碼部105。
[0121]碼序列生成部104將從預測誤差編碼部103提供來的預測誤差編碼數(shù)據(jù)、及從運動信息生成部109提供來的差分矢量和預測矢量索引,與運動補償預測的方向、參照索引一起按照句法進行熵編碼,生成碼序列,并將碼序列提供給端子11。
[0122]此外,在本實施方式中,如上述的那樣,對于預測矢量索引的編碼,使用了Truncated Unary碼序列,但預測矢量索引只要是預測矢量候選數(shù)越小、越能以較少的比特來編碼的碼序列即可,不限定于此。
[0123]預測誤差解碼部105對從預測誤差編碼部103提供來的預測誤差編碼數(shù)據(jù)進行反量化和逆正交變換等處理,來生成預測誤差信號,并將預測誤差信號提供給加法部107。
[0124]運動補償部106將幀存儲器110內(nèi)的參照圖像按從運動矢量檢測部108提供來的運動矢量進行運動補償,來生成預測信號。若運動補償預測的方向是雙向的,則將對各方向的預測信號進行平均后的信號作為預測信號,將預測信號提供給加法部107。
[0125]加法部107將從預測誤差解碼部105提供來的預測誤差信號和從運動補償部106提供來的預測信號相加,來生成解碼圖像信號,并將解碼圖像信號提供給幀存儲器110。
[0126]運動矢量檢測部108基于與預測塊圖像取得部101所提供的圖像信號時間上不同的圖像信號而檢測出運動矢量,并將運動矢量提供給運動補償部106。此外,若運動補償預測的方向是雙向的,則檢測出各方向的運動矢量,并將運動矢量提供給運動補償部106。
[0127]在一般的運動矢量的檢測方法中,針對從與圖像信號同一位置移動了規(guī)定的移動量后的位置的不同圖像信號算出誤差評價值,將誤差評價值最小的移動量作為運動矢量。作為誤差評價值,可以采用表示絕對誤差和的SAD(Sum of Absolute Difference)或表示均方誤差的MSE(Mean SquareError)等。
[0128]運動信息生成部109基于從運動矢量檢測部108提供的運動矢量、從第I運動信息存儲器111提供的第I候選塊群、及從第2運動信息存儲器112提供的第2候選塊群來生成差分矢量和預測矢量索引,并將差分矢量和預測矢量索引提供給碼序列生成部104。
[0129]運動信息生成部109的詳細構成會在后文敘述。
[0130]幀存儲器110保存從加法部107提供來的解碼圖像信號。此外,針對圖像整體的解碼結束后的解碼圖像,作為參照圖像而保存I以上的規(guī)定圖像數(shù),并將參照圖像信號提供給運動補償部106。保存參照圖像的保存區(qū)域以FIF0(First In First Out:先進先出)方式來控制。
[0131]第I運動信息存儲器111將從運動矢量檢測部108提供來的運動矢量和參照圖像索引按最小的預測塊尺寸單位保存I圖像量,將處理對象的預測塊的相鄰塊的信息作為第I候選塊群而提供給運動信息生成部109。此外,在圖像整體的處理結束后,第I運動信息存儲器111使所保存的運動矢量和參照圖像索引移動到第2運動信息存儲器112中。
[0132]第2運動信息存儲器112將從第I運動信息存儲器111提供來的運動矢量和參照圖像索引保存規(guī)定圖像數(shù),并將與處理對象的預測塊同一位置的ColPic上的塊和其周邊塊作為第2候選塊群而提供給運動信息生成部109。保存運動矢量和參照圖像索引的保存區(qū)域與幀存儲器110同步,被以FIF0(First In First Out)方式來控制。所謂ColPic,是指與處理對象的預測塊不同的已解碼的圖像,其被作為參照圖像而保存在幀存儲器110中。在本實施方式中,將ColPic定為之前剛解碼了的參照圖像。此外,在本實施方式中,將ColPic定為之前剛解碼了的參照圖像,但也可以定為顯示順序上的上一參照圖像或顯示順序上的下一參照圖像,或在編碼流中指定任意的參照圖像。
[0133]在此,用圖2說明第I運動信息存儲器111和第2運動信息存儲器112中的運動矢量和參照圖像索引的管理方法。運動矢量和參照圖像索引被按最小的預測塊單位保存在各存儲器區(qū)域中。圖2表示處理對象的預測塊尺寸為16像素X 16像素時的情況。在該情況下,該預測塊的運動矢量和參照圖像索引被保存于圖2的斜線部分的16個存儲器區(qū)域中。
[0134]此外,當預測編碼模式為幀內(nèi)模式時,保存(0,0)作為運動矢量,并保存-1作為參照圖像索引。此外,關于參照圖像索引-1,只要能判定為不執(zhí)行運動補償預測的模式,可以是任何值。
[0135]此后,在簡單表述為塊時,只要未特別說明,就表示最小的預測塊單位。
[0136]接下來,用圖3說明作為本實施方式的特征的運動信息生成部109的詳細結構。圖3表示運動信息生成部109的結構。
[0137]運動信息生成部109包括預測矢量候選列表生成部120和預測矢量選擇部121及減法部122。端子12連接于第I運動信息存儲器111,端子13連接于第2運動信息存儲器112,端子14連接于運動矢量檢測部108,端子15連接于碼序列生成部104。
[0138]預測矢量候選列表生成部120還同樣被設置于對由本實施方式的動圖像編碼裝置生成的碼序列進行解碼的動圖像解碼裝置,生成在動圖像編碼裝置和動圖像解碼裝置中不矛盾的預測矢量候選列表。
[0139]此外,在句法中說明的NumMvpCandsO返回由預測矢量候選列表生成部120生成的預測矢量候選列表中所包含的預測矢量候選數(shù)。
[0140]下面,說明各部的功能。
[0141]預測矢量候選列表生成部120基于從端子12提供的第I候選塊群和從端子13提供的第2候選塊群而生成預測矢量候選列表,并將預測矢量候選列表提供給預測矢量選擇部121。
[0142](候選塊群)
[0143]在此,使用圖4說明第I候選塊群。圖4表示處理對象的預測塊尺寸為16像素X16像素時的情況。如圖4所示那樣將處理對象的預測塊的相鄰塊定為處于左側的塊Al、塊A2、A3、A4、處于上方的塊B1、塊B2、塊B3、塊B4、處于右上方的塊C、處于左上方的塊D、處于左下方的塊E,并將它們定為第I候選塊群。
[0144]在本實施方式中,假定第I候選塊群是圖4中的情況,但在本發(fā)明的實施方式中,第I候選塊群只要是相鄰于處理對象的預測塊的至少I個以上的已處理的塊即可,不限定于圖
4。例如,也可以從各方向上各選I個,定為塊Al、塊C、塊D及塊B1、塊E等。
[0145]接下來,用圖5說明第2候選塊群。圖5表示處理對象的預測塊尺寸為16像素X16像素時的情況。如圖5所示那樣,將與處理對象的預測塊同一位置的、ColPic上的預測塊內(nèi)的塊和其周邊塊,定為第2候選塊群。具體來說,將以下塊定為第2候選塊群:處于與處理對象的預測塊同一位置的、ColPic上的預測塊內(nèi)的塊Il至塊116、處于左側的塊Al至塊A4、處于上方的塊BI至塊B4、處于右上方的塊C、處于左上方的塊D、處于左下方的塊E、處于右側的塊Fl至塊F4、處于下方的Gl至G4、處于右下方的H。
[0146]在本實施方式中,將第2候選塊群定為了ColPic上的塊Il至塊116、塊Al至塊A4、塊BI至塊B4、塊C、塊D、塊E、塊FI至塊F4、塊GI至塊G4、塊H,但在本發(fā)明的實施方式中,關于第2候選塊群,只要是處理對象的預測塊之外的、已解碼圖像上的至少I個以上的塊即可,不限定于上述。也可以將第2候選塊群定為I塊,例如,也可以定為僅I個塊I1、或僅I個塊H等。
[0147]預測矢量選擇部121從由預測矢量候選列表生成部120提供來的預測矢量候選列表中選出與從端子14提供的運動矢量對應的預測矢量,并將該預測矢量提供給減法部122、將表示所選出的預測矢量的信息一一預測矢量索引輸出給端子15。
[0148]減法部122將從端子14提供的運動矢量減掉從預測矢量選擇部121提供的預測矢量,來算出差分矢量,并將差分矢量提供給端子15。
[0149]圖6表示預測矢量候選列表生成部120的結構。
[0150]預測矢量候選列表生成部120包括第I預測矢量候選列表生成部130、結合判定部131、第2預測矢量候選列表生成部132、預測矢量候選列表決定部133。端子16連接于預測矢量選擇部121。
[0151]下面,說明各部的功能。
[0152]第I預測矢量候選列表生成部130基于從端子12提供的第I候選塊群,生成包含I個以上運動矢量的第I預測矢量候選列表,并將第I預測矢量候選列表提供給預測矢量候選列表決定部133。
[0153]結合判定部131基于處理對象的預測塊的預測塊尺寸導出結合判定結果,并將結合判定結果提供給預測矢量候選列表決定部133。
[0154]第2預測矢量候選列表生成部132基于從端子13提供的第2候選塊群生成包含O個以上運動矢量的第2預測矢量候選列表,并將第2預測矢量候選列表提供給預測矢量候選列表決定部133。
[0155]預測矢量候選列表決定部133基于從結合判定部131提供來的結合判定結果,根據(jù)從第I預測矢量候選列表生成部130提供的第I預測矢量候選列表和從第2預測矢量候選列表生成部132提供的第2預測矢量候選列表來決定出第3預測矢量候選列表,并將第3預測矢量候選列表提供給端子16。
[0156](動圖像編碼裝置100的動作)
[0157]接下來,用圖7的流程圖說明本實施方式的動圖像編碼裝置100中的編碼的動作。
[0158]預測塊圖像取得部101基于預測塊的位置信息和預測塊尺寸,從端子10提供的圖像信號中取得處理對象的預測塊的圖像信號(步驟S100)。
[0159]運動矢量檢測部108從預測塊圖像取得部101所提供的圖像信號和幀存儲器110所提供的參照圖像信號檢測出運動矢量(步驟S101)。
[0160]運動信息生成部109基于從運動矢量檢測部108提供的運動矢量、從第I運動信息存儲器111提供的第I候選塊群、從第2運動信息存儲器112提供的第2候選塊群,生成差分矢量和預測矢量索引(步驟S102)。
[0161]運動補償部106基于從運動矢量檢測部108提供的運動矢量,對幀存儲器110內(nèi)的參照圖像進行運動補償,生成預測信號(步驟S103)。
[0162]減法部102對從預測塊圖像取得部101提供的圖像信號和從運動補償部106提供的預測信號進行減法運算,算出預測誤差信號(步驟S104)。
[0163]預測誤差編碼部103將從減法部102提供的預測誤差信號進行量化和正交變換等處理,來生成預測誤差編碼數(shù)據(jù)(步驟S105)。
[0164]碼序列生成部104將從預測誤差編碼部103提供來的預測誤差編碼數(shù)據(jù)、及從運動信息生成部109提供的差分矢量和預測矢量索引,與運動補償預測的方向、參照索引一起,按照句法進行熵編碼,來生成碼序列(步驟S106)。
[0165]加法部107使從預測誤差解碼部105提供來的預測誤差信號和從運動補償部106提供來的預測信號相加,生成解碼圖像信號(步驟S107)。
[0166]幀存儲器110保存從加法部107提供來的解碼圖像信號(步驟S108)。
[0167]第I運動信息存儲器111將從運動矢量檢測部108提供的運動矢量按最小的預測塊尺寸單位保存I圖像的量(步驟S109)。
[0168]在圖像整體的處理結束后(步驟SllO的YES),第I運動信息存儲器207使第2運動信息存儲器208所存有的I畫面量的運動矢量移動,第2運動信息存儲器112將從第I運動信息存儲器111提供的運動矢量保存規(guī)定圖像數(shù)(步驟S111)。此外,在本實施方式中,將步驟Slll定為了圖像整體的處理結束時,但也能針對處理對象的各預測塊分別進行。
[0169]接下來,用圖8的流程圖說明運動信息生成部109的動作。
[0170]預測矢量候選列表生成部120基于從端子12提供的第I候選塊群和從端子13提供的第2候選塊群,生成預測矢量候選列表(步驟S120)。
[0171]預測矢量選擇部121從預測矢量候選列表生成部120所提供來的預測矢量候選列表中決定出與從端子14提供的運動矢量對應的預測矢量(步驟S121)。在此,說明預測矢量的決定方法。求出運動矢量與預測矢量候選列表中所包含的各預測矢量候選的水平分量和垂直分量的均方誤差和,將均方誤差和最小的預測矢量候選決定為預測矢量。這是因為能期待編碼矢量的碼量變得最小。此外,只要是能使得編碼矢量的碼量變得最小的方法即可,不限定于該方法。
[0172]減法部122將從端子14提供的運動矢量減掉從預測矢量選擇部121提供來的預測矢量,算出差分矢量(步驟S122)。
[0173]接下來,用圖9的流程圖說明預測矢量候選列表生成部120的動作。
[0174]第I預測矢量候選列表生成部130基于從端子12提供的第I候選塊群生成包含I個以上運動矢量的第I預測矢量候選列表(步驟S130)。
[0175]第2預測矢量候選列表生成部132基于從端子13提供的第2候選塊群,生成包含O個以上運動矢量的第2預測矢量候選列表(步驟S131)。
[0176]結合判定部131基于處理對象的預測塊的預測塊尺寸和規(guī)定閾值尺寸,導出結合判定結果(步驟S132)。
[0177]通過將處理對象塊的預測塊尺寸與預先規(guī)定的規(guī)定閾值尺寸進行比較來導出結合判定結果。若處理對象塊的預測塊尺寸在規(guī)定閾值尺寸以上,則將結合判定結果判定為I,除此之外判定為O。此外,由于本實施方式的結合判定是通過比較處理對象塊的預測塊尺寸與預先規(guī)定的規(guī)定閾值尺寸來進行的,故也可以若處理對象塊的預測塊尺寸大于規(guī)定閾值尺寸,則將結合判定結果判定為I,除此之外判定為O。
[0178]在本實施方式中,將預先規(guī)定的規(guī)定閾值尺寸設定為作為最大預測塊尺寸1/4的16像素X 16像素。預先規(guī)定的規(guī)定閾值尺寸不限定于此,也可以根據(jù)硬件的限制等來設定。
[0179]若從結合判定部131提供來的結合判定結果為I(步驟S132的YES),則預測矢量候選列表決定部133將從第I預測矢量候選列表生成部130提供來的第I預測矢量候選列表、和從第2預測矢量候選列表生成部132提供來的第2預測矢量候選列表結合,作為預測矢量候選列表(步驟S133)。
[0180]若從結合判定部131提供來的結合判定結果為0(步驟S132的NO),則預測矢量候選列表決定部133將從第I預測矢量候選列表生成部130提供來的第I預測矢量候選列表定為預測矢量候選列表(步驟S134)。即,若從結合判定部131提供來的結合判定結果為0,則從第2預測矢量候選列表生成部132提供來的第2預測矢量候選列表中所包含的預測矢量候選不被包含在預測矢量候選列表中。
[0181]預測矢量候選列表決定部133依次檢查預測矢量候選列表中所包含的預測矢量候選,來檢測出相同的運動矢量,并將被檢測為相同的一個預測矢量候選從預測矢量候選列表中刪除掉,以使得預測矢量候選不重復,由此更新預測矢量候選列表,刪除掉冗余的預測矢量候選(步驟S135)。
[0182]在本實施方式中,為提高預測矢量索引的編碼效率而實施了步驟S135,但也可以省略步驟SI 35。
[0183]此外,在本實施方式中,為容易進行說明,是在步驟S132之前先實施步驟S131的,但也可以先進行步驟S132,在結合判定結果為O時,也可以省略步驟S131。
[0184]接下來,用圖10的流程圖說明第I預測矢量候選列表生成部130的動作。圖10內(nèi)的第N是第I。
[0185]首先,使第I預測矢量候選列表的登記數(shù)為0,初始化第I預測矢量候選列表(步驟S140)o
[0186]然后,針對第I候選塊群,定義水平方向(方向I)和垂直方向(方向2)這兩個方向作為檢查方向,并進行以下處理(步驟S141)。用圖11說明針對第I候選塊群的各方向的檢查。
[0187]水平方向的檢查按從塊C到塊B1、塊B2、塊B3、塊B4、塊D依次進行。垂直方向的檢查按從塊E到塊Al、±^A2、±^A3、±夬八4依次進行。
[0188]然后,決定出用于檢查是否追加于第I預測矢量候選列表中的檢查個數(shù)(步驟S142)0
[0189]在本實施方式中,將沿水平方向進行檢查的最大數(shù)量定為對作為最大預測塊尺寸的一半的8個加上塊C和塊D后的10個,將沿垂直方向進行檢查的最大數(shù)量定為對作為最大預測塊尺寸的一半的8個加上塊E后的9個。但是,塊C、塊D、及塊E可能會根據(jù)處理對象的預測塊的位置而不存在。當不存在塊C、塊D及塊E時,從進行檢查的最大數(shù)量中減掉不存在的塊數(shù)。并且,當?shù)贗候選塊群中所包含的各方向候選塊數(shù)量超過進行檢查的最大數(shù)量時,將檢查個數(shù)限制在最大數(shù)量。
[0190]然后,對第I候選塊群的各方向所包含的各候選塊反復實施檢查個數(shù)次的以下處理(步驟S143)。
[0191]判定候選塊的參照索引是否非-1、即是否為幀內(nèi)模式(步驟S144)。
[0192]若候選塊不是幀內(nèi)模式(步驟S114的YES),則判定候選塊的參照索引與處理對象的預測塊的參照圖像索引是否相同(步驟S145)。
[0193]若候選塊的參照索引與處理對象的預測塊的參照圖像索引相同(步驟S145的YES),則將候選塊的運動矢量追加到第I預測矢量候選列表中(步驟S146)。
[0194]若候選塊的參照索引是_1(步驟S114的NO)、或候選塊的參照索引與處理對象預測塊的參照圖像索引不同(步驟S145的NO),則檢查下一候選塊(步驟S147)。
[0195]反復進行上述的處理,直到候選塊的參照索引與處理對象預測塊的參照圖像索引相同、或處理了各方向的檢查個數(shù)(步驟S148)。
[0196]然后,檢查第I預測矢量候選列表中的登記數(shù)是否為0(步驟S149)。
[0197]若第I預測矢量候選列表中的登記數(shù)為0(步驟S149的YES),則在第I預測矢量候選列表中追加運動矢量(O,O)(步驟SI 50)后,結束處理。
[0198]若第I預測矢量候選列表中的登記數(shù)不為0(步驟S149的NO),則結束處理。如以上那樣,被追加到第I預測矢量候選列表中的運動矢量被導出。
[0199]接下來,用圖10的流程圖來說明第2預測矢量候選列表生成部132的動作。圖10內(nèi)的第N為第2。
[0200]將對第2候選塊群的、各方向的檢查順序表示于圖12。
[0201]與第I預測矢量候選列表生成部130的動作的第I差異點在于,具有同一位置方向(方向O)作為檢查方向,并且按同一位置方向、水平方向、垂直方向的順序來實施檢查方向。同一位置方向的候選塊相當于圖12的Il至116,同一位置方向的檢查按光柵掃描順序來實施。
[0202]與第I預測矢量候選列表生成部130的動作的第2差異點在于,不實施步驟S149和步驟S150。會為將I個以上的預測矢量候選追加到第I預測矢量候選列表和第2預測矢量候選列表中的一者、或預測矢量候選列表中而進行該動作,故可以在第I預測矢量候選列表生成部130或第2預測矢量候選列表生成部132的任一者中進行,也可以在預測矢量列表決定部133中進行。
[0203]在本實施例中,為減少存儲器訪問量,將要檢查的最大數(shù)限制在了9個,但也可以不特別設限。
[0204]在本實施方式中,使處理速度優(yōu)先,在步驟S146中,假定只要候選塊的參照索引與處理對象的預測塊的參照圖像索引相同,就進行下一方向的檢查,但也可以是反復進行直到處理了各方向的檢查個數(shù)。
[0205]在本實施例中,將對第I候選塊群的、各方向的檢查方法表達為圖11,但所有方向的合計檢查數(shù)只要在I以上即可,不限定于該檢查方法。例如,也可以將方向I定為塊C、塊B1、塊D,將方向2定為僅是塊E、±夬A1。
[0206]在本實施例中,將對第2候選塊群的、各方向的檢查方法表達為圖12,但所有方向的合計檢查數(shù)只要在I以上即可,不限定于該檢查方法。例如,也可以定為僅是方向2的塊H,還可以定為是塊H和塊I這2塊。
[0207](動圖像解碼裝置200的結構)
[0208]接下來,說明本實施方式的動圖像解碼裝置。圖13表示本實施方式的動圖像解碼裝置200。動圖像解碼裝置200是對由動圖像編碼裝置100編碼的碼序列進行解碼,來生成再現(xiàn)圖像的裝置。
[0209]動圖像解碼裝置200由具備CPU(Central Processing Unit:中央處理單元)、幀存儲器、硬盤等的信息處理裝置等硬件來實現(xiàn)。動圖像解碼裝置200通過上述的構成要素的動作,來實現(xiàn)以下所說明的功能結構要素。
[0210]此外,關于解碼對象預測塊的位置信息、預測塊尺寸、參照圖像索引、運動補償預測的方向,假定在動圖像解碼裝置200內(nèi)是共享的,未進行圖示。
[0211]本實施方式的動圖像解碼裝置200由如下結構構成:碼序列解析部201、預測誤差解碼部202、加法部205、運動信息再現(xiàn)部204、運動補償部205、幀存儲器206、第I運動信息存儲器207、第2運動信息存儲器208。
[0212](動圖像解碼裝置200的功能)
[0213]下面,說明各部的功能。
[0214]碼序列解析部201對從端子20提供的碼序列進行解碼,按照句法解碼出預測誤差編碼數(shù)據(jù)、運動補償預測的方向、參照圖像索引、差分矢量、及預測矢量索引,并將預測誤差編碼數(shù)據(jù)提供給預測誤差解碼部202、將差分矢量及預測矢量索引提供給運動信息再現(xiàn)部204。
[0215]預測誤差解碼部202對從碼序列解析部201提供來的預測誤差編碼數(shù)據(jù)進行反量化和逆正交變換等處理,生成預測誤差信號,并將預測誤差信號提供給加法部203。
[0216]加法部203將從預測誤差解碼部202提供來的預測誤差信號和從運動補償部205提供來的預測信號相加,生成解碼圖像信號,并將解碼圖像信號提供給幀存儲器206。
[0217]運動信息再現(xiàn)部204基于從碼序列解析部201提供來的差分矢量和預測矢量索引、從第I運動信息存儲器207提供的第I候選塊群、以及從第2運動信息存儲器208提供的第2候選塊群,再現(xiàn)運動矢量,并將運動矢量提供給運動補償部205。
[0218]運動信息再現(xiàn)部204的詳細構成會在后文敘述。
[0219]運動補償部205對幀存儲器206內(nèi)的參照圖像按從運動信息再現(xiàn)部204提供來的運動矢量進行運動補償,來生成預測信號。若運動補償預測的方向為雙向,則將使各方向的預測信號平均后的信號作為預測信號而提供給加法部203。
[0220]幀存儲器206、第I運動信息存儲器207、第2運動信息存儲器208分別具備與幀存儲器110、第I運動信息存儲器111、第2運動信息存儲器112—樣的功能。
[0221]接下來,用圖14說明作為本實施方式的特征的運動信息再現(xiàn)部204的詳細結構。圖14表示運動信息再現(xiàn)部204的結構。
[0222]運動信息再現(xiàn)部204包括預測矢量候選列表生成部220和預測矢量決定部221、及加法部222。端子22連接于第I運動信息存儲器207,端子23連接于第2運動信息存儲器208,端子24連接于碼序列解析部201,端子25連接于運動補償部205。
[0223]下面,說明各部的功能。
[0224]預測矢量候選列表生成部220具備與預測矢量候選列表生成部120—樣的功能。
[0225]預測矢量決定部221基于從預測矢量候選列表生成部220提供來的預測矢量候選列表和從端子24提供的預測矢量索引,決定預測矢量,并提供給加法部222。
[0226]加法部222將從端子24提供來的差分矢量和從預測矢量決定部221提供來的預測矢量相加,算出運動矢量,并將運動矢量提供給端子25。
[0227](解碼裝置的動作)
[0228]接下來,用圖15的流程圖說明本實施方式的動圖像解碼裝置200中的解碼動作。
[0229]碼序列解析部201對從端子20提供的碼序列進行解碼,按照句法解碼出預測誤差編碼數(shù)據(jù)、運動補償預測的方向、參照圖像索引、差分矢量、及預測矢量索引(步驟S200)。
[0230]運動信息再現(xiàn)部204基于從碼序列解析部201提供來的差分矢量和預測矢量索引、從第I運動信息存儲器207提供的第I候選塊群、從第2運動信息存儲器208提供的第2候選塊群,來再現(xiàn)運動矢量(步驟S201)。
[0231]運動補償部205基于從運動信息再現(xiàn)部204提供來的運動矢量,對幀存儲器206內(nèi)的參照圖像進行運動補償,來生成預測信號(步驟S202)。
[0232]預測誤差解碼部202對從碼序列解析部201提供來的預測誤差編碼數(shù)據(jù)進行反量化和逆正交變換等處理,來生成預測誤差信號(步驟S203)。
[0233]加法部203將從預測誤差解碼部202提供來的預測誤差信號和從運動補償部205提供來的預測信號相加,來生成解碼圖像信號(步驟S204)。
[0234]幀存儲器206保存從加法部203提供來的解碼圖像信號(步驟S206)。
[0235]第I運動信息存儲器207將從運動信息再現(xiàn)部204提供的運動矢量按最小的預測塊尺寸單位保存I圖像的量(步驟S207)。
[0236]在圖像整體的處理結束后(步驟S208的YES),第I運動信息存儲器207使第2運動信息存儲器208中所存有的I畫面量的運動矢量移動,第2運動信息存儲器208將從第I運動信息存儲器207提供來的運動矢量保存規(guī)定圖像數(shù)(步驟S209)。
[0237]接下來,用圖16的流程圖說明運動信息再現(xiàn)部204的動作。
[0238]預測矢量候選列表生成部220基于從端子22提供的第I候選塊群和從端子23提供的第2候選塊群生成預測矢量候選列表(步驟S220)。
[0239]預測矢量決定部221判定從預測矢量候選列表生成部220提供的預測矢量候選列表中的預測矢量候選數(shù)是否大于I (步驟S221)。
[0240]若預測矢量候選數(shù)大于1(步驟S221的YES),則預測矢量決定部221取得從碼序列解析部201提供的預測矢量索引(步驟S222)。然后,從預測矢量候選列表中選擇預測矢量索引所表示的預測矢量候選作為預測矢量(步驟S223)。
[0241]若預測矢量候選數(shù)為1(步驟S221的NO),則預測矢量決定部221選擇預測矢量候選列表中所包含的唯一的預測矢量候選作為預測矢量(步驟S224)。
[0242]加法部222將從端子24提供的差分矢量和從預測矢量決定部221提供的預測矢量相加,來算出運動矢量(步驟S225)。
[0243](第I實施方式的擴展例)
[0244]此外,本實施方式能如以下那樣擴展。
[0245](規(guī)定閾值尺寸)
[0246]在本實施方式中,將預先規(guī)定的規(guī)定閾值尺寸設定為了作為最大預測塊尺寸的I/4的16像素X 16像素,但規(guī)定閾值尺寸只要在最小預測塊尺寸以上、且在最大預測塊尺寸以下即可,例如也可以是32X16或4X8等非對稱塊。此外,當規(guī)定閾值尺寸是最大預測塊尺寸時,可以使在所有預測塊尺寸下結合判定結果為O。在該情況下,所有預測塊尺寸下結合判定結果為0,故結果上第2預測矢量候選列表中所包含的ColPic上的運動矢量不會被作為預測矢量來利用。
[0247]此外,在本實施方式中,預先定義了規(guī)定閾值尺寸,但也能通過將規(guī)定閾值尺寸編碼在碼序列中,然后進行解碼,來在編碼裝置中根據(jù)動圖像的特性等適應性地進行設定。例如,能適應性地進行設定,使得畫面尺寸越大,閾值尺寸就越大,或運動越大,閾值尺寸越大。
[0248]在此,雖然使得將規(guī)定閾值尺寸編碼在碼序列中,然后進行解碼,但只要編碼側和解碼側中能共享規(guī)定閾值尺寸即可,不限定于此。例如,能通過如下方式來實現(xiàn),即,將表示固定的規(guī)定閾值尺寸(4X4、8X8等)的標志編碼在碼序列中,然后進行解碼,在編碼側和解碼側中,若表示規(guī)定閾值尺寸的標志為0,則設定固定的規(guī)定閾值尺寸,若表示規(guī)定閾值尺寸的標志為I,則不設定規(guī)定閾值尺寸。此外,在不設定規(guī)定閾值尺寸時,可以結合第I預測矢量候選列表和第2預測矢量候選列表,來生成預測矢量候選列表。
[0249]此外,將規(guī)定閾值尺寸設定成最大的預測塊尺寸,根據(jù)動圖像的特性等適應性地進行設定這一事情還能通過如下方式來實現(xiàn),即,按每序列或每圖片來將表示規(guī)定閾值尺寸是最大預測塊尺寸的信息(以下稱作時間候選利用標志)編碼在碼序列中,若時間候選利用標志為O,則使得在編碼側和解碼側不將第2預測矢量候選列表中所包含的ColPic上的運動矢量作為預測矢量來利用,若時間候選利用標志為I,則在編碼側和解碼側,將第2預測矢量候選列表中所包含的ColPic上的運動矢量作為預測矢量來利用。
[0250]此外,在如無線傳輸?shù)饶菢尤菀桩a(chǎn)生傳輸錯誤(error)等時,通過將規(guī)定閾值尺寸設定為最大的預測塊尺寸、并總是使得不將第2預測矢量候選列表中所包含的ColPic上的運動矢量作為預測矢量來利用,使得即使ColPic損失,也能取得預測運動矢量,能避免無法解碼編碼流這樣的嚴重的錯誤。
[0251](距離依賴)
[0252]在本實施方式中,預先定義了規(guī)定閾值尺寸,但也可以根據(jù)處理對象預測塊所存在的處理對象圖像與第2候選塊群所存在的其它已解碼圖像的距離(時間差),進行控制使得圖像間的距離越大,上述規(guī)定閾值尺寸越大。這是基于圖像間的距離越大、圖像間的運動信息的相關性越減小而進行的。
[0253]將此時的預測矢量候選列表生成部120的結構和動作分別表示為了圖17和圖18。在本實施方式的擴展例的預測矢量候選列表生成部120中,結合判定部131上連接有端子17及端子18。端子17提供處理對象圖像的時間信息,端子18提供其它已解碼圖像的時間信息。結合判定部131根據(jù)從端子17提供的處理對象圖像的時間信息和從端子18提供的其它已解碼圖像的時間信息來設定規(guī)定閾值尺寸,以使得圖像間的距離越大,上述規(guī)定閾值尺寸越大(步驟S136)。在本實施例中,采用POC作為時間信息。在圖19中表示了控制使得POC差越大、規(guī)定閾值尺寸越大的一個例子。此外,還能使得若POC差在規(guī)定值以上,則使規(guī)定閾值尺寸總是為最大的預測塊尺寸來進行作用。
[0254](預測矢量的優(yōu)先級)
[0255]在本實施方式中,定為若結合判定結果為I,則結合第I預測矢量候選列表和第2預測矢量候選列表,來生成預測矢量候選列表。一般來說,當包含處理對象的預測塊尺寸在內(nèi)的周邊區(qū)域平行移動或靜止時、即處理對象的預測塊尺寸較大時,不同于處理對象預測塊的其它圖像的運動矢量會成為有效,故能使第2預測矢量候選列表優(yōu)先,之后再追加第I預測矢量候選列表。在結合了第I預測矢量候選列表和第2預測矢量候選列表的預測矢量候選列表中,越處于優(yōu)先的位置,越對索引分配較短碼長的碼來進行編碼,故能提高索引的編碼效率。
[0256]此外,在本實施方式中,定為了若結合判定結果為I,則結合第I預測矢量候選列表和第2預測矢量候選列表來生成預測矢量候選列表,若結合判定結果為O,則基于第I預測矢量候選列表來生成預測矢量候選列表。根據(jù)本實施方式,只要在處理對象塊在規(guī)定閾值尺寸以上時使其它已解碼的圖像的運動矢量優(yōu)先即可,而若結合判定結果為I,則能依次結合第2預測矢量候選列表和第I預測矢量候選列表來生成預測矢量候選列表,若結合判定結果為O,則能依次結合第I預測矢量候選列表和第2預測矢量候選列表來生成預測矢量候選列表。
[0257]圖20表示說明本實施方式擴展例的預測矢量候選列表生成部120的動作的流程圖。與第I實施方式的差異在于,取代步驟S133,而是依次結合第2預測矢量候選列表和第I預測矢量候選列表,使之成為預測矢量候選列表(步驟S136),并取代步驟S134,而是依次結合第I預測矢量候選列表和第2預測矢量候選列表,使之成為預測矢量候選列表(步驟S136)。
[0258](編碼控制)
[0259]在本實施方式中,定為若結合判定結果為I,則結合第I預測矢量候選列表和第2預測矢量候選列表,來生成預測矢量候選列表,若結合判定結果為O,則僅基于第I預測矢量候選列表生成預測矢量候選列表。這是為了通過在編碼和解碼中定義共同動作,來減少預測矢量索引的碼量而進行的處理。
[0260]若僅以減少運算量為目的,則還可以進行控制,使得無論結合判定結果如何,都結合第I預測矢量候選列表和第2預測矢量候選列表,來生成預測矢量候選列表,在編碼裝置中選擇預測矢量索引時,若結合判定結果為0,則不將第2預測矢量候選列表中所包含的運動矢量選為預測矢量。此時的動圖像編碼裝置具有以下那樣的特征。
[0261]提供一種以多種塊尺寸進行運動補償預測的動圖像編碼裝置,其包括:
[0262]第I預測矢量候選列表生成部,基于相鄰于編碼對象塊的、已編碼的I個以上的塊的運動矢量,來生成包含第I預測運動矢量的候選的第I預測矢量候選列表,
[0263]第2預測矢量候選列表生成部,基于已編碼圖像中的、與上述編碼對象塊處于同一位置的塊及相鄰于上述同一位置的塊的I個以上塊的運動矢量,來生成包含第2預測運動矢量的候選的第2預測矢量候選列表,
[0264]第3預測矢量候選列表生成部,生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表,
[0265]結合判定部,根據(jù)上述編碼對象塊的塊尺寸與規(guī)定的閾值尺寸的比較結果,判定是否使用上述第2預測矢量候選列表,
[0266]預測矢量選擇部,當上述編碼對象塊的塊尺寸小于上述規(guī)定的閾值尺寸時,不以上述第3預測矢量候選列表中的上述第2預測矢量候選列表為選擇對象,而是從上述第3預測矢量候選列表中的上述第I預測矢量候選列表中選出預測運動矢量,以及
[0267]編碼部,對表示上述所選出的預測運動矢量在上述第3預測矢量候選列表中的位置的信息進行編碼。
[0268](候選列表的生成的擴展)
[0269]在本實施方式中,以候選列表的生成對象為運動矢量,說明了預測矢量索引的編碼及解碼。根據(jù)本實施方式,候選列表的生成對象不限定于運動矢量,只要是如下方法即可:基于相鄰于處理對象塊的已處理塊的信息生成第I候選列表,并基于相鄰于與已處理圖像的處理對象塊處于同一位置的塊的信息生成第2候選列表,生成基于第I候選列表和第2候選列表而生成的第3候選列表,從第3候選列表中決定出要編碼及解碼的索引。例如,本實施方式能適用于表示繼承運動信息的方向的繼承方向索引(合并索引:merge index)。
[0270]在該情況下,在第I候選列表、第2候選列表、第3候選列表中,除運動矢量外參照圖像索引和運動補償預測的方向也被同樣地管理,采用運動矢量作為由繼承方向索引表示的塊的運動信息,采用參照圖像索引及運動補償預測的方向作為處理對象塊的運動信息。即,本實施方式所說明的預測矢量直接被作為運動矢量來使用。此外,句法中所說明的NumMergeCandsO與NumMvpCands()—樣,返回候選列表中所包含的候選數(shù)。此外,關于繼承方向索引的碼序列,與預測矢量索引的碼序列一樣采用Truncated Unary碼序列。
[0271](第I實施方式的效果)
[0272]如以上那樣,當包含處理對象的預測塊尺寸在內(nèi)的周邊區(qū)域正平行移動或靜止的可能性較低時、即處理對象的預測塊尺寸較小時,進行控制使得不將處理對象預測塊之外的圖像的運動矢量加入到預測運動矢量候選中,由此減少預測矢量候選數(shù),能減少預測矢量索引的碼量,能實現(xiàn)抑制運動補償預測效率的下降的動圖像編碼裝置。另一方面,當處理對象的預測塊尺寸較大時,通過將處理對象預測塊之外的圖像的運動矢量加入到預測運動矢量候選中,能提高預測矢量的精度。
[0273]通過預測矢量候選數(shù)的減少,還具有抑制對運動矢量存儲器的訪問量,減少處理量的效果。例如,在其它圖像的運動矢量存在于外部存儲器等時,抑制對運動矢量存儲器的訪問量的效果較好。
[0274]此外,在處理對象預測塊所存在的處理對象圖像與第2候選塊群所存在的對象處理圖像之外的已解碼的圖像的距離(時間差)變大、即運動信息的相關度變得較小時,進行控制使得不將其它圖像的運動矢量加入到預測運動矢量候選中,由此能實現(xiàn)與上述一樣的效果。
[0275]畫面尺寸越大,以上那樣的效果越明顯。
[0276][第2實施方式]
[0277]圖21表示本發(fā)明的第2實施方式的動圖像編碼裝置300的結構。除端子30的設定、運動信息壓縮部301、第2運動信息存儲器302、運動信息解壓縮部303、及運動信息生成部109外,本發(fā)明的第2實施方式的動圖像編碼裝置300的結構與第I實施方式的動圖像編碼裝置100的結構一樣。
[0278]下面,說明本實施方式中的端子30的設定和運動信息壓縮部301、第2運動信息存儲器302、運動信息解壓縮部303、運動信息生成部109的功能與第I實施方式的差異。
[0279]從端子30提供運動信息存儲器壓縮率α和時間矢量利用限制級別β,運動信息存儲器壓縮率α被提供給運動信息生成部109、運動信息壓縮部301、及運動信息解壓縮部303,時間矢量利用限制級別β被提供給運動信息生成部109。
[0280]運動信息壓縮部301基于運動信息存儲器壓縮率α,將從第I運動信息存儲器111提供的運動矢量和參照圖像索引壓縮到1/2°的存儲器區(qū)域中,并提供給第2運動信息存儲器302。
[0281]第2運動信息存儲器302具備第I實施方式的第2運動信息存儲器112的1/2α的存儲器容量,將從運動信息壓縮部301提供來的運動矢量和參照圖像索引保存規(guī)定圖像數(shù)。
[0282]運動信息解壓縮部303基于運動信息存儲器壓縮率α來解壓縮從第2運動信息存儲器302提供的運動矢量和參照圖像索引,提供給運動信息生成部109。
[0283]說明運動信息存儲器壓縮率α。運動信息存儲器壓縮率α是為減小第2運動信息存儲器302的存儲器容量而設定的,將在水平、垂直方向上分別為2°尺寸(稱作“壓縮尺寸”)的運動信息的存儲器區(qū)域壓縮為一個存儲器區(qū)域。此時,將2°尺寸的存儲器區(qū)域中所存有的運動信息進行匯總,將之置換為一個代表值,將代表值存儲在被壓縮成1/2°的、被按塊尺寸單位分配的存儲器區(qū)域中。例如,2°尺寸的存儲器區(qū)域中所存有的運動矢量通過求取平均值等而被置換成一個代表運動矢量、并被存儲在被壓縮成1/2°的存儲器區(qū)域中。在本實施方式中,將α定為5。
[0284]用圖22說明運動信息的壓縮和解壓縮。圖22的(a)表示壓縮前的第I運動信息存儲器111中的存儲器區(qū)域O至存儲器區(qū)域63的64個存儲器區(qū)域。在本實施例中,將64個存儲器區(qū)域的代表值定為存儲器區(qū)域O中所存的值。圖22的(b)表示壓縮后的第2運動信息存儲器302的I個存儲器區(qū)域中保存有第I運動信息存儲器111中的存儲器區(qū)域O的值的情況。圖22的(c)表示將第2運動信息存儲器302的I個存儲器區(qū)域的值復制并保存在被提供給解壓縮后的運動信息生成部109的64個存儲器區(qū)域中的情況。
[0285]在本實施方式中,將運動信息存儲器壓縮率α定為了5,但運動信息存儲器壓縮率α也可以在O以上。此外,將存儲器區(qū)域的代表值定為了存儲器區(qū)域0,但也可以定為處于中央處的存儲器區(qū)域27或其相鄰塊區(qū)域,也可以是存儲器區(qū)域O至存儲器區(qū)域63的平均值或中值。
[0286]運動信息生成部109被提供運動信息存儲器壓縮率α和時間矢量利用限制級別β,僅預測矢量候選列表生成部120內(nèi)的結合判定部131的功能與第I實施方式不同。
[0287]下面,說明結合判定部131。本實施例中的結合判定結果的導出與第I實施方式的結合判定結果的導出相比,等于是將作為基準值的規(guī)定閾值尺寸置換為以下允許結合尺寸。
[0288]本實施例中的結合判定結果的導出,是通過將處理對象塊的預測塊尺寸與基于運動信息存儲器壓縮率α和時間矢量利用限制級別β而導出的允許結合尺寸相比較而進行的。若處理對象塊的預測塊尺寸在由運動信息存儲器壓縮率α和時間矢量利用限制級別β所決定的允許結合尺寸以上,則使結合判定結果為I,除此之外使之為O。
[0289]設允許結合尺寸在水平方向、垂直方向上都為2α—β(β彡α)。若設為β= 0,則允許結合尺寸等同于由運動信息存儲器壓縮率所決定的存儲器區(qū)域尺寸(即上述的壓縮尺寸),若設為β = α,則允許結合尺寸為I,故允許所有預測塊尺寸結合。在本實施方式中,定為β = 0。即,允許結合尺寸為32像素X 32像素。
[0290]在本實施方式的動圖像編碼裝置100中,在上位的SPS中,按照圖23的句法來編碼運動信息存儲器壓縮率α和時間矢量利用限制級別β,使之成為碼序列。在圖23的句法中,將運動信息存儲器壓縮率(:1(11^_(3011^^688;[011_以1:;[0)和時間矢量利用限制級別P(temporal_mv_restrict_idc)設定于SPS(Sequence Parameter Set:序列參數(shù)集)的一部分,但也可以設置于比SPS更下位階層的PPS(Picture Parameter Set:圖像參數(shù)集)或條首部(Sliceheader)等。此外,關于運動信息存儲器壓縮率α和時間矢量利用限制級別β,只要能導出存儲器區(qū)域尺寸和允許結合尺寸即可,不限定于圖23的形式。例如,能用圖32所表示的CU分割數(shù)來表示運動信息存儲器壓縮率d和時間矢量利用限制級別β。也能針對水平方向和垂直方向分別設定運動信息存儲器壓縮率α和時間矢量利用限制級別β。
[0291](編碼裝置的動作)
[0292]接下來,用圖24的流程圖說明本實施方式的動圖像編碼裝置300中的編碼動作。針對與第I實施方式的差異進行說明。
[0293]首先,在上位的SPS中,運動信息存儲器壓縮率α和時間矢量利用限制級別β被編碼。
[0294]然后,在所有預測塊的處理結束后(步驟SllO的YES),運動信息壓縮部301基于運動信息存儲器壓縮率α,將從第I運動信息存儲器111提供的運動矢量和參照圖像索引壓縮在I/2α的存儲器區(qū)域中(步驟S300)。
[0295]此外,在步驟SlOl后,運動信息解壓縮部303基于運動信息存儲器壓縮率α解壓縮從第2運動信息存儲器302提供的運動矢量和參照圖像索引,并提供給運動信息生成部109(步驟 S301)。
[0296]接下來,針對本實施方式的預測矢量候選列表生成部120內(nèi)的結合判定部131的動作,用圖25的流程圖說明其與第I實施方式的差異點。圖25表示預測矢量候選列表生成部120的動作。
[0297]首先,結合判定部131根據(jù)運動信息存儲器壓縮率α和時間矢量利用限制級別β導出允許結合尺寸(步驟S330)。
[0298]結合判定部131基于處理對象預測塊的預測塊尺寸和允許結合尺寸,導出結合判定結果(步驟SI 32)。
[0299](解碼裝置的結構和功能)
[0300]接下來,說明本實施方式的動圖像解碼裝置。圖26表示本實施方式的動圖像解碼裝置400。動圖像解碼裝置400是將由動圖像編碼裝置300編碼了的碼序列解碼而生成再現(xiàn)圖像的裝置。
[0301]除運動信息壓縮部401、第2運動信息存儲器402、運動信息解壓縮部403、運動信息再現(xiàn)部204外,本發(fā)明的第2實施方式的動圖像解碼裝置400的結構與第I實施方式的動圖像解碼裝置200的結構一樣。
[0302]下面,說明本實施方式中的運動信息壓縮部401、第2運動信息存儲器402、運動信息解壓縮部403、運動信息再現(xiàn)部204的功能與第I實施方式的差異。
[0303]在本實施方式的動圖像解碼裝置400中,在上位的SPS中,按照圖23的句法將運動信息存儲器壓縮率α和時間矢量利用限制級別β從碼序列中解碼出來,并從端子40提供。由端子40將運動信息存儲器壓縮率α提供給運動信息壓縮部401、運動信息解壓縮部403、運動信息再現(xiàn)部204,將時間矢量利用限制級別β提供給運動信息再現(xiàn)部204。
[0304]運動信息壓縮部401、第2運動信息存儲器402、運動信息解壓縮部403的功能與本實施例的動圖像編碼裝置300的運動信息壓縮部301、第2運動信息存儲器302、運動信息解壓縮部303—樣。
[0305]運動信息再現(xiàn)部204被提供運動信息存儲器壓縮率α和時間矢量利用限制級別β,僅預測矢量候選列表生成部120內(nèi)的結合判定部131的功能不同。預測矢量候選列表生成部120內(nèi)的結合判定部131的功能與本實施例的動圖像編碼裝置300—樣。
[0306](解碼裝置的動作)
[0307]接下來,用圖27的流程圖說明本實施方式的動圖像解碼裝置400中的解碼動作。針對與第I實施方式的差異進行說明。
[0308]首先,在上位的SPS中,運動信息存儲器壓縮率α和時間矢量利用限制級別β被解碼。
[0309]然后,在所有預測塊的處理結束后(步驟S205的YES),運動信息壓縮部401基于運動信息存儲器壓縮率α,將從第I運動信息存儲器207提供的運動矢量和參照圖像索引壓縮在I/2α的存儲器區(qū)域中(步驟S400)。
[0310]此外,在步驟S201前,運動信息解壓縮部403基于運動信息存儲器壓縮率α將從第2運動信息存儲器402提供的運動矢量和參照圖像索引解壓縮,并提供給運動信息再現(xiàn)部204(步驟 S401)。
[0311](第2實施方式的變形例)
[0312]此外,本實施方式能適用以下變形例。
[0313]在本實施方式中,是在運動信息解壓縮部中對第2運動信息存儲器所保存的、被壓縮了的運動矢量和參照索引進行解壓縮,并將解壓縮后的運動矢量和參照索引提供給運動信息生成部和運動信息再現(xiàn)部的,但不對被壓縮了的運動矢量和參照索引進行壓縮或解壓縮也一樣能實施本實施方式。
[0314]例如,取代運動信息解壓縮部而設置存儲器地址變換部,通過將在被解壓縮了的存儲器區(qū)域中參照的存儲器地址變換為被壓縮了的存儲器區(qū)域的存儲器地址,能不進行解壓縮地訪問運動信息。
[0315]例如,在如圖22那樣將水平8塊、垂直8塊的64個存儲器區(qū)域的代表值定為存儲器區(qū)域O所保存的值時,將在被解壓縮了的存儲器區(qū)域中所參照的存儲器地址的水平位置和垂直位置分別記為blkX、blkY、將被壓縮了的存儲器區(qū)域的存儲器地址的水平位置和垂直位置分別記為rblkX、rblkY時,能通過式I和式2來算出。在此,設Floor函數(shù)為對輸入值進行舍小數(shù)取整數(shù)的函數(shù)。
[0316]rblkX=Floor(blkX*8);(式I)
[0317]rblkY=Floor(blkY*8);(式2)
[0318]此外,通過省略掉運動信息壓縮部301,并取代運動信息解壓縮部而設置存儲器地址變換部,將所要參照的存儲器地址變換成存儲有運動信息的代表值的存儲器地址,也能實現(xiàn)。例如,在如圖22那樣將水平8塊、垂直8塊的64個存儲器區(qū)域的代表值定為了存儲器區(qū)域O中所存儲的值時,在將所要參照的存儲器地址的水平位置和垂直位置分別記為blkX、blkY,將存儲有代表值的存儲器地址的水平位置垂直位置分別記為rblkX、rblkY,則能通過式3和式4來算出。
[0319]rblkX=Floor(blkX/8)*8;(式3)
[0320]rblkY=Floor(blkY/8)*8;(式4)
[0321]通過進行存儲器地址變換,無法減少存儲器容量,但能減少進行壓縮和解壓縮的處理。
[0322](第2實施方式的效果)
[0323]如以上那樣,當處理對象的預測塊尺寸較小時,進行控制使得不將被壓縮了的其它圖像的運動矢量加入到預測運動矢量候選中,由此能實現(xiàn)如下這樣的動圖像編碼裝置:限制與本來的運動信息不同的運動信息的使用、抑制運動補償預測的精度的下降的同時,減少運算量,減少預測矢量候選數(shù),減少預測矢量索引的碼量。
[0324]此外,例如還有在被壓縮了的其它圖像的運動矢量存在于外部存儲器等中時,抑制對運動矢量存儲器的訪問量的效果。
[0325]此外,在對表示限制作為預測矢量而采用其它圖像的運動矢量的條件的信息解碼時,還一并解碼運動信息存儲器壓縮率的定義,由此能在其它圖像的運動矢量的利用被限制了時,促進運動信息存儲器的壓縮,實現(xiàn)高效的運動信息存儲器的利用。此外,通過共用標志,在更低位階層內(nèi)、在其它圖像的運動矢量的利用的限制和運動信息存儲器壓縮率的定義中,能抑制標志的碼量的增加。
[0326]以上所述的實施方式的動圖像編碼裝置所輸出的動圖像的編碼流具有特定的數(shù)據(jù)格式,以使得能根據(jù)實施方式中所使用的編碼方法來進行解碼,與動圖像編碼裝置對應的動圖像解碼裝置能解碼該特定的數(shù)據(jù)格式的編碼流。
[0327]當為在動圖像編碼裝置與動圖像解碼裝置之間交換編碼流而使用有線或無線網(wǎng)絡時,可以將編碼流變換為適合于通信路徑的傳輸方式的數(shù)據(jù)形式來傳輸。此時,要設置如下裝置:動圖像發(fā)送裝置,將動圖像編碼裝置所輸出的編碼流變換為適合于通信路徑的傳輸方式的數(shù)據(jù)形式的編碼數(shù)據(jù)后發(fā)送到網(wǎng)絡;以及動圖像接收裝置,從網(wǎng)絡接收編碼數(shù)據(jù)后還原成編碼流,將之提供給動圖像解碼裝置。
[0328]動圖像發(fā)送裝置包括:存儲器,緩沖動圖像編碼裝置所輸出的編碼流;包處理部,將編碼流打包;以及發(fā)送部,將打包后的編碼數(shù)據(jù)介由網(wǎng)絡進行發(fā)送。動圖像接收裝置包括:接收部,介由網(wǎng)絡接收被打包了的編碼數(shù)據(jù);存儲器,緩沖所接收到的編碼數(shù)據(jù);以及包處理部,將編碼數(shù)據(jù)進行包處理來生成編碼流,提供給動圖像解碼裝置。
[0329]以上的關于編碼及解碼的處理當然能以使用了硬件的傳輸、存儲、接收裝置的方式來實現(xiàn),也能由ROM (只讀存儲器)或閃存存儲器等中所存儲的固件、計算機等的軟件來實現(xiàn)。可以將該固件程序、軟件程序記錄在計算機等可讀取的記錄介質中來提供,也可以通過有線或無線網(wǎng)絡由服務器來提供,還可以作為地面波或衛(wèi)星數(shù)字廣播的數(shù)據(jù)廣播來提供。
[0330]以上基于實施方式對本發(fā)明進行了說明。本領域技術人員當理解實施方式為例示,其各構成要素和各處理過程的組合可以有各種變形例,且該變形例同樣包含在本發(fā)明的范圍內(nèi)。
[0331]本發(fā)明可以由以下方案構成。
[0332]〔項目I〕
[0333]—種動圖像編碼裝置,該動圖像編碼裝置按塊單位進行運動補償預測,其特征在于,包括:
[0334]預測運動矢量候選生成部,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,基于已編碼圖像中的塊導出預測運動矢量候選,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不導出上述預測運動矢量候選。
[0335]〔項目2〕
[0336]—種動圖像編碼裝置,該動圖像編碼裝置按塊單位進行運動補償預測,其特征在于,包括:
[0337]預測運動矢量候選列表生成部,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將基于已編碼圖像中的塊而獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中,
[0338]預測運動矢量選擇部,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量,以及
[0339]編碼部,對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0340]〔項目3〕
[0341]如項目I或2所述的動圖像編碼裝置,其特征在于,
[0342]上述已編碼圖像中的塊是與上述編碼對象塊同一位置的塊或處于上述同一位置的塊周邊的塊。
[0343]〔項目4〕
[0344]如項目I至3的任意一項所述的動圖像編碼裝置,其特征在于,
[0345]上述編碼部對表示上述規(guī)定的閾值尺寸的信息進行編碼。
[0346]〔項目5〕
[0347]如項目I至4的任意一項所述的動圖像編碼裝置,其特征在于,
[0348]針對各規(guī)定區(qū)域,分別將上述已編碼圖像的中的塊的運動矢量設定為規(guī)定區(qū)域內(nèi)的任意I個塊的運動矢量。
[0349]〔項目6〕
[0350]如項目5所述的動圖像編碼裝置,其特征在于,
[0351]上述規(guī)定的閾值尺寸被設定得小于上述規(guī)定區(qū)域。
[0352]〔項目7〕
[0353]如項目I至6的任意一項所述的動圖像編碼裝置,其特征在于,
[0354]進行控制使得包含上述編碼對象塊的圖像與上述已編碼圖像的時間差變長時,上述規(guī)定的閾值尺寸變大。
[0355]〔項目8〕
[0356]—種動圖像編碼裝置,該動圖像編碼裝置按塊單位進行運動補償預測,其特征在于,包括:
[0357]空間預測運動矢量候選生成部,基于與編碼對象塊相鄰的塊導出空間預測運動矢量候選,
[0358]時間預測運動矢量候選生成部,基于已編碼圖像中的塊導出時間預測運動矢量候選,
[0359]預測運動矢量候選列表生成部,當表示是否允許利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選生成預測運動矢量候選列表,當上述允許利用信息表示不允許時,基于上述空間預測運動矢量候選生成預測運動矢量候選列表,
[0360]預測運動矢量選擇部,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量,以及
[0361]編碼部,對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0362]〔項目9〕
[0363]如項目8所述的動圖像編碼裝置,其特征在于,
[0364]上述已編碼圖像中的塊是與上述編碼對象塊同一位置的塊或處于上述同一位置的塊周邊的塊。
[0365]〔項目10〕
[0366]如項目8或9所述的動圖像編碼裝置,其特征在于,
[0367]上述編碼部對上述允許利用信息進行編碼。
[0368]〔項目11〕
[0369]如項目8至10的任意一項所述的動圖像編碼裝置,其特征在于,
[0370]針對各規(guī)定區(qū)域,分別將上述已編碼圖像的中的塊的運動矢量設定為規(guī)定區(qū)域內(nèi)的任意I個塊的運動矢量。
[0371]〔項目12〕
[0372]—種動圖像編碼裝置,該動圖像編碼裝置按多種塊尺寸進行運動補償預測,其特征在于,包括:
[0373]第I預測矢量候選列表生成部,基于與編碼對象塊相鄰的已編碼的I個以上塊的運動矢量,生成包含第I預測運動矢量的候選的第I預測矢量候選列表,
[0374]第2預測矢量候選列表生成部,基于已編碼的圖像中的、與上述編碼對象塊同一位置的塊及相鄰于上述同一位置的塊的I個以上的塊的運動矢量,生成包含第2預測運動矢量候選的第2預測矢量候選列表,
[0375]結合判定部,根據(jù)上述編碼對象塊的塊尺寸與規(guī)定的閾值尺寸的比較結果,判定是否生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表,
[0376]第3預測矢量候選列表生成部,當上述編碼對象塊的塊尺寸小于上述規(guī)定的閾值尺寸時,不結合上述第2預測矢量候選列表地、基于上述第I預測矢量候選列表生成上述第3預測矢量候選列表,
[0377]預測矢量選擇部,從上述第3預測矢量候選列表中選出上述編碼對象塊的預測運動矢量,以及
[0378]編碼部,對表示上述所選出的預測運動矢量在上述第3預測矢量候選列表中的位置的信息進行編碼。
[0379]〔項目13〕
[0380]—種動圖像編碼裝置,該動圖像編碼裝置按多種塊尺寸進行運動補償預測,其特征在于,包括:
[0381]第I運動矢量存儲部,將已編碼的塊的運動矢量保存在按最小塊尺寸單位劃分出的存儲器區(qū)域中,來進行管理,
[0382]第I預測矢量候選列表生成部,參照上述第I運動矢量存儲部,基于與編碼對象塊相鄰的已編碼的I個以上的塊的運動矢量,生成包含第I預測運動矢量候選的第I預測矢量候選列表,
[0383]第2運動矢量存儲部,以規(guī)定的壓縮尺寸匯總已編碼圖像的最小塊尺寸單位的運動矢量,將之置換為I個代表運動矢量,并保存在按壓縮尺寸單位劃分出的存儲器區(qū)域中,來進行管理,
[0384]第2預測矢量候選列表生成部,參照上述第2運動矢量存儲部,基于已編碼的圖像中的、與上述編碼對象塊同一位置的塊及相鄰于上述同一位置的塊的I個以上的塊的運動矢量,生成包含第2預測運動矢量候選的第2預測矢量候選列表,
[0385]結合判定部,根據(jù)上述編碼對象塊的塊尺寸與規(guī)定的閾值尺寸的比較結果,判定是否生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表,
[0386]第3預測矢量候選列表生成部,當上述編碼對象塊的塊尺寸小于上述規(guī)定的閾值尺寸時,不結合上述第2預測矢量候選列表地、基于上述第I預測矢量候選列表生成上述第3預測矢量候選列表,
[0387]預測矢量選擇部,從上述第3預測矢量候選列表中選出上述編碼對象塊的預測運動矢量,
[0388]編碼部,對表示上述所選出的預測運動矢量在上述第3預測矢量候選列表中的位置的信息進行編碼。
[0389]〔項目14〕
[0390]—種動圖像編碼方法,該動圖像編碼方法按塊單位進行運動補償預測,其特征在于,包括:
[0391]預測運動矢量候選生成步驟,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,基于已編碼圖像中的塊導出預測運動矢量候選,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不導出上述預測運動矢量候選。
[0392]〔項目15〕
[0393]—種動圖像編碼方法,該動圖像編碼方法按塊單位進行運動補償預測,其特征在于,包括:
[0394]預測運動矢量候選列表生成步驟,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將基于已編碼圖像中的塊而獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中,
[0395]預測運動矢量選擇步驟,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量,以及
[0396]編碼步驟,對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0397]〔項目16〕
[0398]—種動圖像編碼方法,動圖像編碼方法按塊單位進行運動補償預測,其特征在于,包括:
[0399]空間預測運動矢量候選生成步驟,基于與編碼對象塊相鄰的塊來導出空間預測運動矢量候選,
[0400]時間預測運動矢量候選生成步驟,基于已編碼圖像中的塊來導出時間預測運動矢量候選,
[0401]預測運動矢量候選列表生成步驟,當表示是否允許利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選來生成預測運動矢量候選列表,當上述允許利用信息表示不允許時,基于上述空間預測運動矢量候選來生成預測運動矢量候選列表,
[0402]預測運動矢量選擇步驟,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量,以及
[0403]編碼步驟,對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0404]〔項目17〕
[0405]—種動圖像編碼程序,該動圖像編碼程序按塊單位進行運動補償預測,其特征在于,使計算機執(zhí)行如下步驟:
[0406]預測運動矢量候選生成步驟,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,基于已編碼圖像中的塊來導出預測運動矢量候選,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不導出上述預測運動矢量候選。
[0407]〔項目18〕
[0408]—種動圖像編碼程序,該動圖像編碼程序按塊單位進行運動補償預測,其特征在于,使計算機執(zhí)行如下步驟:
[0409]預測運動矢量候選列表生成步驟,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將基于已編碼圖像中的塊而獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中,
[0410]預測運動矢量選擇步驟,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量,以及
[0411]編碼步驟,對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0412]〔項目19〕
[0413]—種動圖像編碼程序,該動圖像編碼程序按塊單位進行運動補償預測,其特征在于,使計算機執(zhí)行如下步驟:
[0414]空間預測運動矢量候選生成步驟,基于與編碼對象塊相鄰的塊導出空間預測運動矢量候選,
[0415]時間預測運動矢量候選生成步驟,基于已編碼圖像中的塊導出時間預測運動矢量候選,
[0416]預測運動矢量候選列表生成步驟,當表示是否允許利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選,生成預測運動矢量候選列表,當上述允許利用信息表示不允許時,基于上述空間預測運動矢量候選生成預測運動矢量候選列表,
[0417]預測運動矢量選擇步驟,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量,以及
[0418]編碼步驟,對表示上述所選出的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行編碼。
[0419]〔項目20〕
[0420]—種動圖像解碼裝置,該動圖像解碼裝置按塊單位進行運動補償預測,其特征在于,包括:
[0421 ]預測運動矢量候選生成部,當解碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,基于已解碼圖像中的塊導出預測運動矢量候選,當上述解碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不導出上述預測運動矢量候選。
[0422]〔項目21〕
[0423]—種動圖像解碼裝置,該動圖像解碼裝置按塊單位進行運動補償預測,其特征在于,包括:
[0424]預測運動矢量候選列表生成部,當解碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將基于已解碼圖像中的塊而獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述解碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中,
[0425]解碼部,對表示應參照的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行解碼,以及
[0426]預測運動矢量選擇部,基于上述表示應參照的預測運動矢量在上述預測運動矢量候選列表中的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0427]〔項目22〕
[0428]如項目20或21所述的動圖像解碼裝置,其特征在于,
[0429]上述已解碼圖像中的塊是與上述解碼對象塊同一位置的塊或處于上述同一位置的塊周邊的塊。
[0430]〔項目23〕
[0431]如項目20至22的任意一項所述的動圖像解碼裝置,其特征在于,
[0432]上述解碼部將表示上述規(guī)定的閾值尺寸的信息解碼,來獲得上述規(guī)定的閾值尺寸。
[0433]〔項目24〕
[0434]如項目20至23的任意一項所述的動圖像解碼裝置,其特征在于,
[0435]針對各規(guī)定區(qū)域,分別將上述已解碼圖像中的塊的運動矢量設定為規(guī)定區(qū)域內(nèi)的任意I個塊的運動矢量。
[0436]〔項目25〕
[0437]如項目24所述的動圖像解碼裝置,其特征在于,
[0438]上述規(guī)定的閾值尺寸被設定得小于上述規(guī)定區(qū)域。
[0439]〔項目26〕
[0440]如項目20至25的任意一項所述的動圖像解碼裝置,其特征在于,
[0441]進行控制使得在包含上述解碼對象塊的圖像與上述已解碼圖像的時間差變長時,上述規(guī)定的閾值尺寸變大。
[0442]〔項目27〕
[0443]—種動圖像解碼裝置,該動圖像解碼裝置按塊單位進行運動補償預測,其特征在于,包括:
[0444 ]解碼部,對表示應參照的預測運動矢量在預測運動矢量候選列表中的位置的信息進行解碼,
[0445]空間預測運動矢量候選生成部,基于與解碼對象塊相鄰的塊導出空間預測運動矢量候選,
[0446]時間預測運動矢量候選生成部,基于已解碼圖像中的塊導出時間預測運動矢量候選,
[0447]預測運動矢量候選列表生成部,當表示是否允許利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選來生成預測運動矢量候選列表,當上述允許利用信息表示不允許時,基于上述空間預測運動矢量候選來生成預測運動矢量候選列表,
[0448]預測運動矢量選擇部,基于上述表示預測運動矢量的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0449]〔項目28〕
[0450]如項目27所述的動圖像解碼裝置,其特征在于,
[0451]上述已解碼圖像中的塊是與上述解碼對象塊同一位置的塊或處于上述同一位置的塊周邊的塊。
[0452]〔項目29〕
[0453]如項目27或28所述的動圖像解碼裝置,其特征在于,
[0454]上述解碼部對上述允許利用信息進行解碼。
[0455]〔項目30〕
[0456]如項目27至29的任意一項所述的動圖像解碼裝置,其特征在于,
[0457]針對各規(guī)定區(qū)域,分別將上述已解碼圖像中的塊的運動矢量設定為規(guī)定區(qū)域內(nèi)的任意I個塊的運動矢量。
[0458]〔項目31〕
[0459]—種動圖像解碼裝置,該動圖像解碼裝置按多種塊尺寸進行運動補償預測,其特征在于,包括:
[0460]解碼部,對表示應參照的預測運動矢量在預測矢量候選列表中的位置的信息進行解碼,
[0461]第I預測矢量候選列表生成部,基于與解碼對象塊相鄰的已解碼的I個以上塊的運動矢量,生成包含第I預測運動矢量的候選的第I預測矢量候選列表,
[0462]第2預測矢量候選列表生成部,基于已解碼圖像中的、與上述解碼對象塊同一位置的塊及相鄰于上述同一位置的塊的I個以上的塊的運動矢量,生成包含第2預測運動矢量的候選的第2預測矢量候選列表,
[0463]結合判定部,根據(jù)上述解碼對象塊的塊尺寸與規(guī)定的閾值尺寸的比較結果,來判定是否生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表,
[0464]第3預測矢量候選列表生成部,當上述解碼對象塊的塊尺寸小于上述規(guī)定的閾值尺寸時,不結合上述第2預測矢量候選列表地、基于上述第I預測矢量候選列表生成上述第3預測矢量候選列表,以及
[0465]預測矢量選擇部,基于上述表示應參照的預測運動矢量的位置的信息,從上述第3預測矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0466]〔項目32〕
[0467]—種動圖像解碼裝置,該動圖像解碼裝置按多種塊尺寸進行運動補償預測,其特征在于,包括:
[0468]解碼部,對表示應參照的預測運動矢量在預測矢量候選列表中的位置的信息進行解碼,
[0469]第I運動矢量存儲部,將已解碼的塊的運動矢量保存在按最小塊尺寸單位劃分出的存儲器區(qū)域中,來進行管理,
[0470]第I預測矢量候選列表生成部,參照上述第I運動矢量存儲部,基于與解碼對象塊相鄰的、已解碼的I個以上的塊的運動矢量,生成包含第I預測運動矢量的候選的第I預測矢量候選列表,
[0471]第2運動矢量存儲部,以規(guī)定的壓縮尺寸匯總已解碼圖像的最小塊尺寸單位的運動矢量,將之置換為I個代表運動矢量,并保存在按壓縮尺寸單位劃分出的存儲器區(qū)域中,來進行管理,
[0472]第2預測矢量候選列表生成部,參照上述第2運動矢量存儲部,基于已解碼圖像中的、與上述解碼對象塊同一位置的塊及相鄰于上述同一位置的塊的I個以上的塊的運動矢量,生成包含第2預測運動矢量的候選的第2預測矢量候選列表,
[0473]結合判定部,根據(jù)上述解碼對象塊的塊尺寸與規(guī)定的閾值尺寸的比較結果,來判定是否生成結合了上述第I預測矢量候選列表和上述第2預測矢量候選列表的第3預測矢量候選列表,
[0474]第3預測矢量候選列表生成部,當上述解碼對象塊的塊尺寸小于上述規(guī)定的閾值尺寸時,不結合上述第2預測矢量候選列表地、基于上述第I預測矢量候選列表生成上述第3預測矢量候選列表,以及
[0475]預測矢量選擇部,基于上述表示應參照的預測運動矢量的位置的信息,從上述第3預測矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0476]〔項目33〕
[0477]—種動圖像解碼方法,該動圖像解碼方法按塊單位進行運動補償預測,其特征在于,包括:
[0478]預測運動矢量候選生成步驟,當解碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,基于已解碼圖像中的塊導出預測運動矢量候選,當上述解碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不導出上述預測運動矢量候選。
[0479]〔項目34〕
[0480]—種動圖像解碼方法,該動圖像解碼方法按塊單位進行運動補償預測,其特征在于,包括:
[0481]預測運動矢量候選列表生成步驟,當解碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將基于已解碼圖像中的塊而獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述解碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中,
[0482]解碼步驟,對表示應參照的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行解碼,以及
[0483]預測運動矢量選擇步驟,基于上述表示應參照的預測運動矢量在預測運動矢量候選列表中的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0484]〔項目35〕
[0485]—種動圖像解碼方法,該動圖像解碼方法按塊單位進行運動補償預測,其特征在于,包括:
[0486]解碼步驟,對表示應參照的預測運動矢量在預測運動矢量候選列表中的位置的信息進行解碼,
[0487]空間預測運動矢量候選生成步驟,基于與解碼對象塊相鄰的塊導出空間預測運動矢量候選,
[0488]時間預測運動矢量候選生成步驟,基于已解碼圖像中的塊導出時間預測運動矢量候選,
[0489]預測運動矢量候選列表生成步驟,當表示是否允許利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選來生成預測運動矢量候選列表,當上述允許利用信息表示不允許時,基于上述空間預測運動矢量候選來生成預測運動矢量候選列表,以及
[0490]預測運動矢量選擇步驟,基于上述表示預測運動矢量的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊。
[0491]〔項目36〕
[0492]—種動圖像解碼程序,該動圖像解碼程序按塊單位進行運動補償預測,其特征在于,使計算機執(zhí)行如下步驟:
[0493]預測運動矢量候選生成步驟,當解碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,基于已解碼圖像中的塊導出預測運動矢量候選,當上述解碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不導出上述預測運動矢量候選。
[0494]〔項目37〕
[0495]—種動圖像解碼程序,該動圖像解碼程序按塊單位進行運動補償預測,其特征在于,使計算機執(zhí)行如下步驟:
[0496]預測運動矢量候選列表生成步驟,當解碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將基于已解碼圖像中的塊而獲得的預測運動矢量候選包含到預測運動矢量候選列表中,當上述解碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不將上述預測運動矢量候選包含到上述預測運動矢量候選列表中,
[0497]解碼步驟,對表示應參照的預測運動矢量在上述預測運動矢量候選列表中的位置的信息進行解碼,以及
[0498]預測運動矢量選擇步驟,基于上述表示應參照的預測運動矢量在預測運動矢量候選列表中的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0499]〔項目38〕
[0500]一種動圖像解碼程序,該動圖像解碼程序按塊單位進行運動補償預測,其特征在于,使計算機執(zhí)行如下步驟:
[0501 ] 解碼步驟,對表示應參照的預測運動矢量在預測運動矢量候選列表中的位置的信息進行解碼,
[0502]空間預測運動矢量候選生成步驟,基于與解碼對象塊相鄰的塊導出空間預測運動矢量候選,
[0503]時間預測運動矢量候選生成步驟,基于已解碼圖像中的塊導出時間預測運動矢量候選,
[0504]預測運動矢量候選列表生成步驟,當表示是否允許利用時間預測運動矢量的允許利用信息表示允許時,基于上述空間預測運動矢量候選和上述時間預測運動矢量候選來生成預測運動矢量候選列表,當上述允許利用信息表示不允許時,基于上述空間預測運動矢量候選來生成預測運動矢量候選列表,以及
[0505]預測運動矢量選擇步驟,基于上述表示預測運動矢量的位置的信息,從上述預測運動矢量候選列表中選出上述解碼對象塊的預測運動矢量。
[0506]〔標號說明〕
[0507]100動圖像編碼裝置、101預測塊圖像取得部、102減法部、103預測誤差編碼部、104碼序列生成部、105預測誤差解碼部、106運動補償部、107加法部、108運動矢量檢測部、109運動信息生成部、110幀存儲器、111第I運動信息存儲器、112第2運動信息存儲器、120預測矢量候選列表生成部、121預測矢量選擇部、122減法部、130第I預測矢量候選列表生成部、131結合判定部、132第2預測矢量候選列表生成部、133預測矢量候選列表決定部、200動圖像解碼裝置、201碼序列解析部、202預測誤差解碼部、203加法部、204運動信息再現(xiàn)部、205運動補償部、206幀存儲器、207第I運動信息存儲器、208第2運動信息存儲器、220預測矢量候選列表生成部、221預測矢量決定部、222加法部、300動圖像編碼裝置、301運動信息壓縮部、302第2運動信息存儲器、303運動信息解壓縮部、400動圖像解碼裝置、401運動信息壓縮部、402第2運動信息存儲器、403運動信息解壓縮部。
[0508]〔工業(yè)可利用性〕
[0509]本發(fā)明能適用于使用了運動補償預測的動圖像編碼技術。
【主權項】
1.一種動圖像編碼裝置,該動圖像編碼裝置按塊單位進行運動補償預測,其特征在于,包括: 預測運動矢量候選生成部,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將從已編碼圖像中的塊導出的預測運動矢量候選包含到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不改變上述預測運動矢量候選列表; 預測運動矢量選擇部,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量; 運動信息候選生成部,當上述編碼對象塊的塊尺寸大于上述規(guī)定的閾值尺寸時,將從已編碼圖像中的塊導出的運動信息候選包含到運動信息候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不改變上述運動信息候選列表; 運動信息選擇部,從上述運動信息候選列表中選出上述編碼對象塊的運動信息; 編碼部,編碼合并標志(merge flag),上述合并標志示出對合并索引(Merge Index)或預測運動矢量索引的哪一個進行編碼, 當上述合并標志表示上述合并索引的使用時,上述編碼部對表示上述被選擇的運動信息在上述運動信息候選列表中的位置的合并索引進行編碼,當上述合并標志表示上述預測運動矢量索引的使用時,上述編碼部對表示上述被選擇的預測運動矢量在上述預測運動矢量候選列表中的位置的預測運動矢量索引進行編碼。2.—種動圖像編碼方法,該動圖像編碼方法按塊單位進行運動補償預測,其特征在于,包括: 預測運動矢量候選生成步驟,當編碼對象塊的塊尺寸大于規(guī)定的閾值尺寸時,將從已編碼圖像中的塊導出的預測運動矢量候選包含到預測運動矢量候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不改變上述預測運動矢量候選列表; 預測運動矢量選擇步驟,從上述預測運動矢量候選列表中選出上述編碼對象塊的預測運動矢量; 運動信息候選生成步驟,當上述編碼對象塊的塊尺寸大于上述規(guī)定的閾值尺寸時,將從已編碼圖像中的塊導出的運動信息候選包含到運動信息候選列表中,當上述編碼對象塊的塊尺寸在上述規(guī)定的閾值尺寸以下時,不改變上述運動信息候選列表; 運動信息選擇步驟,從上述運動信息候選列表中選出上述編碼對象塊的運動信息; 編碼步驟,編碼合并標志,上述合并標志示出對合并索引或預測運動矢量索引的哪一個進行編碼, 當上述合并標志表示上述合并索引的使用時,上述編碼步驟對表示上述被選擇的運動信息在上述運動信息候選列表中的位置的合并索引進行編碼,當上述合并標志表示上述預測運動矢量索引的使用時,上述編碼步驟對表示上述被選擇的預測運動矢量在上述預測運動矢量候選列表中的位置的預測運動矢量索引進行編碼。
【文檔編號】H04N19/176GK105915902SQ201610525866
【公開日】2016年8月31日
【申請日】2012年3月5日
【發(fā)明人】竹原英樹, 上田基晴, 西谷勝義, 中村博哉, 坂爪智, 荒蔭和美, 福島茂, 熊倉徹
【申請人】Jvc建伍株式會社