專利名稱：圖像處理裝置、圖像處理方法、程序及集成電路的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種依次處理多個(gè)圖像的圖像處理裝置，尤其涉及具有在將圖像存儲(chǔ)在存儲(chǔ)器中并且讀出存儲(chǔ)器中存儲(chǔ)的圖像的功能的圖像處理裝置。
背景技術(shù)：
具有將圖像存儲(chǔ)在幀存儲(chǔ)器中并且讀出幀存儲(chǔ)器中存儲(chǔ)的圖像的功能的圖像處理裝置例如配備在解碼按照H. 264等視頻編碼標(biāo)準(zhǔn)壓縮的位流的視頻解碼器等圖像解碼裝置中。另外，這種圖像解碼裝置例如用于對(duì)應(yīng)高清數(shù)字電視或電視會(huì)議系統(tǒng)中。高清影像中使用1920X1080像素尺寸的圖片、即由2073600像素構(gòu)成的圖片。高清解碼器與標(biāo)準(zhǔn)圖像(SDTV)解碼器相比，由于需要追加存儲(chǔ)器，所以價(jià)格會(huì)比標(biāo)準(zhǔn)圖像解碼器高很多。另外，H. 264、VC-I和MPEG-2等視頻編碼標(biāo)準(zhǔn)對(duì)應(yīng)于高清。近年來，各種各樣系統(tǒng)中廣泛使用的視頻編碼標(biāo)準(zhǔn)是H. 264.該標(biāo)準(zhǔn)可以比以前廣泛使用的MPEG-2標(biāo)準(zhǔn)低的位率來提供良好的畫質(zhì)。例如，H. 264的位率是MPEG-2的一半左右。但是，在H. 264的視頻編碼標(biāo)準(zhǔn)中，為了實(shí)現(xiàn)低的位率，算法復(fù)雜化，結(jié)果，需要比以前的視頻編碼標(biāo)準(zhǔn)大得多的幀存儲(chǔ)器帶域或幀存儲(chǔ)器容量。削減高清影像解碼所需的幀存儲(chǔ)器帶域或幀存儲(chǔ)器容量對(duì)于廉價(jià)實(shí)現(xiàn)對(duì)應(yīng)于H. 264視頻編碼標(biāo)準(zhǔn)的圖像解碼裝置而言是至關(guān)重要的。即，為了廉價(jià)實(shí)現(xiàn)圖像解碼裝置，要求圖像處理裝置不降低畫質(zhì)地抑制幀存儲(chǔ)器需要的帶域(訪問幀存儲(chǔ)器的帶寬)和容量。作為實(shí)現(xiàn)廉價(jià)圖像解碼裝置的方法之一，有稱為向下解碼的方法。圖47是表示向下解碼高清影像的典型圖像解碼裝置的功能構(gòu)成的模塊圖。該圖像解碼裝置1000對(duì)應(yīng)于H. 264視頻編碼標(biāo)準(zhǔn)，具備語(yǔ)法解析熵解碼部1001、 逆量化部1002、逆頻率變換部1003、幀內(nèi)預(yù)測(cè)部1004、加法部1005、解塊濾波部1006、壓縮處理部1007、幀存儲(chǔ)器1008、擴(kuò)展處理部1009、全分辨率運(yùn)動(dòng)補(bǔ)償部1010和視頻輸出部 1011。這里，圖像處理裝置由壓縮處理部1007、幀存儲(chǔ)器1008和擴(kuò)展處理部1009構(gòu)成。語(yǔ)法解析熵解碼部1001取得位流，對(duì)該位流進(jìn)行語(yǔ)法解析及熵解碼。熵解碼中也可包含可變長(zhǎng)度解碼(VLC)或算術(shù)編碼(例如CABAC :Context-based Adaptive Binary Arithmetic Coding,上下文適應(yīng)性二進(jìn)制算術(shù)編碼)。逆量化部1002取得從語(yǔ)法解析熵解碼部1001輸出的熵解碼系數(shù)并進(jìn)行逆量化。逆頻率變換部1003通過對(duì)逆量化后的熵解碼系數(shù)進(jìn)行逆離散余弦變換，生成差分圖像。加法部1005在進(jìn)行幀間預(yù)測(cè)時(shí)，通過將從全分辨率運(yùn)動(dòng)補(bǔ)償部1010輸出的幀間預(yù)測(cè)圖像與從逆頻率變換部1003輸出的差分圖像相加，生成解碼圖像。另外，加法部1005 在進(jìn)行幀內(nèi)預(yù)測(cè)時(shí)，通過將從幀內(nèi)預(yù)測(cè)部1004輸出的幀內(nèi)預(yù)測(cè)圖像與從逆頻率變換部 1003輸出的差分圖像相加，生成解碼圖像。解塊濾波部1006對(duì)解碼圖像進(jìn)行解塊濾波處理，降低塊噪聲。壓縮處理部1007進(jìn)行壓縮處理。即，壓縮處理部1007將該進(jìn)行解塊濾波處理后的解碼圖像壓縮成低分辨率的圖像，并將壓縮后的解碼圖像作為參照?qǐng)D像，寫入幀存儲(chǔ)器 1008。幀存儲(chǔ)器1008具有用于存儲(chǔ)多個(gè)參照?qǐng)D像的域。擴(kuò)展處理部1009進(jìn)行擴(kuò)展處理。即，擴(kuò)展處理部1009讀出幀存儲(chǔ)器1008中存儲(chǔ)的參照?qǐng)D像，將該參照?qǐng)D像擴(kuò)展為原本的高分辨率(壓縮前的解碼圖像的分辨率)的圖像。全分辨率運(yùn)動(dòng)補(bǔ)償部1010使用從語(yǔ)法解析熵解碼部1001輸出的運(yùn)動(dòng)矢量與由擴(kuò)展處理部1009擴(kuò)展的參照?qǐng)D像，生成幀間預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)部1004在進(jìn)行幀內(nèi)預(yù)測(cè)的情況下，使用解碼對(duì)象塊的鄰近像素，通過對(duì)該解碼對(duì)象塊進(jìn)行幀內(nèi)預(yù)測(cè)，生成幀內(nèi)預(yù)測(cè)圖像。視頻輸出部1011從幀存儲(chǔ)器1008中讀出作為參照?qǐng)D像存儲(chǔ)在該幀存儲(chǔ)器1008 中的壓縮后的解碼圖像，將該解碼圖像擴(kuò)大或縮小到應(yīng)輸出到顯示器的分辨率，并輸出到
顯不器。這樣，進(jìn)行向下解碼的圖像解碼裝置1000通過壓縮解碼圖像并寫入幀存儲(chǔ)器 1008中，可削減幀存儲(chǔ)器1008所需的容量與帶域。即，圖像處理裝置在將參照?qǐng)D像存儲(chǔ)在幀存儲(chǔ)器1008中時(shí)，壓縮該參照?qǐng)D像，在從幀存儲(chǔ)器1008中讀出參照?qǐng)D像時(shí)，擴(kuò)展該縮小后的參照?qǐng)D像，由此抑制幀存儲(chǔ)器1008所需的帶域和容量。這里，為了執(zhí)行可削減幀存儲(chǔ)器所需的帶域與容量的向下解碼，提出了多種方法 (例如參照專利文獻(xiàn)1和非專利文獻(xiàn)1)。上述非專利文獻(xiàn)1的向下解碼利用DCT (Discrete Cosine ^Transform，離散余弦變換)，即便在多個(gè)向下解碼中也有可能保持邏輯上最小限度的解碼誤差。圖48是用于說明上述非專利文獻(xiàn)1的向下解碼的說明圖。在該向下解碼的擴(kuò)展處理中，對(duì)參照?qǐng)D像塊進(jìn)行低分辨率的DCT，向結(jié)果生成的多個(gè)變換系數(shù)構(gòu)成的系數(shù)組附加表示0的高頻成分。并且，通過對(duì)附加了高頻成分的系數(shù)組進(jìn)行全分辨率(高分辨率)的IDCT(逆離散余弦變換)，擴(kuò)大參照?qǐng)D像塊，將擴(kuò)大后的參照?qǐng)D像塊用于運(yùn)動(dòng)補(bǔ)償。即，在該向下解碼中，將圖像的擴(kuò)大處理用作擴(kuò)展處理。另外，在上述向下解碼的壓縮處理中，對(duì)全分辨率的解碼圖像塊進(jìn)行全分辨率的 DCT，從結(jié)果生成的多個(gè)變換系數(shù)構(gòu)成的系數(shù)組中刪除高頻成分。并且，通過對(duì)刪除了高頻成分的系數(shù)組進(jìn)行低分辨率的IDCT，縮小全分辨率的解碼圖像塊，將縮小后的解碼圖像塊存儲(chǔ)在幀存儲(chǔ)器中。即，在該向下解碼中，圖像的縮小處理被用作壓縮處理。在這種向下解碼的算法中，幀存儲(chǔ)器中存儲(chǔ)的低分辨率的縮小圖像(解碼圖像塊)在進(jìn)行原本分辨率(全分辨率)的運(yùn)動(dòng)補(bǔ)償之前，使用離散余弦變換/逆離散余弦變換來擴(kuò)大。另外，在上述專利文獻(xiàn)1的向下解碼中，代替縮小圖像，將壓縮數(shù)據(jù)存儲(chǔ)在幀存儲(chǔ)器中。圖49A和圖49B是用于說明上述專利文獻(xiàn)1的向下解碼的說明圖。圖49A所示的第1存儲(chǔ)器管理器和第2存儲(chǔ)器管理器相當(dāng)于圖47所示的壓縮處理部1007和擴(kuò)展處理部1009，圖49A所示的第1存儲(chǔ)器和第2存儲(chǔ)器相當(dāng)于圖47所示的幀存儲(chǔ)器1008。即，第1存儲(chǔ)器管理器和第2存儲(chǔ)器管理器與第1存儲(chǔ)器和第2存儲(chǔ)器構(gòu)成圖像處理裝置。下面，將第1存儲(chǔ)器管理器和第2存儲(chǔ)器管理器統(tǒng)稱為存儲(chǔ)器管理器。存儲(chǔ)器管理器在進(jìn)行壓縮處理時(shí)，如圖49B所示，執(zhí)行進(jìn)行錯(cuò)誤擴(kuò)散的步驟、以及每4個(gè)像素舍去一個(gè)像素的步驟。首先，存儲(chǔ)器管理器使用1位錯(cuò)誤擴(kuò)散算法，將由32位 (4像素X8位/像素)所示的4像素組壓縮成觀位G像素X7位/像素)。接著，以規(guī)定方法從4像素組中舍去一個(gè)像素，將該4像素組壓縮成(3像素X7位/像素)。并且，存儲(chǔ)器管理器向該4像素組的最后附加表示舍去方法的3位。作為結(jié)果，將32位的4像素組壓縮成M位(3像素X7位/像素+3位)。先行技術(shù)文獻(xiàn)專利文獻(xiàn)專利文獻(xiàn)1 美國(guó)專利第6198773號(hào)說明書非專利文獻(xiàn)__ 專禾1J 文獻(xiàn) 1 'Minimal error drift in frequency scalability for motion-compensated DCT coding', IEEE Transactions on Circuits and Systems for Video Technology, vol. 4，no. 4，392-406 頁(yè)，1994 年 8 月發(fā)明的概要發(fā)明要解決的問題但是，進(jìn)行上述非專利文獻(xiàn)1和專利文獻(xiàn)1的向下解碼的圖像解碼裝置中配備的圖像處理裝置中，存在畫質(zhì)經(jīng)常會(huì)惡化的問題。具體地，在上述非專利文獻(xiàn)1的向下解碼中，易受參照過去圖像造成的漂移錯(cuò)誤的影響。進(jìn)行向下解碼的圖像解碼裝置1000通過執(zhí)行視頻編碼標(biāo)準(zhǔn)中未定義的上述壓縮處理和擴(kuò)展處理，會(huì)將誤差重疊于解碼圖像上。若參照重疊了該誤差的解碼圖像解碼下一圖像，則解碼圖像中逐漸累積誤差。將這種誤差累積稱為漂移錯(cuò)誤。即，在上述非專利文獻(xiàn) 1的向下解碼中，當(dāng)縮小處理時(shí)，從由DCT生成的高次變換系數(shù)(高頻的變換系數(shù))中具有高能量的某個(gè)高清圖像中，不可逆地舍去該高次變換系數(shù)。這樣，縮小處理中高頻成分的信息大量丟失，結(jié)果，解碼圖像的誤差變大，該誤差會(huì)引起漂移錯(cuò)誤。由于在視頻編碼標(biāo)準(zhǔn)中包含幀內(nèi)預(yù)測(cè)，向下解碼中的視覺失真尤其在H. 264的視頻編碼標(biāo)準(zhǔn)的解碼中顯著呈現(xiàn)(參照ITU-T H. 264 Advanced video coding for generic audiovisual services)。幀內(nèi)預(yù)測(cè)是使用位于解碼對(duì)象塊的周邊的已解碼的周邊像素在幀內(nèi)生成預(yù)測(cè)圖像(幀內(nèi)預(yù)測(cè)圖像)的H. 264特有的處理。在該已解碼的周邊像素中重疊在先描述的誤差。若將重疊了誤差的像素用于幀內(nèi)預(yù)測(cè)，則以使用預(yù)測(cè)圖像的塊單位GX4 像素、8X8像素或16X16像素)產(chǎn)生誤差。即便解碼圖像中的誤差僅為1像素，但若使用該像素來執(zhí)行幀內(nèi)預(yù)測(cè)，則會(huì)以4X4像素等構(gòu)成的大的塊單位產(chǎn)生誤差，產(chǎn)生視覺上容易識(shí)別的塊噪聲。在上述專利文獻(xiàn)1的向下解碼中，由于壓縮處理的最初步驟中在1位錯(cuò)誤擴(kuò)散中舍去LSB(Least Significant Bit，最低有效位)位，在平坦域中信息不可逆地丟失。因此，平坦域的畫質(zhì)變差(所謂平坦域是指由具有彼此非常接近的像素值的多個(gè)像素構(gòu)成的域)。具有多個(gè)平坦域的長(zhǎng)圖片組(GOP :Group Of Pictures)有可能在圖像中產(chǎn)生嚴(yán)重的失真。

發(fā)明內(nèi)容
因此，本發(fā)明鑒于這種問題而做出，其目的在于，提供一種圖像處理裝置和圖像處理方法，能夠防止畫質(zhì)惡化，抑制幀存儲(chǔ)器需要的帶域和容量。用于解決問題的手段為了實(shí)現(xiàn)上述目的，根據(jù)本發(fā)明一方式的圖像處理裝置依次處理多個(gè)輸入圖像， 該圖像處理裝置具備選擇部，按至少一個(gè)輸入圖像切換并選擇第1處理模式與第2處理模式；幀存儲(chǔ)器；存儲(chǔ)部，當(dāng)所述選擇部選擇所述第1處理模式時(shí)，通過刪除所述輸入圖像中包含的預(yù)定頻率的信息，縮小所述輸入圖像，并將縮小后的所述輸入圖像作為縮小圖像，存儲(chǔ)在所述幀存儲(chǔ)器中，當(dāng)所述選擇部選擇所述第2處理模式時(shí)，不縮小所述輸入圖像，而將該輸入圖像存儲(chǔ)在所述幀存儲(chǔ)器中；和讀出部，當(dāng)所述選擇部選擇所述第1處理模式時(shí)，從所述幀存儲(chǔ)器中讀出并擴(kuò)大所述縮小圖像，當(dāng)所述選擇部選擇所述第2處理模式時(shí)，從所述幀存儲(chǔ)器中讀出未縮小的所述輸入圖像。由此，當(dāng)選擇了第1處理模式時(shí)，縮小輸入圖像并存儲(chǔ)在幀存儲(chǔ)器中，并且，將該縮小了的輸入圖像從幀存儲(chǔ)器中讀出并擴(kuò)大，所以可抑制該幀存儲(chǔ)器所需的帶域和容量。 另外，當(dāng)選擇了第2處理模式時(shí)，將輸入圖像不縮小地存儲(chǔ)在幀存儲(chǔ)器中，原樣讀出該輸入圖像，所以可防止該輸入圖像的畫質(zhì)惡化。另外，由于對(duì)至少一個(gè)輸入圖像中的每個(gè)輸入圖像切換并選擇第1處理模式與第2處理模式，所以可取得防止多個(gè)輸入圖像的整體畫質(zhì)惡化與抑制幀存儲(chǔ)器需要的帶域和容量的平衡，使兩者同時(shí)實(shí)現(xiàn)。另外，也可所述圖像處理裝置還具備解碼部，將所述讀出部讀出的擴(kuò)大的縮小圖像、或所述讀出部讀出的輸入圖像作為參照?qǐng)D像參照，通過解碼位流中包含的編碼圖像，生成解碼圖像，所述存儲(chǔ)部通過將所述解碼部生成的解碼圖像作為輸入圖像處理，當(dāng)選擇所述第1處理模式時(shí)，縮小所述解碼圖像，并將縮小后的所述解碼圖像作為所述縮小圖像，存儲(chǔ)在所述幀存儲(chǔ)器中，當(dāng)選擇所述第2處理模式時(shí)，將所述解碼部生成的解碼圖像不縮小地存儲(chǔ)在所述幀存儲(chǔ)器中，所述選擇部根據(jù)所述位流中包含的、涉及所述參照?qǐng)D像的信息， 選擇第1處理模式或第2處理模式。由此，由于將幀存儲(chǔ)器中存儲(chǔ)的縮小圖像或輸入圖像用作參照?qǐng)D像，解碼位流中包含的編碼圖像，所以可將圖像處理裝置用作圖像解碼裝置。并且，由于根據(jù)位流中包含的、例如參照幀數(shù)量等涉及參照?qǐng)D像的信息，切換第1處理模式與第2處理模式，所以可適當(dāng)確保防止畫質(zhì)惡化與抑制幀存儲(chǔ)器需要的帶域和容量的平衡。另外，也可所述存儲(chǔ)部當(dāng)將縮小圖像存儲(chǔ)在所述幀存儲(chǔ)器中時(shí)，將表示所述縮小圖像像素值的數(shù)據(jù)的一部分置換為表示被刪除的頻率信息的至少一部分的嵌入數(shù)據(jù)，所述讀出部當(dāng)擴(kuò)大所述縮小圖像時(shí)，從所述縮小圖像中提取所述嵌入數(shù)據(jù)，根據(jù)所述嵌入數(shù)據(jù)， 恢復(fù)所述頻率的信息，通過向提取出所述嵌入數(shù)據(jù)的縮小圖像附加所述頻率的信息，擴(kuò)大所述縮小圖像。在現(xiàn)有的向下解碼中，通過刪除解碼圖像的高頻成分來縮小該解碼圖像，將縮小后的解碼圖像作為參照?qǐng)D像(縮小圖像)存儲(chǔ)在幀存儲(chǔ)器中。另外，當(dāng)使用該參照?qǐng)D像解碼編碼圖像時(shí)，通過對(duì)該參照?qǐng)D像追加表示0的高頻成分，擴(kuò)大該參照?qǐng)D像，在編碼圖像的解碼中參照擴(kuò)大后的參照?qǐng)D像。因此，刪除解碼圖像的高頻成分，將刪除了高頻成分的解碼圖像作為參照?qǐng)D像勉強(qiáng)地?cái)U(kuò)大并參照。結(jié)果，會(huì)產(chǎn)生視覺失真，畫質(zhì)惡化。但是，在本發(fā)明的一方式中，如上所述，即便將高次變換系數(shù)等高頻成分作為預(yù)定頻率的信息刪除，也可將表示該高次變換系數(shù)的至少一部分的例如可變長(zhǎng)度編碼(編碼高次變換系數(shù))等嵌入數(shù)據(jù)嵌入?yún)⒄請(qǐng)D像(縮小圖像)中。另外，當(dāng)編碼圖像的解碼中使用該參照?qǐng)D像時(shí)，從該參照?qǐng)D像中提取嵌入數(shù)據(jù)，恢復(fù)高次變換系數(shù)，使用該高次變換系數(shù)，擴(kuò)大參照?qǐng)D像。因此，由于不舍去解碼圖像中包含的全部高頻成分，在解碼編碼圖像中參照的圖像中包含該高頻成分， 所以可削減通過該解碼生成的新的解碼圖像中的視覺失真，防止畫質(zhì)惡化，來進(jìn)行向下解碼。并且，由于將表示參照?qǐng)D像像素值的數(shù)據(jù)的一部分置換為嵌入數(shù)據(jù)，所以可不增加參照?qǐng)D像的數(shù)據(jù)量，抑制幀存儲(chǔ)器需要的容量或帶域。即，在本發(fā)明一方式中，通過使用數(shù)字水印技術(shù)來削減向下解碼中因圖像的縮小或壓縮信息而產(chǎn)生的誤差，可得到高畫質(zhì)的高清影像。數(shù)字水印技術(shù)是為了將機(jī)器可讀取的數(shù)據(jù)嵌入圖像中而變更部分圖像的技術(shù)。作為數(shù)字水印的嵌入數(shù)據(jù)讓視聽者無法識(shí)別或基本上無法識(shí)別。嵌入數(shù)據(jù)通過部分變更空間、時(shí)間或其他變換域(例如傅立葉變換域、離散余弦變換域、小波變換域等)中的媒體內(nèi)容的數(shù)據(jù)采樣，從而作為數(shù)字水印被嵌入。另外，在本發(fā)明的一方式中，由于代替復(fù)雜的壓縮數(shù)據(jù)而將嵌入數(shù)字水印的參照?qǐng)D像存儲(chǔ)在幀存儲(chǔ)器中，所以從該幀存儲(chǔ)器中取出參照?qǐng)D像并輸出的視頻輸出部不需要特殊的擴(kuò)展處理。另外，也可所述存儲(chǔ)部將表示所述縮小圖像像素值的數(shù)據(jù)中、至少包含LSB(Least Significant Bit)的一個(gè)或多個(gè)位所示的值置換為所述嵌入數(shù)據(jù)。由此，由于將LSB置換為嵌入數(shù)據(jù)，所以可將因該置換而對(duì)縮小圖像的像素值造成的誤差抑制到最小限度。另外，也可所述存儲(chǔ)部還具備編碼部，通過對(duì)由所述刪除部刪除的所述高頻成分進(jìn)行可變長(zhǎng)度編碼，生成所述嵌入數(shù)據(jù)，所述恢復(fù)部通過對(duì)所述嵌入數(shù)據(jù)進(jìn)行可變長(zhǎng)度解碼，根據(jù)所述嵌入數(shù)據(jù)，恢復(fù)所述高頻成分。由此，通過對(duì)高頻成分進(jìn)行可變長(zhǎng)度編碼，可將嵌入數(shù)據(jù)的數(shù)據(jù)量抑制得較小，結(jié)果，可將因嵌入數(shù)據(jù)的置換而對(duì)參照?qǐng)D像(縮小圖像)的像素值造成的誤差抑制到最小限度。另外，也可所述存儲(chǔ)部還具備量化部，通過量化由所述刪除部刪除的所述高頻成分，生成所述嵌入數(shù)據(jù)，所述恢復(fù)部通過逆量化所述嵌入數(shù)據(jù)，根據(jù)所述嵌入數(shù)據(jù)，恢復(fù)所述高頻成分。由此，通過量化高頻成分，可將嵌入數(shù)據(jù)的數(shù)據(jù)量抑制得較小，結(jié)果，可將因嵌入數(shù)據(jù)的置換而對(duì)參照?qǐng)D像(縮小圖像)的像素值造成的誤差抑制至最小限度。這樣，雖然因嵌入數(shù)據(jù)的置換而丟失表示像素值的數(shù)據(jù)的一部分，但由于根據(jù)嵌入數(shù)據(jù)能夠可靠地得到比該丟失的部分信息多的信息，所以產(chǎn)生信息增益。另外，也可所述提取部提取表示所述縮小圖像像素值的位串構(gòu)成的數(shù)據(jù)中、至少一個(gè)規(guī)定位所示的所述嵌入數(shù)據(jù)，將提取了所述嵌入數(shù)據(jù)的像素值，設(shè)定為所述位串對(duì)應(yīng)于所述至少一個(gè)規(guī)定位的值而可能取的值的范圍的中央值，所述第2正交變換部將具有設(shè)定為所述中央值的像素值的縮小圖像的域從像素域變換至頻域。若將提取了嵌入數(shù)據(jù)的至少一個(gè)規(guī)定位的值全部設(shè)為0，則像素值中會(huì)產(chǎn)生顯著的誤差。但是，在本發(fā)明中，由于設(shè)定像素值為位串根據(jù)該至少一個(gè)規(guī)定位的值而可能取的值的范圍的中央值，所以可防止像素值產(chǎn)生顯著的誤差。另外，也可所述存儲(chǔ)部根據(jù)所述縮小圖像，判別是否應(yīng)置換為所述嵌入數(shù)據(jù)，在判別為應(yīng)置換的情況下，將表示所述縮小圖像像素值的數(shù)據(jù)的一部分置換為所述嵌入數(shù)據(jù)， 所述讀出部根據(jù)所述縮小圖像，判別是否應(yīng)提取所述嵌入數(shù)據(jù)，在判別為應(yīng)提取的情況下， 從所述縮小圖像中提取所述嵌入數(shù)據(jù)，向提取了所述嵌入數(shù)據(jù)的縮小圖像附加所述頻率的
fn息ο在縮小圖像平坦且邊緣少的情況下，即縮小圖像中高次變換系數(shù)少的情況下，將表示縮小圖像像素值的數(shù)據(jù)的一部分置換為嵌入數(shù)據(jù)的情況與不置換的情況相比，畫質(zhì)會(huì)惡化。因此，在本發(fā)明的一方式中，由于根據(jù)縮小圖像來切換對(duì)嵌入數(shù)據(jù)的置換，所以對(duì)任何縮小圖像均可抑制畫質(zhì)的惡化。另外，根據(jù)本發(fā)明一方式的圖像處理裝置依次處理多個(gè)輸入圖像，該圖像處理裝置具備幀存儲(chǔ)器；縮小處理部，通過刪除輸入圖像中包含的預(yù)定頻率的信息，縮小所述輸入圖像，并將縮小后的所述輸入圖像作為縮小圖像，存儲(chǔ)在所述幀存儲(chǔ)器中；和擴(kuò)大處理部，從所述幀存儲(chǔ)器中讀出并擴(kuò)大所述縮小圖像，所述縮小處理部當(dāng)在所述幀存儲(chǔ)器中存儲(chǔ)縮小圖像時(shí)，將表示所述縮小圖像像素值的數(shù)據(jù)一部分置換為表示被刪除的所述頻率信息至少一部分的嵌入數(shù)據(jù)，所述擴(kuò)大處理部從所述縮小圖像中提取所述嵌入數(shù)據(jù)，根據(jù)所述嵌入數(shù)據(jù)，恢復(fù)所述頻率的信息，并通過向提取了所述嵌入數(shù)據(jù)的縮小圖像附加所述頻率的信息，擴(kuò)大所述縮小圖像。由此，即便將高次變換系數(shù)等高頻成分作為預(yù)定頻率的信息刪除，也可將表示該高次變換系數(shù)至少一部分的、例如可變長(zhǎng)度編碼(編碼高次變換系數(shù))等嵌入數(shù)據(jù)嵌入縮小圖像中。另外，當(dāng)從幀存儲(chǔ)器中讀出該縮小圖像時(shí)，從該縮小圖像中提取嵌入數(shù)據(jù)，恢復(fù)高次變換系數(shù)，使用該高次變換系數(shù)，擴(kuò)大縮小圖像。因此，由于不舍去全部高頻成分地縮小輸入圖像，在讀出并擴(kuò)大的縮小圖像中包含該高頻成分，所以即便不切換上述第1處理模式與第2處理模式，也可防止畫質(zhì)惡化，抑制幀存儲(chǔ)器需要的帶域和容量。另外，根據(jù)本發(fā)明一方式的圖像解碼裝置依次解碼位流中包含的多個(gè)編碼圖像， 該圖像解碼裝置具備幀存儲(chǔ)器，存儲(chǔ)解碼編碼圖像中使用的參照?qǐng)D像；解碼部，通過參照擴(kuò)大所述參照?qǐng)D像而得到的圖像，解碼所述編碼圖像，生成解碼圖像；縮小處理部，通過刪除所述解碼部生成的解碼圖像中包含的預(yù)定頻率的信息，縮小所述解碼圖像，并將縮小后的所述解碼圖像作為參照?qǐng)D像，存儲(chǔ)在所述幀存儲(chǔ)器中；和擴(kuò)大處理部，從所述幀存儲(chǔ)器中讀出所述參照?qǐng)D像并擴(kuò)大，所述縮小處理部當(dāng)在所述幀存儲(chǔ)器中存儲(chǔ)參照?qǐng)D像時(shí)，將表示所述參照?qǐng)D像像素值的數(shù)據(jù)一部分置換為表示被刪除的所述頻率信息至少一部分的嵌入數(shù)據(jù)，所述擴(kuò)大處理部從所述參照?qǐng)D像中提取所述嵌入數(shù)據(jù)，根據(jù)所述嵌入數(shù)據(jù)，恢復(fù)所述頻率的信息，并通過向提取了所述嵌入數(shù)據(jù)的參照?qǐng)D像附加所述頻率的信息，擴(kuò)大所述參照?qǐng)D像。由此，即便將高次變換系數(shù)等高頻成分作為預(yù)定頻率的信息刪除，也可將表示該高次變換系數(shù)至少一部分的、例如可變長(zhǎng)度編碼(編碼高次變換系數(shù))等嵌入數(shù)據(jù)嵌入?yún)⒄請(qǐng)D像中。另外，當(dāng)將該參照?qǐng)D像用于編碼圖像的解碼時(shí)，從該參照?qǐng)D像中提取嵌入數(shù)據(jù)， 恢復(fù)高次變換系數(shù)，使用該高次變換系數(shù)，擴(kuò)大參照?qǐng)D像。因此，由于不舍去解碼圖像中包含的全部高頻成分，在解碼編碼圖像中參照的圖像中包含該高頻成分，所以可削減通過該解碼生成的新的解碼圖像中的視覺失真。結(jié)果，如上所述，可不切換第1處理模式與第2處理模式，防止畫質(zhì)惡化，進(jìn)行向下解碼。并且，由于將表示參照?qǐng)D像像素值的數(shù)據(jù)的一部分置換為嵌入數(shù)據(jù)，所以可不增加參照?qǐng)D像的數(shù)據(jù)量，抑制幀存儲(chǔ)器需要的容量或帶域。本發(fā)明不僅可實(shí)現(xiàn)為這種圖像處理裝置，也可實(shí)現(xiàn)為集成電路、該圖像處理裝置處理圖像的方法、讓計(jì)算機(jī)執(zhí)行該方法中包含的處理的程序、存儲(chǔ)該程序的記錄媒體。發(fā)明效果本發(fā)明的圖像處理裝置可起到防止畫質(zhì)惡化、抑制幀存儲(chǔ)器需要的帶域和容量的作用效果。


圖1是表示本發(fā)明實(shí)施方式1中的圖像處理裝置的功能構(gòu)成的模塊圖。圖2是表示以上圖像處理裝置的動(dòng)作的流程圖。圖3是表示本發(fā)明實(shí)施方式2中的圖像解碼裝置的功能構(gòu)成的模塊圖。圖4是表示以上嵌入縮小處理部的處理動(dòng)作概略的流程圖。圖5是表示以上高次變換系數(shù)的編碼處理的流程圖。圖6是表示以上編碼高次變換系數(shù)的嵌入處理的流程圖。圖7是表示用于對(duì)以上高次變換系數(shù)進(jìn)行可變長(zhǎng)度編碼的表的圖。圖8是表示以上提取擴(kuò)大處理部的處理動(dòng)作概略的流程圖。圖9是表示以上編碼高次變換系數(shù)的提取和恢復(fù)處理的流程圖。圖10是表示以上嵌入縮小處理部的處理動(dòng)作的具體例的圖。圖11是表示以上提取擴(kuò)大處理部的處理動(dòng)作的具體例的圖。圖12是表示根據(jù)以上變形例的圖像解碼裝置的功能構(gòu)成的模塊圖。圖13是表示根據(jù)以上變形例的選擇部的動(dòng)作的流程圖。圖14是表示本發(fā)明實(shí)施方式3中的嵌入縮小處理部執(zhí)行的編碼高次變換系數(shù)的嵌入處理的流程圖。圖15是表示以上提取擴(kuò)大處理部執(zhí)行的編碼高次變換系數(shù)的提取和恢復(fù)處理的流程圖。圖16是表示本發(fā)明實(shí)施方式4的圖像解碼裝置的功能構(gòu)成的模塊圖。圖17是表示以上視頻輸出部的功能構(gòu)成的模塊圖。圖18是表示以上視頻輸出部的動(dòng)作的流程圖。圖19是表示根據(jù)以上變形例的圖像解碼裝置的功能構(gòu)成的模塊圖。圖20是表示根據(jù)以上變形例的視頻輸出部的功能構(gòu)成的模塊圖。圖21是表示根據(jù)以上變形例的視頻輸出部的動(dòng)作的流程圖。圖22是表示本發(fā)明實(shí)施方式5的系統(tǒng)LSI的構(gòu)成的構(gòu)成圖。圖23是表示根據(jù)以上變形例的系統(tǒng)LSI的構(gòu)成的構(gòu)成圖。圖M是表示本發(fā)明實(shí)施方式6中縮小存儲(chǔ)器視頻解碼器的概要的模塊圖。圖25是涉及進(jìn)行縮小DPB充足性檢查的預(yù)分析器的概略圖，縮小DPB充足性檢查決定針對(duì)以上上位參數(shù)層和下位參數(shù)層雙方的圖片的視頻解碼模式(全分辨率或解碼分辨率)。圖沈是涉及以上下位層語(yǔ)法的縮小DPB充足性檢查的流程圖。圖27是涉及以上預(yù)讀信息生成(步驟S245)的流程圖。
圖觀是涉及以上準(zhǔn)時(shí)移除實(shí)例(on time removal instance)(步驟S2453)的存儲(chǔ)的流程圖。圖四是涉及以上用于確認(rèn)全解碼模式的執(zhí)行可能性的條件檢查(步驟S246)的流程圖。圖30是以上示例的下位層語(yǔ)法的縮小DPB充足性檢查-例1。圖31是以上示例的下位層語(yǔ)法的縮小DPB充足性檢查-例2。圖32是涉及使用表示由以上預(yù)分析器提供的、涉及幀解碼的全部幀的視頻解碼模式的信息列表、進(jìn)行全分辨率視頻解碼或降低分辨率視頻解碼的實(shí)施方式的操作的概略圖。圖33是涉及以上示例的向下采樣部件的概略圖。圖34是涉及以上示例的向下采樣部件中使用的高次變換系數(shù)信息的編碼的流程圖。圖35是涉及以上示例的向下采樣手段中使用的高次變換系數(shù)的嵌入檢查的流程圖。圖36是涉及向以上示例的向下采樣手段中使用的向下樣本像素的多個(gè)LSB嵌入表示高次變換系數(shù)的VLC代碼的流程圖。圖37是示例說明以上具有偶數(shù)或奇數(shù)特性的4像素線的變換系數(shù)特性的說明圖。圖38是涉及以上示例的向上采樣手段的概略圖。圖39是涉及以上示例的向下采樣手段中使用的高次變換系數(shù)信息的提取檢查的流程圖。圖40是涉及以上示例的向下采樣手段中使用的高次變換系數(shù)的解碼的流程圖。圖41是示例說明以上示例的向下采樣手段中使用的4 — 3向下解碼用量化、VLC 和空間水印方式的說明圖。圖42是表示不需要以上預(yù)分析器的縮小存儲(chǔ)器視頻解碼器的代替簡(jiǎn)易實(shí)施方式的圖。圖43是涉及為了以上DPB充足性檢查而僅對(duì)上位參數(shù)層信息進(jìn)行句法解析的本發(fā)明代替簡(jiǎn)易實(shí)施方式的概略圖。圖44是涉及使用表示由以上解碼器自身的句法解析編碼部件提供的、涉及幀解碼的全部幀的視頻解碼模式的信息列表、進(jìn)行全分辨率視頻解碼或降低分辨率視頻解碼的代替實(shí)施方式操作的概略圖。圖45是示例說明以上系統(tǒng)LSI的實(shí)施方式的說明圖。圖46是示例說明以上決定全分辨率/降低分辨率解碼模式中不使用預(yù)分析器的、 代替的本發(fā)明簡(jiǎn)易系統(tǒng)LSI的實(shí)施方式的說明圖。圖47是表示現(xiàn)有典型圖像解碼裝置的功能構(gòu)成的模塊圖。圖48是用于說明以上向下解碼的說明圖。圖49A是用于說明以上其他向下解碼的說明圖。圖49B是用于說明以上其他向下解碼的其他說明圖。
具體實(shí)施例方式以下，參照

本發(fā)明的實(shí)施方式中的圖像處理裝置。(實(shí)施方式1)圖1是表示本實(shí)施方式中的圖像處理裝置的功能構(gòu)成的模塊圖。本實(shí)施方式中的圖像處理裝置10是依次處理多個(gè)輸入圖像的裝置，具備存儲(chǔ)部 11、幀存儲(chǔ)器12、讀出部13與選擇部14。選擇部14對(duì)至少一個(gè)輸入圖像中的每個(gè)輸入圖像切換并選擇第1處理模式與第2 處理模式。例如，選擇部14根據(jù)輸入圖像的特征、性質(zhì)、與該輸入圖像關(guān)聯(lián)的信息等，選擇第1或第2處理模式。存儲(chǔ)部11當(dāng)選擇部14選擇了第1處理模式時(shí)，通過刪除輸入圖像中包含的預(yù)定頻率的信息(例如高頻成分)，縮小輸入圖像，并將縮小后的輸入圖像作為縮小圖像，存儲(chǔ)在幀存儲(chǔ)器12中。另外，存儲(chǔ)部11當(dāng)選擇部14選擇了第2處理模式時(shí)，將輸入圖像不縮小地存儲(chǔ)在幀存儲(chǔ)器12中。讀出部13當(dāng)選擇部14選擇了第1處理模式時(shí)，從幀存儲(chǔ)器12中讀出縮小圖像后擴(kuò)大。另外，讀出部13當(dāng)選擇部14選擇了第2處理模式時(shí)，從幀存儲(chǔ)器12中讀出未縮小的輸入圖像。圖2是表示本實(shí)施方式中圖像處理裝置10的動(dòng)作的流程圖。首先，圖像處理裝置10的選擇部14選擇第1處理模式或第2處理模式(步驟 Sll)。接著，存儲(chǔ)部11將輸入圖像存儲(chǔ)在幀存儲(chǔ)器12中(步驟Si》。S卩，存儲(chǔ)部11在步驟Sll中選擇第1處理模式的情況下，縮小該輸入圖像，并將縮小后的輸入圖像作為縮小圖像，存儲(chǔ)在幀存儲(chǔ)器12中(步驟Slh)，在步驟Sll中選擇第2處理模式的情況下，將該輸入圖像不縮小地存儲(chǔ)在幀存儲(chǔ)器12中(步驟S12b)。并且，讀出部13從幀存儲(chǔ)器12中讀出圖像(步驟S13)。即，讀出部13在步驟Sll 中選擇第1處理模式的情況下，從幀存儲(chǔ)器12中讀出步驟Slh中存儲(chǔ)的縮小圖像后擴(kuò)大 (步驟S13a)，在步驟Sll中選擇第2處理模式的情況下，從幀存儲(chǔ)器12中讀出步驟S12b 中存儲(chǔ)的未縮小的輸入圖像(步驟S13b)。這樣，在本實(shí)施方式中，當(dāng)選擇第1處理模式時(shí)，縮小輸入圖像后存儲(chǔ)在幀存儲(chǔ)器 12中，并且，在讀出該縮小后的輸入圖像時(shí)，擴(kuò)大該縮小后的輸入圖像。由此，可抑制幀存儲(chǔ)器需要的帶域和容量。另外，在本實(shí)施方式中，當(dāng)選擇第2處理模式時(shí)，將輸入圖像不縮小地存儲(chǔ)在幀存儲(chǔ)器12中，原樣讀出該輸入圖像。由此，即便將輸入圖像存儲(chǔ)到幀存儲(chǔ)器12 中并讀出，也不會(huì)縮小和擴(kuò)大輸入圖像，所以可防止該輸入圖像的畫質(zhì)惡化。即，當(dāng)將輸入圖像存儲(chǔ)到幀存儲(chǔ)器中并讀出時(shí)，若將該輸入圖像原樣存儲(chǔ)到幀存儲(chǔ)器中并原樣讀出，則可防止輸入圖像的畫質(zhì)惡化，但需要帶域?qū)?、容量多的幀存?chǔ)器。另一方面，當(dāng)將輸入圖像存儲(chǔ)到幀存儲(chǔ)器中并讀出時(shí)，若如以前那樣始終執(zhí)行在縮小或壓縮并且擴(kuò)大或擴(kuò)展該輸入圖像，則雖然能抑制幀存儲(chǔ)器需要的帶域和容量，但會(huì)使輸入圖像的畫質(zhì)惡化。因此，在本實(shí)施方式中，由于對(duì)至少一個(gè)輸入圖像中的每個(gè)輸入圖像切換并選擇第1處理模式與第2處理模式，所以可取得防止多個(gè)輸入圖像的整體畫質(zhì)惡化與抑制幀存儲(chǔ)器需要的帶域和容量的平衡，使兩者同時(shí)實(shí)現(xiàn)。
另外，本實(shí)施方式的存儲(chǔ)部11執(zhí)行輸入圖像的縮小方法和讀出部13執(zhí)行的縮小圖像的擴(kuò)大方法既可以是上述專利文獻(xiàn)1或上述非專利文獻(xiàn)1中記載的方法，也可以是其他任何方法。(實(shí)施方式2)圖3是表示本實(shí)施方式中的圖像解碼裝置的功能構(gòu)成的模塊圖。本實(shí)施方式中的圖像解碼裝置100對(duì)應(yīng)于H. 264視頻編碼標(biāo)準(zhǔn)，具備語(yǔ)法解析熵解碼部101、逆量化部102、逆頻率變換部103、幀內(nèi)預(yù)測(cè)部104、加法部105、解塊濾波部 106、嵌入縮小處理部107、幀存儲(chǔ)器108、提取擴(kuò)大處理部109、全分辨率運(yùn)動(dòng)補(bǔ)償部110和視頻輸出部111。本實(shí)施方式中的圖像解碼裝置100的特征在于嵌入縮小處理部107和提取擴(kuò)大處理部109的處理。語(yǔ)法解析熵解碼部101取得表示多個(gè)編碼圖像的位流，對(duì)該位流進(jìn)行語(yǔ)法解析及熵解碼。熵解碼中也可包含可變長(zhǎng)度解碼(VLC)或算術(shù)編碼(例如CABAC fontext-based Adaptive Binary Arithmetic Coding)。逆量化部102取得從語(yǔ)法解析熵解碼部101輸出的熵解碼系數(shù)并進(jìn)行逆量化。逆頻率變換部103通過對(duì)逆量化后的熵解碼系數(shù)進(jìn)行逆離散余弦變換，生成差分圖像。加法部105當(dāng)進(jìn)行幀間預(yù)測(cè)時(shí)，通過將從全分辨率運(yùn)動(dòng)補(bǔ)償部110輸出的幀間預(yù)測(cè)圖像與從逆頻率變換部103輸出的差分圖像相加，生成解碼圖像。另外，加法部105當(dāng)進(jìn)行幀內(nèi)預(yù)測(cè)時(shí)，通過將從幀內(nèi)預(yù)測(cè)部104輸出的幀內(nèi)預(yù)測(cè)圖像與從逆頻率變換部103輸出的差分圖像相加，生成解碼圖像。解塊濾波部106對(duì)解碼圖像進(jìn)行解塊濾波處理，降低塊噪聲。嵌入縮小處理部107進(jìn)行縮小處理。即，嵌入縮小處理部107通過縮小該解塊濾波處理后的解碼圖像，生成低分辨率的縮小解碼圖像。并且，嵌入縮小處理部107將該縮小解碼圖像作為參照?qǐng)D像，寫入幀存儲(chǔ)器108。幀存儲(chǔ)器108具有用于存儲(chǔ)多個(gè)參照?qǐng)D像的域。另外，本實(shí)施方式中的嵌入縮小處理部107如后所述，其特征在于通過對(duì)高次變換系數(shù)進(jìn)行量化并進(jìn)行可變長(zhǎng)度編碼的編碼高次變換系數(shù)(嵌入數(shù)據(jù))嵌入縮小解碼圖像中，生成該參照?qǐng)D像。下面，將本實(shí)施方式中的嵌入縮小處理部107執(zhí)行的處理稱為嵌入縮小處理。提取擴(kuò)大處理部109進(jìn)行擴(kuò)展處理。即，提取擴(kuò)大處理部109讀出幀存儲(chǔ)器108中存儲(chǔ)的參照?qǐng)D像，將該參照?qǐng)D像擴(kuò)大為原本的高分辨率(縮小前的解碼圖像的分辨率)的圖像。另外，本實(shí)施方式中的提取擴(kuò)大處理部109如后所述，其特征在于，提取嵌入?yún)⒄請(qǐng)D像中的編碼高次變換系數(shù)，根據(jù)該編碼高次變換系數(shù)，恢復(fù)高次變換系數(shù)，并向提取了編碼高次變換系數(shù)的參照?qǐng)D像附加該高次變換系數(shù)。另外，下面將本實(shí)施方式中的提取擴(kuò)大處理部109執(zhí)行的處理稱為提取擴(kuò)大處理。全分辨率運(yùn)動(dòng)補(bǔ)償部110使用從語(yǔ)法解析熵解碼部101輸出的運(yùn)動(dòng)矢量與由提取擴(kuò)大處理部109擴(kuò)大的參照?qǐng)D像，生成幀間預(yù)測(cè)圖像。幀內(nèi)預(yù)測(cè)部104在進(jìn)行幀內(nèi)預(yù)測(cè)的情況下，使用解碼對(duì)象塊(構(gòu)成解碼對(duì)象的編碼圖像的塊)的鄰近像素，通過對(duì)該解碼對(duì)象塊進(jìn)行幀內(nèi)預(yù)測(cè)，生成幀內(nèi)預(yù)測(cè)圖像。視頻輸出部111讀出幀存儲(chǔ)器108中存儲(chǔ)的參照?qǐng)D像，將該參照?qǐng)D像擴(kuò)大或縮小到應(yīng)輸出到顯示器的分辨率，并輸出到顯示器。下面，詳細(xì)說明本實(shí)施方式中的嵌入縮小處理部107和提取擴(kuò)大處理部109的處
理動(dòng)作。圖4是表示本實(shí)施方式中的嵌入縮小處理部107的處理動(dòng)作概略的流程圖。首先，嵌入縮小處理部107對(duì)像素域的解碼圖像進(jìn)行全分辨率(高分辨率)的頻率變換(具體地為DCT等正交變換)，得到由多個(gè)變換系數(shù)構(gòu)成的頻域的系數(shù)組(步驟 S100)。即，嵌入縮小處理部107對(duì)由NfXNf像素構(gòu)成的解碼圖像進(jìn)行全分辨率的DCT，生成由NfXNf個(gè)變換系數(shù)構(gòu)成的頻域的系數(shù)組，即由頻域表示的解碼圖像。這里，例如Nf為 4。接著，嵌入縮小處理部107從頻域的系數(shù)組中取出高次變換系數(shù)(高頻的變換系數(shù))后編碼(步驟S102)。即，嵌入縮小處理部107從NfXNf個(gè)變換系數(shù)構(gòu)成的系數(shù)組中提取表示高頻成分的(Nf-Ns) XNf個(gè)高次變換系數(shù)后編碼，由此生成編碼高次變換系數(shù)。 這里，例如Ns為3。并且，嵌入縮小處理部107為了在下一步驟中進(jìn)行低分辨率的逆頻率變換，縮放頻域的NsXNf個(gè)變換系數(shù)，調(diào)整這些變換系數(shù)的增益(步驟S104)。接著，嵌入縮小處理部107對(duì)縮放后的NsXNf個(gè)變換系數(shù)進(jìn)行低分辨率的逆頻率變換(具體地為IDCT等逆正交變換)，得到由像素域表示的低分辨率的縮小解碼圖像(步驟 S106)。并且，嵌入縮小處理部107通過將步驟S102得到的編碼高次變換系數(shù)嵌入低分辨率的縮小解碼圖像，生成參照?qǐng)D像(步驟S108)。通過這種處理，將NfXNf像素的解碼圖像低分辨率化即縮小而變換為NsXNf像素的參照?qǐng)D像。即，僅沿水平方向縮小Nf X Nf像素的解碼圖像。本實(shí)施方式中的嵌入縮小處理部107具備執(zhí)行步驟SlOO的處理的第1正交變換部、執(zhí)行步驟S102的處理的刪除部、編碼部和量化部、執(zhí)行步驟S106的處理的第1逆正交變換部、和執(zhí)行步驟S108的處理的嵌入部。這里，詳細(xì)說明步驟SlOO中執(zhí)行的DCT和步驟S106中執(zhí)行的IDCT。由NXN像素構(gòu)成的解碼圖像的二維DCT如下(式1)所示定義。[數(shù)式1]吵，力=Ac⑷c^ggy^—i^^cosi^ll^…(式” N二二2Ν2Ν其中，(式1)中，滿足u，v，x，y = 0，1，2，. .，N_1這樣的條件，x，y是像素域中的空間坐標(biāo)，u，ν是頻域中的頻率坐標(biāo)。另外，C(u)和C(V)分別滿足下(式2、的條件。[數(shù)式2]
““1C(i/),C(v) = |T2 W，V = 0...(式 2)1 otherwise并且，二維 IDCT(Inverse Discrete Cosine Transform，逆離散余弦變換)如下 (式幻所示定義。[數(shù)式3]
權(quán)利要求
1.一種圖像處理裝置，依次處理多個(gè)輸入圖像，具備選擇部，按至少一個(gè)輸入圖像切換并選擇第1處理模式與第2處理模式； 幀存儲(chǔ)器；存儲(chǔ)部，在所述選擇部選擇了所述第1處理模式時(shí)，刪除所述輸入圖像中包含的預(yù)定的頻率的信息從而縮小所述輸入圖像，并將縮小的所述輸入圖像作為縮小圖像存儲(chǔ)在所述幀存儲(chǔ)器中，在所述選擇部選擇了所述第2處理模式時(shí)，不縮小所述輸入圖像，而將該輸入圖像存儲(chǔ)在所述幀存儲(chǔ)器中；以及讀出部，在所述選擇部選擇了所述第1處理模式時(shí)，從所述幀存儲(chǔ)器中讀出并擴(kuò)大所述縮小圖像，在所述選擇部選擇了所述第2處理模式時(shí)，從所述幀存儲(chǔ)器中讀出未縮小的所述輸入圖像。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述圖像處理裝置還具備解碼部，該解碼部將所述讀出部讀出并擴(kuò)大的縮小圖像、或所述讀出部讀出的輸入圖像作為參照?qǐng)D像來參照，對(duì)位流中包含的編碼圖像進(jìn)行解碼，由此生成解碼圖像，所述存儲(chǔ)部將所述解碼部生成的解碼圖像作為輸入圖像處理，由此，當(dāng)選擇了所述第 1處理模式時(shí)，縮小所述解碼圖像，并將縮小的所述解碼圖像作為所述縮小圖像存儲(chǔ)在所述幀存儲(chǔ)器中，當(dāng)選擇了所述第2處理模式時(shí)，不縮小所述解碼部生成的解碼圖像，而將該解碼圖像存儲(chǔ)在所述幀存儲(chǔ)器中，所述選擇部根據(jù)所述位流中包含的涉及所述參照?qǐng)D像的信息，選擇第1處理模式或第 2處理模式。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其中，所述存儲(chǔ)部在將縮小圖像存儲(chǔ)在所述幀存儲(chǔ)器中時(shí)，將表示所述縮小圖像的像素值的數(shù)據(jù)的一部分置換為表示被刪除的頻率的信息的至少一部分的嵌入數(shù)據(jù)，所述讀出部在擴(kuò)大所述縮小圖像時(shí)，從所述縮小圖像中提取所述嵌入數(shù)據(jù)，根據(jù)所述嵌入數(shù)據(jù)恢復(fù)所述頻率的信息，向被提取了所述嵌入數(shù)據(jù)的縮小圖像附加所述頻率的信息，由此擴(kuò)大所述縮小圖像。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述存儲(chǔ)部在縮小所述輸入圖像時(shí)，在水平方向縮小所述輸入圖像，由此減少所述輸入圖像的水平方向的像素?cái)?shù)量，所述讀出部在擴(kuò)大所述縮小圖像時(shí)，在水平方向擴(kuò)大所述參照?qǐng)D像，由此增加所述縮小圖像的水平方向的像素?cái)?shù)量。
5.根據(jù)權(quán)利要求3或4所述的圖像處理裝置，其中，所述存儲(chǔ)部將表示所述縮小圖像的像素值的數(shù)據(jù)之中的、至少包含最低有效位的一個(gè)或多個(gè)位所示的值置換為所述嵌入數(shù)據(jù)。
6.根據(jù)權(quán)利要求3 5中某一項(xiàng)所述的圖像處理裝置，其中， 所述存儲(chǔ)部具備第1正交變換部，將表示所述輸入圖像的域從像素域變換至頻域； 刪除部，從所述頻域的輸入圖像中，將預(yù)定的高頻成分作為所述頻率的信息刪除； 第1逆正交變換部，將表示被刪除了所述高頻成分的輸入圖像的域從頻域變換為像素域；以及嵌入部，將表示由所述第1逆正交變換部變換的輸入圖像的像素值的數(shù)據(jù)的一部分， 置換為表示被刪除的所述高頻成分的至少一部分的所述嵌入數(shù)據(jù)。
7.根據(jù)權(quán)利要求6所述的圖像處理裝置，其中， 所述讀出部具備提取部，提取所述縮小圖像中包含的所述嵌入數(shù)據(jù)； 恢復(fù)部，根據(jù)提取出的所述嵌入數(shù)據(jù)，恢復(fù)所述高頻成分；第2正交變換部，將表示被提取了所述嵌入數(shù)據(jù)的縮小圖像的域從像素域變換至頻域；附加部，向所述頻域的縮小圖像附加所述高頻成分；以及第2逆正交變換部，將表示被附加了所述高頻成分的縮小圖像的域從頻域變換為像素域。
8.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述存儲(chǔ)部還具備編碼部，該編碼部對(duì)所述刪除部刪除的所述高頻成分進(jìn)行可變長(zhǎng)度編碼，由此生成所述嵌入數(shù)據(jù)，所述恢復(fù)部對(duì)所述嵌入數(shù)據(jù)進(jìn)行可變長(zhǎng)度解碼，由此根據(jù)所述嵌入數(shù)據(jù)恢復(fù)所述高頻成分。
9.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述存儲(chǔ)部還具備量化部，該量化部對(duì)所述刪除部刪除的所述高頻成分進(jìn)行量化，由此生成所述嵌入數(shù)據(jù)，所述恢復(fù)部對(duì)所述嵌入數(shù)據(jù)進(jìn)行逆量化，由此根據(jù)所述嵌入數(shù)據(jù)恢復(fù)所述高頻成分。
10.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述提取部提取由表示所述縮小圖像的像素值的位串構(gòu)成的數(shù)據(jù)之中的、至少一個(gè)規(guī)定位所示的所述嵌入數(shù)據(jù)，將被提取了所述嵌入數(shù)據(jù)的像素值，設(shè)定為所述位串根據(jù)所述至少一個(gè)規(guī)定位的值而可能取的值的范圍的中央值，所述第2正交變換部將具有設(shè)定為所述中央值的像素值的縮小圖像的域從像素域變換至頻域。
11.根據(jù)權(quán)利要求3 10所述的圖像處理裝置，其中，所述存儲(chǔ)部根據(jù)所述縮小圖像，判別是否應(yīng)置換為所述嵌入數(shù)據(jù)，在判別為應(yīng)置換的情況下，將表示所述縮小圖像的像素值的數(shù)據(jù)的一部分置換為所述嵌入數(shù)據(jù)，所述讀出部根據(jù)所述縮小圖像，判別是否應(yīng)提取所述嵌入數(shù)據(jù)，在判別為應(yīng)提取的情況下，從所述縮小圖像中提取所述嵌入數(shù)據(jù)，向被提取了所述嵌入數(shù)據(jù)的縮小圖像附加所述頻率的信息。
12.根據(jù)權(quán)利要求7所述的圖像處理裝置，其中，所述第1正交變換部和第2正交變換部通過對(duì)圖像進(jìn)行離散余弦變換，將表示所述圖像的域從像素域變換至頻域，所述第1逆正交變換部和第2逆正交變換部通過對(duì)圖像進(jìn)行逆離散余弦變換，將表示所述圖像的域從頻域變換為像素域。
13.根據(jù)權(quán)利要求12所述的圖像處理裝置，其中，所述離散余弦變換和所述逆離散余弦變換的變換對(duì)象尺寸為4X4尺寸。
14.根據(jù)權(quán)利要求3 13中某一項(xiàng)所述的圖像處理裝置，其中，所述解碼部具備逆頻率變換部，對(duì)所述編碼圖像進(jìn)行逆頻率變換，由此生成差分圖像；運(yùn)動(dòng)補(bǔ)償部，參照所述參照?qǐng)D像進(jìn)行運(yùn)動(dòng)補(bǔ)償，由此生成所述編碼圖像的預(yù)測(cè)圖像；以及加法部，將所述差分圖像與所述預(yù)測(cè)圖像相加，由此生成所述解碼圖像。
15.一種圖像處理方法，依次處理多個(gè)輸入圖像，其中，按至少一個(gè)輸入圖像切換并選擇第1處理模式與第2處理模式；在選擇了所述第1處理模式時(shí)，刪除所述輸入圖像中包含的預(yù)定的頻率的信息從而縮小所述輸入圖像，并將縮小的所述輸入圖像作為縮小圖像存儲(chǔ)在幀存儲(chǔ)器中，在所述選擇部選擇了所述第2處理模式時(shí)，不縮小所述輸入圖像，而將該輸入圖像存儲(chǔ)在所述幀存儲(chǔ)器中；在選擇了所述第1處理模式時(shí)，從所述幀存儲(chǔ)器中讀出并擴(kuò)大所述縮小圖像，在選擇了所述第2處理模式時(shí)，從所述幀存儲(chǔ)器中讀出未縮小的所述輸入圖像。
16.一種程序，用于依次處理多個(gè)輸入圖像，使計(jì)算機(jī)執(zhí)行按至少一個(gè)輸入圖像切換并選擇第1處理模式與第2處理模式；在選擇了所述第1處理模式時(shí)，刪除所述輸入圖像中包含的預(yù)定的頻率的信息從而縮小所述輸入圖像，并將縮小的所述輸入圖像作為縮小圖像存儲(chǔ)在幀存儲(chǔ)器中，在所述選擇部選擇了所述第2處理模式時(shí)，不縮小所述輸入圖像，而將該輸入圖像存儲(chǔ)在所述幀存儲(chǔ)器中；在選擇了所述第1處理模式時(shí)，從所述幀存儲(chǔ)器中讀出并擴(kuò)大所述縮小圖像，在選擇了所述第2處理模式時(shí)，從所述幀存儲(chǔ)器中讀出未縮小的所述輸入圖像。
17.一種集成電路，依次處理多個(gè)輸入圖像，具備選擇部，按至少一個(gè)輸入圖像切換并選擇第1處理模式與第2處理模式；存儲(chǔ)部，在所述選擇部選擇了所述第1處理模式時(shí)，刪除所述輸入圖像中包含的預(yù)定的頻率的信息從而縮小所述輸入圖像，并將縮小的所述輸入圖像作為縮小圖像存儲(chǔ)在幀存儲(chǔ)器中，在所述選擇部選擇了所述第2處理模式時(shí)，不縮小所述輸入圖像，而將該輸入圖像存儲(chǔ)在所述幀存儲(chǔ)器中；以及讀出部，在所述選擇部選擇了所述第1處理模式時(shí)，從所述幀存儲(chǔ)器中讀出并擴(kuò)大所述縮小圖像，在所述選擇部選擇了所述第2處理模式時(shí)，從所述幀存儲(chǔ)器中讀出未縮小的所述輸入圖像。
全文摘要
一種圖像處理裝置(10)，可防止畫質(zhì)惡化，抑制幀存儲(chǔ)器需要的帶域和容量，具備選擇部(14)，切換并選擇第1處理模式與第2處理模式；幀存儲(chǔ)器(12)；存儲(chǔ)部(11)，在選擇了第1處理模式時(shí)，通過刪除輸入圖像中包含的預(yù)定頻率的信息，縮小該輸入圖像，并將縮小后的輸入圖像作為縮小圖像，存儲(chǔ)在幀存儲(chǔ)器(12)中，在選擇了第2處理模式時(shí)，將輸入圖像不縮小地存儲(chǔ)在幀存儲(chǔ)器(12)中；和讀出部(13)，在選擇了第1處理模式時(shí)，從幀存儲(chǔ)器(12)中讀出縮小圖像并擴(kuò)大，在選擇了第2處理模式時(shí)，從幀存儲(chǔ)器(12)中讀出未縮小的輸入圖像。
文檔編號(hào)H04N7/32GK102165778SQ20108000260
公開日2011年8月24日 申請(qǐng)日期2010年1月14日 優(yōu)先權(quán)日2009年2月10日
發(fā)明者M·彼米, V·瓦哈達(dá)尼亞, W·L·紐, 今仲隆晃, 林宗順, 田中健 申請(qǐng)人:松下電器產(chǎn)業(yè)株式會(huì)社