圖像處理裝置、圖像處理方法和程序的制作方法
【專利摘要】本發(fā)明提供了圖像處理裝置、圖像處理方法和程序。所述圖像處理裝置包括：常規(guī)插補(bǔ)圖像生成單元，其被構(gòu)造成基于沿著時(shí)間序列再現(xiàn)的多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是常規(guī)插補(bǔ)圖像；高頻區(qū)域提取單元，其被構(gòu)造成在所述多個(gè)原始圖像各者中提取具有高于預(yù)定值的空間頻率的高頻區(qū)域；高頻區(qū)域插補(bǔ)圖像生成單元，其被構(gòu)造成基于隨著所述時(shí)間序列上的時(shí)間的流逝所述高頻區(qū)域的位置的變化且基于所述多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是高頻區(qū)域插補(bǔ)圖像；以及合成單元，其被構(gòu)造用來執(zhí)行合成處理以將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成。本發(fā)明改善了移動圖像的圖像質(zhì)量。
【專利說明】圖像處理裝置、圖像處理方法和程序
[0001]相關(guān)申請的交叉參考
[0002]本申請主張享有于2012年12月20日提交的日本優(yōu)先權(quán)專利申請JP2012-277561的優(yōu)先權(quán)，并且將該日本優(yōu)先權(quán)申請的全部內(nèi)容以引用的方式并入本文。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明涉及圖像處理裝置、圖像處理方法和用于使計(jì)算機(jī)執(zhí)行該圖像處理方法的程序。具體地，本發(fā)明涉及使移動圖像中每單位時(shí)間的幀數(shù)目改變的圖像處理裝置和圖像處理方法，且涉及用于使計(jì)算機(jī)執(zhí)行該圖像處理方法的程序。
【背景技術(shù)】
[0004]在諸如電視接收機(jī)等相關(guān)技術(shù)中的圖像處理裝置中，在一些情況下進(jìn)行幀率轉(zhuǎn)換(frame rate conversion)以改變移動圖像中每單位時(shí)間的巾貞數(shù)目，即巾貞率。例如，為了平滑在移動圖像中的對象的運(yùn)動，進(jìn)行幀率轉(zhuǎn)換來增加幀率，這被稱作上轉(zhuǎn)換(up-conversion)。
[0005]在這樣的上轉(zhuǎn)換中，廣泛使用從原始巾貞中生成插補(bǔ)巾貞(interpolated frame)且將插補(bǔ)幀插入在原始幀之間的幀插補(bǔ)方法。在幀插補(bǔ)方法中，進(jìn)行運(yùn)動補(bǔ)償處理以檢測在原始幀中的對象的運(yùn)動且基于該運(yùn)動生成插補(bǔ)幀。這使得在含有移動對象的移動圖像中能夠進(jìn)行自然插補(bǔ)。
[0006]在進(jìn)行運(yùn)動補(bǔ)償處理時(shí)，廣泛使用以逐個(gè)塊為基礎(chǔ)或以逐個(gè)像素為基礎(chǔ)來檢測對象的運(yùn)動的方法，但是，這個(gè)方法可能會造成運(yùn)動檢測在一些塊或像素中失敗的概率。如果未檢測到其運(yùn)動的對象是高頻分量(例如，文字插播)，那么在具有檢測已經(jīng)失敗的部分的圖像中容易出現(xiàn)缺陷。例如，因?yàn)楹懈哳l分量的對象具有與背景的清晰邊界，所以在檢測已經(jīng)失敗的部分處出現(xiàn)模糊。另一方面，因?yàn)楹械皖l分量的對象具有模糊的邊界，所以假如運(yùn)動檢測失敗也不容易發(fā)生模糊。
[0007]為了抑制涉及運(yùn)動檢測失敗的缺陷，提出了下面的圖像處理裝置。該圖像處理裝置檢測包含具有運(yùn)動的高頻分量的區(qū)域(其要成為用于文字插播的區(qū)域)，且改變用于這樣的區(qū)域的插補(bǔ)方法(參見，例如，日本專利申請?zhí)亻_第2009-296284號)。該圖像處理裝置檢測在文字插播的區(qū)域內(nèi)的整個(gè)區(qū)域的運(yùn)動且檢測其他區(qū)域內(nèi)的以逐個(gè)塊為基礎(chǔ)或以逐個(gè)像素為基礎(chǔ)的運(yùn)動。隨后，沿著檢測到的運(yùn)動的方向，移置原始幀中的文字插播的整個(gè)區(qū)域，且在除了文字插播以外的區(qū)域中，移置各塊或各像素的原始幀以生成插補(bǔ)幀。文字插播的整個(gè)區(qū)域被移置，因而使得沒有模糊發(fā)生在該區(qū)域中。
[0008]然而，在上述的相關(guān)技術(shù)的技術(shù)中，在幀率轉(zhuǎn)換之后的移動圖像的圖像質(zhì)量可能劣化。具體地，該圖像處理裝置對文字插播的區(qū)域和其他區(qū)域進(jìn)行不同類型的處理，因此存在著這些區(qū)域之間的邊界看上去不自然的可能性。
[0009]這導(dǎo)致了圖像質(zhì)量劣化的可能性。
【發(fā)明內(nèi)容】

[0010]本發(fā)明是鑒于如上所述的情況而做出的，且期望改善其幀率被轉(zhuǎn)換的移動圖像的圖像質(zhì)量。
[0011]為此，本發(fā)明的實(shí)施例提供了圖像處理裝置、用于該圖像處理裝置的圖像處理方法和用于使計(jì)算機(jī)執(zhí)行該圖像處理方法的程序。所述圖像處理裝置包括常規(guī)插補(bǔ)圖像生成單元、高頻區(qū)域提取單元、高頻區(qū)域插補(bǔ)圖像生成單元和合成單元。所述常規(guī)插補(bǔ)圖像生成單元被構(gòu)造成基于沿著時(shí)間序列再現(xiàn)的多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是常規(guī)插補(bǔ)圖像。所述高頻區(qū)域提取單元被構(gòu)造用來在所述多個(gè)原始圖像各者中提取具有高于預(yù)定值的空間頻率的高頻區(qū)域。所述高頻區(qū)域插補(bǔ)圖像生成單元被構(gòu)造成基于隨著所述時(shí)間序列上的時(shí)間的流逝所述高頻區(qū)域的位置的變化且基于所述多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是高頻區(qū)域插補(bǔ)圖像。所述合成單元被構(gòu)造用來執(zhí)行合成處理以將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成。這提供了基于所述多個(gè)原始圖像各者而生成所述常規(guī)插補(bǔ)圖像、基于隨著所述時(shí)間序列上的時(shí)間的流逝所述高頻區(qū)域的位置的變化且基于所述多個(gè)原始圖像各者而生成所述高頻區(qū)域插補(bǔ)圖像、以及將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成的效果O
[0012]此外，在本發(fā)明的所述實(shí)施例中，所述圖像處理裝置可以還包括矢量檢測單元，所述矢量檢測單元被構(gòu)造用來檢測表明在所述時(shí)間序列上的一定時(shí)間段內(nèi)所述高頻區(qū)域的位置發(fā)生變化的方向和距離的矢量，且所述高頻區(qū)域插補(bǔ)圖像生成單元可以被構(gòu)造用來基于所述矢量和所述多個(gè)原始圖像各者生成所述高頻區(qū)域插補(bǔ)圖像。這提供了基于表明所述高頻區(qū)域的位置發(fā)生變化的方向和距離的所述矢量且基于所述多個(gè)原始圖像各者而生成所述高頻區(qū)域插補(bǔ)圖像的效果。
[0013]此外，在本發(fā)明的所述實(shí)施例中，所述圖像處理裝置可以還包括合成比率確定單元，所述合成比率確定單元被構(gòu)造用來根據(jù)在所述高頻區(qū)域內(nèi)的像素各自的像素值為每個(gè)像素確定在將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成時(shí)的比率，且所述合成單元可以被構(gòu)造用來按照所述比率執(zhí)行所述合成處理。這提供了按照根據(jù)在所述高頻區(qū)域內(nèi)的所述像素各自的像素值為每個(gè)像素確定的所述比率執(zhí)行所述合成處理的效果。
[0014]此外，在本發(fā)明的所述實(shí)施例中，所述高頻區(qū)域提取單元可以包括濾波器單元、差分檢測單元和增加單元。所述濾波器單元被構(gòu)造用來在所述多個(gè)原始圖像各者中提取所述高頻區(qū)域。所述差分檢測單元被構(gòu)造用來為每個(gè)像素檢測在所述多個(gè)原始圖像中的兩個(gè)相鄰原始圖像之間的像素值的差分。所述增加單元被構(gòu)造用來根據(jù)所述差分增加所述兩個(gè)相鄰原始圖像各者中的在所述高頻區(qū)域內(nèi)的所述像素各自的像素值，且將增加后的所述像素值提供給所述矢量檢測單元和所述合成比率確定單元。這提供了根據(jù)所述差分增加在所述高頻區(qū)域內(nèi)的所述像素各自的像素值的效果。
[0015]此外，在本發(fā)明的所述實(shí)施例中，所述高頻區(qū)域提取單元可以還包括第一差分核化處理單元，所述第一差分核化處理單元被構(gòu)造用來執(zhí)行第一差分核化處理以從檢測到的所述差分中移除小于第一差分閾值的差分。而且，所述增加單元可以被構(gòu)造用來根據(jù)被進(jìn)行了所述第一差分核化處理的所述差分增加在所述高頻區(qū)域內(nèi)的所述像素各自的像素值，且將增加后的所述像素值提供給所述矢量檢測單元。這提供了根據(jù)被進(jìn)行了所述第一差分核化處理的所述差分增加在所述高頻區(qū)域內(nèi)的所述像素各自的像素值的效果。
[0016]此外，在本發(fā)明的所述實(shí)施例中，所述高頻區(qū)域提取單元可以還包括第二差分核化處理單元，所述第二差分核化處理單元被構(gòu)造用來執(zhí)行第二差分核化處理以從檢測到的所述差分中移除小于第二差分閾值的差分。而且，所述增加單元可以被構(gòu)造用來根據(jù)被進(jìn)行了所述第二差分核化處理的所述差分增加在所述高頻區(qū)域內(nèi)的所述像素各自的像素值，且將增加后的所述像素值提供給所述合成比率確定單元。這提供了根據(jù)被進(jìn)行了所述第二差分核化處理的所述差分增加在所述高頻區(qū)域內(nèi)的所述像素各自的像素值的效果。
[0017]此外，在本發(fā)明的所述實(shí)施例中，所述高頻區(qū)域提取單元可以還包括第一像素核化處理單元，所述第一像素核化處理單元被構(gòu)造用來執(zhí)行第一像素核化處理以在所提取的所述高頻區(qū)域中移除具有小于第一像素值閾值的像素值的像素。而且，所述增加單元可以被構(gòu)造用來根據(jù)所述差分增加在被進(jìn)行了所述第一像素核化處理的所述高頻區(qū)域內(nèi)的所述像素各自的像素值，且將增加后的所述像素值提供給所述矢量檢測單元。這提供了根據(jù)所述差分增加在被進(jìn)行了所述第一像素核化處理的所述高頻區(qū)域內(nèi)的所述像素各自的像素值的效果。
[0018]此外，在本發(fā)明的所述實(shí)施例中，所述高頻區(qū)域提取單元可以還包括第二像素核化處理單元，所述第二像素核化處理單元被構(gòu)造用來執(zhí)行第二像素核化處理以在所提取的所述高頻區(qū)域中移除具有小于第二像素值閾值的像素值的像素。而且，所述增加單元可以被構(gòu)造用來根據(jù)所述差分增加在被進(jìn)行了所述第二像素核化處理的所述高頻區(qū)域內(nèi)的所述像素各自的像素值，且將增加后的所述像素值提供給所述合成比率確定單元。這提供了根據(jù)所述差分增加在被進(jìn)行了所述第二像素核化處理的所述高頻區(qū)域內(nèi)的所述像素各自的像素值的效果。
[0019]此外，在本發(fā)明的所述實(shí)施例中，所述多個(gè)原始圖像各者均可以包括分別具有預(yù)定形狀的多個(gè)塊。而且，所述常規(guī)插補(bǔ)圖像生成單元可以被構(gòu)造用來基于隨著所述時(shí)間序列上的時(shí)間的流逝所述多個(gè)塊各者的位置的變化且基于所述多個(gè)原始圖像各者生成所述常規(guī)插補(bǔ)圖像。這提供了基于隨著所述時(shí)間序列上的時(shí)間的流逝所述多個(gè)塊各者的位置的變化且基于所述多個(gè)原始圖像各者生成常規(guī)插補(bǔ)圖像的效果。
[0020]此外，在本發(fā)明的所述實(shí)施例中，所述圖像處理裝置可以還包括選擇單元，所述選擇單元被構(gòu)造用來以所述時(shí)間序列的順序選擇由所述合成單元合成的圖像和所述多個(gè)原始圖像，且輸出所選擇的圖像。這提供了以所述時(shí)間序列的順序選擇所合成的圖像和所述多個(gè)原始圖像、且輸出所選擇的圖像的效果。
[0021]本發(fā)明實(shí)施例的圖像處理方法包括如下工序:常規(guī)插補(bǔ)圖像生成工序，通過常規(guī)插補(bǔ)圖像生成單元基于沿著時(shí)間序列再現(xiàn)的多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是常規(guī)插補(bǔ)圖像；高頻區(qū)域提取工序，通過高頻區(qū)域提取單元在所述多個(gè)原始圖像各者中提取具有高于預(yù)定值的空間頻率的高頻區(qū)域；高頻區(qū)域插補(bǔ)圖像生成工序，通過高頻區(qū)域插補(bǔ)圖像生成單元基于隨著所述時(shí)間序列上的時(shí)間的流逝所述高頻區(qū)域的位置的變化且基于所述多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是高頻區(qū)域插補(bǔ)圖像；以及合成工序，通過合成單元執(zhí)行合成處理以將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成。
[0022]本發(fā)明實(shí)施例的程序用于使計(jì)算機(jī)執(zhí)行如下工序:常規(guī)插補(bǔ)圖像生成工序，通過常規(guī)插補(bǔ)圖像生成單元基于沿著時(shí)間序列再現(xiàn)的多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是常規(guī)插補(bǔ)圖像；高頻區(qū)域提取工序，通過高頻區(qū)域提取單元在所述多個(gè)原始圖像各者中提取具有高于預(yù)定值的空間頻率的高頻區(qū)域；高頻區(qū)域插補(bǔ)圖像生成工序，通過高頻區(qū)域插補(bǔ)圖像生成單元基于隨著所述時(shí)間序列上的時(shí)間的流逝所述高頻區(qū)域的位置的變化且基于所述多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是高頻區(qū)域插補(bǔ)圖像；以及合成工序，通過合成單元執(zhí)行合成處理以將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成。
[0023]根據(jù)本發(fā)明，可以產(chǎn)生對于其幀率被轉(zhuǎn)換的移動圖像的圖像質(zhì)量進(jìn)行改善的極好效果。
[0024]根據(jù)如在附圖中所示的本發(fā)明最佳實(shí)施方式的以下詳細(xì)說明，本發(fā)明的上述這些和其他目的、特征和優(yōu)勢將變得更加顯然。
【專利附圖】

【附圖說明】
[0025]圖1是示出了第一實(shí)施例中的信息處理系統(tǒng)的構(gòu)造示例的方框圖；
[0026]圖2是示出了第一實(shí)施例中的圖像處理裝置的構(gòu)造示例的方框圖；
[0027]圖3是示出了第一實(shí)施例中的插補(bǔ)圖像生成單元的構(gòu)造示例的方框圖；
[0028]圖4A、圖4B和圖4C均用于說明在第一實(shí)施例中的用于檢測局部運(yùn)動矢量的方法;
[0029]圖5說明了在第一實(shí)施例中的局部運(yùn)動矢量的示例；
[0030]圖6是示出了第一實(shí)施例中的常規(guī)插補(bǔ)圖像生成單元的構(gòu)造示例的方框圖；
[0031]圖7A、圖7B和圖7C均用于說明在第一實(shí)施例中的用于生成常規(guī)插補(bǔ)圖像的方法;
[0032]圖8是示出了第一實(shí)施例中的高頻區(qū)域提取單元的構(gòu)造示例的方框圖；
[0033]圖9是示出了第一實(shí)施例中的差分檢測單元的構(gòu)造示例的方框圖；
[0034]圖10是示出了第一實(shí)施例中的高頻區(qū)域插補(bǔ)圖像生成單元的構(gòu)造示例的方框圖；
[0035]圖11是示出了第一實(shí)施例中的合成比率確定單元的構(gòu)造示例的方框圖；
[0036]圖12是示出了第一實(shí)施例中的合成單元的構(gòu)造示例的方框圖；
[0037]圖13說明了在第一實(shí)施例中的常規(guī)插補(bǔ)圖像的示例；
[0038]圖14說明了在第一實(shí)施例中的高頻區(qū)域插補(bǔ)圖像的示例；
[0039]圖15說明了在第一實(shí)施例中的合成比率數(shù)據(jù)的示例；
[0040]圖16說明了在第一實(shí)施例中的合成的插補(bǔ)圖像的示例；
[0041]圖17是示出了第一實(shí)施例中的圖像處理裝置的操作示例的流程圖；
[0042]圖18是示出了第一實(shí)施例中的插補(bǔ)圖像生成處理的示例的流程圖；
[0043]圖19是示出了第一實(shí)施例的變型例中的插補(bǔ)圖像生成單元的構(gòu)造示例的方框圖；
[0044]圖20是示出了第一實(shí)施例的變型例中的常規(guī)插補(bǔ)圖像生成單元的構(gòu)造示例的方框圖；
[0045]圖21說明了在第一實(shí)施例的變型例中的常規(guī)插補(bǔ)圖像的示例；[0046]圖22是示出了第二實(shí)施例中的插補(bǔ)圖像生成單元的構(gòu)造示例的方框圖；
[0047]圖23是示出了第二實(shí)施例中的高頻區(qū)域提取單元的構(gòu)造示例的方框圖；和
[0048]圖24是示出了第二實(shí)施例的變型例中的高頻區(qū)域提取單元的構(gòu)造示例的方框圖。
【具體實(shí)施方式】
[0049]在下文中，將說明用于實(shí)施本發(fā)明的方式(在下文中，被稱作實(shí)施例)。將以下面的順序給出說明。
[0050]1、第一實(shí)施例(將常規(guī)插補(bǔ)圖像和高頻區(qū)域插補(bǔ)圖像合成的示例)
[0051]2、第二實(shí)施例(將常規(guī)插補(bǔ)圖像和根據(jù)在核化處理之后所獲得的差分而生成的高頻區(qū)域插補(bǔ)圖像合成的示例)
[0052]1、第一實(shí)施例
[0053](信息處理系統(tǒng)的構(gòu)造示例)
[0054]圖1是示出了第一實(shí)施例中的信息處理系統(tǒng)的構(gòu)造示例的方框圖。該信息處理系統(tǒng)包括移動圖像供給裝置100、圖像處理裝置200和顯示裝置400。
[0055]移動圖像供給裝置100經(jīng)由信號線109將包括有移動圖像的輸入信號提供給圖像處理裝置200。該移動圖像包括要被以時(shí)間序列的順序予以再現(xiàn)的多個(gè)幀(圖像)。在下文中，輸入信號中的每個(gè)圖像被稱作“原始圖像”。例如，移動圖像供給裝置100接收到提供了移動圖像的廣播波，且從該廣播波中獲取所述移動圖像。當(dāng)移動圖像的幀率由赫茲(Hz)表示時(shí)，在輸入信號中的移動圖像的幀率例如是60赫茲。
[0056]注意，移動圖像供給裝置100可以從除了廣播波之外的源中獲取移動圖像。例如，移動圖像供給裝置100可以通過讀出記錄在諸如DVD (Digital Versatile Disk ;數(shù)字通用光盤)等記錄介質(zhì)上的或記錄在諸如HDD (Hard Disk Drive ;硬盤驅(qū)動器)等存儲器件中的移動圖像來獲取移動圖像。
[0057]圖像處理裝置200轉(zhuǎn)換該輸入信號中的移動圖像的幀率，且經(jīng)由信號線209將包括有其幀率被轉(zhuǎn)換的移動圖像的輸出信號輸出到顯示裝置400。該輸出信號中的移動圖像的中貞率例如是120赫茲。
[0058]一般而言，當(dāng)在幀率轉(zhuǎn)換中輸入信號的幀率與輸出信號的幀率之比是1:m(m是大于I的實(shí)數(shù))時(shí)，這樣的轉(zhuǎn)換被稱作m倍速幀率轉(zhuǎn)換。例如，從60赫茲到120赫茲的轉(zhuǎn)換是雙倍速幀率轉(zhuǎn)換。注意，除了可以進(jìn)行雙倍速幀率轉(zhuǎn)換，圖像處理裝置200還可以進(jìn)行諸如從30赫茲到120赫茲的四倍速幀率轉(zhuǎn)換等幀率轉(zhuǎn)換。
[0059]顯示裝置400再現(xiàn)且顯示包括在輸出信號中的移動圖像。
[0060](圖像處理裝置的構(gòu)造示例)
[0061]圖2是示出了第一實(shí)施例中的圖像處理裝置200的構(gòu)造示例的方框圖。圖像處理裝置200包括圖像存儲器210、220和230、選擇器240和插補(bǔ)圖像生成單元300。
[0062]圖像存儲器210和230均用于存儲包括在輸入信號中的原始圖像Fn。在這里，η是表明原始圖像被再現(xiàn)的順序的整數(shù)。當(dāng)輸入下一個(gè)原始圖像時(shí)，插補(bǔ)圖像生成單元300和選擇器240分別讀出存儲在圖像存儲器210和230中的原始圖像，以使得能夠獲取延遲了一個(gè)圖像的原始圖像。[0063]基于原始圖像Fn和Flri，插補(bǔ)圖像生成單元300生成要被插入在那兩個(gè)原始圖像F1^P Flri之間的圖像。所生成的圖像是合成的插補(bǔ)圖像MC_mix。插補(bǔ)圖像生成單元300從輸入信號中獲取原始圖像Fn且從圖像存儲器210中獲取延遲的原始圖像Fn_1;以基于那兩個(gè)原始圖像生成合成的插補(bǔ)圖像MC_mix且致使圖像存儲器220存儲所得到的圖像MC_mix。圖像存儲器220用于存儲合成的插補(bǔ)圖像MC_mix。
[0064]選擇器240以時(shí)間序列的順序選擇且輸出存儲在圖像存儲器220中的合成的插補(bǔ)圖像MCjnix和存儲在圖像存儲器230中的原始圖像。
[0065](插補(bǔ)圖像生成單元的構(gòu)造示例)
[0066]圖3是示出了第一實(shí)施例中的插補(bǔ)圖像生成單元300的構(gòu)造示例的方框圖。插補(bǔ)圖像生成單元300包括局部運(yùn)動矢量檢測單元310、常規(guī)插補(bǔ)圖像生成單元320、高頻區(qū)域提取單元330、全局運(yùn)動矢量檢測單元340、高頻區(qū)域插補(bǔ)圖像生成單元350、合成比率確定單元360和合成單元370。
[0067]局部運(yùn)動矢量檢測單元310將原始圖像分成分別具有預(yù)定形狀的多個(gè)塊，且檢測如下的矢量(即，局部運(yùn)動矢量):該矢量表明在一定時(shí)間段之內(nèi)這些塊中的各個(gè)塊移動的方向和距離。具體地，局部運(yùn)動矢量檢測單元310將原始圖像處理為例如由每個(gè)方形塊具有8X8像素的多個(gè)方形塊形成的圖像。局部運(yùn)動矢量檢測單元310選擇插補(bǔ)圖像的任一塊來使用該塊作為目標(biāo)塊。局部運(yùn)動矢量檢測單元310檢測與插補(bǔ)圖像的目標(biāo)塊對應(yīng)的原始圖像的塊，然后為落入在從原始圖像的該塊開始的一定范圍之內(nèi)的原始圖像區(qū)域設(shè)定搜索范圍W。搜索范圍W是被用來通過塊匹配(block matching)搜索局部運(yùn)動矢量的范圍。例如，在原始圖像中，搜索范圍W為了目標(biāo)塊和圍繞該目標(biāo)塊的預(yù)定數(shù)量的塊而設(shè)定的。
[0068]這里,在搜索局部運(yùn)動矢量時(shí)作為候選者的矢量被稱作候選者運(yùn)動矢量mv。能夠通過下面的式I和式2將候選者運(yùn)動矢量mv分成Vn和vn_lt)`[0069]Vn = (vx n, vy n)
[0070]= (-mvX.(1-Relpos)，-mvY.(1-Relpos))......式 I
[0071]Vlri = (Vx lri, Vy lri)
[0072]= (mvX.Relpos, mvY.Relpos)......式 2
[0073]在式I和式2中，mvX表示候選者運(yùn)動矢量mv的x分量,且mvY表示候選者運(yùn)動矢量mv的y分量。此外，在式I和式2中，Relpos表示表明插補(bǔ)位置的插補(bǔ)位置參數(shù)。在這里，插補(bǔ)位置是在對移動圖像進(jìn)行再現(xiàn)的時(shí)間軸上輸出信號中的各個(gè)所合成的插補(bǔ)圖像MC_mix的再現(xiàn)位置。例如，插補(bǔ)位置參數(shù)或Relpos是通過用原始圖像與插補(bǔ)圖像之間的時(shí)間除以兩個(gè)相鄰原始圖像之間的時(shí)間而獲得的值。在雙倍速幀率轉(zhuǎn)換中，原始圖像與插補(bǔ)圖像之間的時(shí)間是兩個(gè)相鄰原始圖像之間的時(shí)間的一半，因而插補(bǔ)位置參數(shù)ReIpos是“0.50”。此外，在四倍速幀率轉(zhuǎn)換中，將三個(gè)插補(bǔ)圖像插入在兩個(gè)相鄰原始圖像之間，因而原始圖像中的一者與各個(gè)插補(bǔ)圖像之間的時(shí)間是兩個(gè)原始圖像之間的時(shí)間的I / 4、1 / 2或3 / 4。因此，各個(gè)插補(bǔ)圖像的插補(bǔ)位置參數(shù)Relpos是“0.25”、“0.50”或“0.75”。
[0074]當(dāng)候選者運(yùn)動矢量mv經(jīng)過目標(biāo)塊中的在坐標(biāo)(x，y)處的像素時(shí)，在原始圖像Fn中的與候選者運(yùn)動矢量mv的終點(diǎn)對應(yīng)的像素的像素值“succ”由下面的式3表示。此外，在原始圖像Flri中的與候選者運(yùn)動矢量mv的始點(diǎn)對應(yīng)的像素的像素值“prev”由下面的式4表不。
【權(quán)利要求】
1.一種圖像處理裝置，其包括: 常規(guī)插補(bǔ)圖像生成單元，所述常規(guī)插補(bǔ)圖像生成單元被構(gòu)造成基于沿著時(shí)間序列再現(xiàn)的多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是常規(guī)插補(bǔ)圖像； 高頻區(qū)域提取單元，所述高頻區(qū)域提取單元被構(gòu)造用來在所述多個(gè)原始圖像各者中提取具有高于預(yù)定值的空間頻率的高頻區(qū)域； 高頻區(qū)域插補(bǔ)圖像生成單元，所述高頻區(qū)域插補(bǔ)圖像生成單元被構(gòu)造成基于隨著所述時(shí)間序列上的時(shí)間的流逝所述高頻區(qū)域的位置的變化且基于所述多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是高頻區(qū)域插補(bǔ)圖像；以及 合成單元，所述合成單元被構(gòu)造用來執(zhí)行合成處理以將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其還包括矢量檢測單元，所述矢量檢測單元被構(gòu)造用來檢測表明在所述時(shí)間序列上的一定時(shí)間段內(nèi)所述高頻區(qū)域的位置發(fā)生變化的方向和距離的矢量， 其中，所述高頻區(qū)域插補(bǔ)圖像生成單元被構(gòu)造用來基于所述矢量和所述多個(gè)原始圖像各者生成所述高頻區(qū)域插補(bǔ)圖像。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，其還包括合成比率確定單元，所述合成比率確定單元被構(gòu)造用來根據(jù)在所述高頻區(qū)域內(nèi)的像素各自的像素值為每個(gè)像素確定在將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成時(shí)的比率， 其中，所述合成單元被構(gòu)造用來根據(jù)所述比率執(zhí)行所述合成處理。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，所述高頻區(qū)域提取單元包括:` 濾波器單元，所述濾波器單元被構(gòu)造用來在所述多個(gè)原始圖像各者中提取所述高頻區(qū)域； 差分檢測單元，所述差分檢測單元被構(gòu)造用來為每個(gè)像素檢測在所述多個(gè)原始圖像中的兩個(gè)相鄰原始圖像之間的像素值的差分；以及 增加單元，所述增加單元被構(gòu)造用來:根據(jù)所述差分增加所述兩個(gè)相鄰原始圖像各者中的在所述高頻區(qū)域內(nèi)的像素各自的像素值，且將增加后的像素值提供給所述矢量檢測單元和所述合成比率確定單元。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述高頻區(qū)域提取單元還包括第一差分核化處理單元，所述第一差分核化處理單元被構(gòu)造用來執(zhí)行第一差分核化處理以從檢測到的所述差分中移除小于第一差分閾值的差分，并且 所述增加單元被構(gòu)造用來:根據(jù)被進(jìn)行了所述第一差分核化處理的所述差分增加在所述高頻區(qū)域內(nèi)的像素各自的像素值，且將增加后的像素值提供給所述矢量檢測單元。
6.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述高頻區(qū)域提取單元還包括第二差分核化處理單元，所述第二差分核化處理單元被構(gòu)造用來執(zhí)行第二差分核化處理以從檢測到的所述差分中移除小于第二差分閾值的差分，并且 所述增加單元被構(gòu)造用來:根據(jù)被進(jìn)行了所述第二差分核化處理的所述差分增加在所述高頻區(qū)域內(nèi)的像素各自的像素值，且將增加后的像素值提供給所述合成比率確定單元。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述高頻區(qū)域提取單元還包括第一像素核化處理單元，所述第一像素核化處理單元被構(gòu)造用來執(zhí)行第一像素核化處理以在所提取的所述高頻區(qū)域內(nèi)移除具有小于第一像素值閾值的像素值的像素，并且 所述增加單元被構(gòu)造用來:根據(jù)所述差分增加在被進(jìn)行了所述第一像素核化處理的所述高頻區(qū)域內(nèi)的像素各自的像素值，且將增加后的像素值提供給所述矢量檢測單元。
8.根據(jù)權(quán)利要求4所述的圖像處理裝置，其中， 所述高頻區(qū)域提取單元還包括第二像素核化處理單元，所述第二像素核化處理單元被構(gòu)造用來執(zhí)行第二像素核化處理以在所提取的所述高頻區(qū)域內(nèi)移除具有小于第二像素值閾值的像素值的像素，并且 所述增加單元被構(gòu)造用來:根據(jù)所述差分增加在被進(jìn)行了所述第二像素核化處理的所述高頻區(qū)域內(nèi)的像素各自的像素值，且將增加后的像素值提供給所述合成比率確定單元。
9.根據(jù)權(quán)利要求1至8任一項(xiàng)所述的圖像處理裝置，其中， 所述多個(gè)原始圖像各者均包括分別具有預(yù)定形狀的多個(gè)塊，且所述常規(guī)插補(bǔ)圖像生成單元被構(gòu)造用來基于隨著所述時(shí)間序列上的時(shí)間的流逝所述多個(gè)塊各者的位置的變化且基于所述多個(gè)原始圖像各者生成所述常規(guī)插補(bǔ)圖像。
10.根據(jù)權(quán)利要求1至8任一項(xiàng)所述的圖像處理裝置，其還包括選擇單元，所述選擇單元被構(gòu)造用來以所述時(shí)間序列的順序選擇由所述合成單元合成的圖像和所述多個(gè)原始圖像，且輸出所選擇的圖像。
11.一種圖像處理方法，其包括如下工序: 常規(guī)插補(bǔ)圖像生成工序，通過常規(guī)插補(bǔ)圖像生成單元基于沿著時(shí)間序列再現(xiàn)的多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是常規(guī)插補(bǔ)圖像； 高頻區(qū)域提取工序，通過高頻區(qū)域提取單元在所述多個(gè)原始圖像各者中提取具有高于預(yù)定值的空間頻率的高頻區(qū)域； 高頻區(qū)域插補(bǔ)圖像生成工序，通過高頻區(qū)域插補(bǔ)圖像生成單元基于隨著所述時(shí)間序列上的時(shí)間的流逝所述高頻區(qū)域的位置的變化且基于所述多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是高頻區(qū)域插補(bǔ)圖像；以及 合成工序，通過合成單元執(zhí)行合成處理以將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成。
12.—種程序，其用于使計(jì)算機(jī)執(zhí)行如下工序: 常規(guī)插補(bǔ)圖像生成工序，通過常規(guī)插補(bǔ)圖像生成單元基于沿著時(shí)間序列再現(xiàn)的多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是常規(guī)插補(bǔ)圖像； 高頻區(qū)域提取工序，通過高頻區(qū)域提取單元在所述多個(gè)原始圖像各者中提取具有高于預(yù)定值的空間頻率的高頻區(qū)域； 高頻區(qū)域插補(bǔ)圖像生成工序，通過高頻區(qū)域插補(bǔ)圖像生成單元基于隨著所述時(shí)間序列上的時(shí)間的流逝所述高頻區(qū)域的位置的變化且基于所述多個(gè)原始圖像各者來生成插入在所述多個(gè)原始圖像之間的圖像，該圖像是高頻區(qū)域插補(bǔ)圖像；以及 合成工序，通過合成單元執(zhí)行合成 處理以將所述常規(guī)插補(bǔ)圖像和所述高頻區(qū)域插補(bǔ)圖像合成。
【文檔編號】H04N19/51GK103888775SQ201310682585
【公開日】2014年6月25日 申請日期:2013年12月12日 優(yōu)先權(quán)日:2012年12月20日
【發(fā)明者】藤代茂夫, 鈴木禎人, 小關(guān)英資, 高橋憲弘, 藤原孝芳 申請人:索尼公司