專(zhuān)利名稱(chēng)：圖像處理裝置和方法、以及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種圖像處理裝置和方法、以及程序，特別是涉及能夠使隔行掃描方式圖像變換為像質(zhì)更佳的逐行掃描方式圖像的圖像處理裝置和方法、以及程序。
背景技術(shù)：
在拍攝向垂直方向運(yùn)動(dòng)的被攝體、或在垂直方向上移動(dòng)攝影裝置進(jìn)行拍攝的情況下，在隔行掃描方式的圖像(下面也稱(chēng)為隔行掃描圖像)中，由于垂直方向的頻帶限制不夠充分，會(huì)產(chǎn)生垂直方向的折疊失真(下面稱(chēng)為垂直折疊失真)，產(chǎn)生水平方向的線(xiàn)的粗細(xì)發(fā)生變化、或邊緣的強(qiáng)度發(fā)生變化的現(xiàn)象。另外具有如下特征在將隔行掃描方式圖像變換(下面稱(chēng)為IP變換)為逐行掃描方式圖像(下面也稱(chēng)為逐行掃描圖像)的情況下，垂直折疊失真更為明顯。
另外，目前作為IP變換的一種方法，提出了如下方法通過(guò)利用運(yùn)動(dòng)向量進(jìn)行運(yùn)動(dòng)補(bǔ)償，來(lái)提高被攝體的運(yùn)動(dòng)部分的分辨率(例如參照專(zhuān)利文獻(xiàn)1)。
另外，目前有如下方法求出當(dāng)前幀的圖像和1幀前的圖像之間的運(yùn)動(dòng)向量，將當(dāng)前幀的圖像、和對(duì)1幀前的圖像使用運(yùn)動(dòng)向量實(shí)施了運(yùn)動(dòng)補(bǔ)償?shù)膱D像，使用被稱(chēng)為循環(huán)系數(shù)的系數(shù)進(jìn)行加權(quán)相加，從而降低垂直折疊失真這樣的周期性失真、隨機(jī)噪聲。在該方法中，在將循環(huán)系數(shù)設(shè)為K(0≤K≤1)的情況下，將當(dāng)前幀的像素值的1-k倍，與實(shí)施了運(yùn)動(dòng)補(bǔ)償?shù)膱D像的像素值的K倍相加。但是，當(dāng)循環(huán)系數(shù)設(shè)得過(guò)大時(shí)，一方面會(huì)降低垂直折疊失真、隨機(jī)噪聲，另一方面有在被攝體移動(dòng)的區(qū)域中產(chǎn)生由殘留圖像等造成的圖像模糊的情況。因此，進(jìn)一步提出了如下方法根據(jù)作為當(dāng)前幀的圖像和前一幀的圖像之間的差的運(yùn)動(dòng)成分，使循環(huán)系數(shù)變化(例如參照專(zhuān)利文獻(xiàn)2)。
專(zhuān)利文獻(xiàn)1日本特開(kāi)2000-261768號(hào)公報(bào)專(zhuān)利文獻(xiàn)2日本特開(kāi)2004-88234號(hào)公報(bào)發(fā)明內(nèi)容但是，在專(zhuān)利文獻(xiàn)1所述的發(fā)明中，IP變換后的逐行掃描圖像中被攝體的運(yùn)動(dòng)區(qū)域的分辨率得到了提高，但是難以抑制垂直方向的折疊失真。
另外，在專(zhuān)利文獻(xiàn)2所述的發(fā)明中，只是根據(jù)運(yùn)動(dòng)成分使循環(huán)系數(shù)變化，因此難以充分抑制圖像的模糊。
本發(fā)明是鑒于這種狀況作出的發(fā)明，其能夠?qū)⒏粜袙呙璺绞綀D像變換為像質(zhì)更佳的逐行掃描圖像。
本發(fā)明的一個(gè)側(cè)面的圖像處理裝置，是將隔行掃描方式的輸入圖像變換為逐行掃描方式的輸出圖像的圖像處理裝置，設(shè)置有IP變換單元、運(yùn)動(dòng)向量檢測(cè)單元、循環(huán)系數(shù)設(shè)定單元、運(yùn)動(dòng)補(bǔ)償單元、以及輸出圖像生成單元，其中，IP變換單元將前述輸入圖像變換為逐行掃描方式的中間圖像；運(yùn)動(dòng)向量檢測(cè)單元檢測(cè)將比前述中間圖像的像素間隔短的距離設(shè)為最小單位的前述輸入圖像的運(yùn)動(dòng)向量；循環(huán)系數(shù)設(shè)定單元根據(jù)作為前述運(yùn)動(dòng)向量的垂直方向成分的垂直運(yùn)動(dòng)量，設(shè)定對(duì)于第1類(lèi)像素的第1循環(huán)系數(shù)和對(duì)于第2類(lèi)像素的第2循環(huán)系數(shù)，其中第1類(lèi)像素處于前述輸入圖像中存在像素的位置上，第2類(lèi)像素處于前述輸入圖像中不存在像素的位置上；運(yùn)動(dòng)補(bǔ)償單元根據(jù)前述運(yùn)動(dòng)向量生成運(yùn)動(dòng)補(bǔ)償圖像，該運(yùn)動(dòng)補(bǔ)償圖像是對(duì)過(guò)去的前述輸出圖像實(shí)施了運(yùn)動(dòng)補(bǔ)償?shù)膱D像；輸出圖像生成單元生成前述輸出圖像，該輸出圖像由將前述中間圖像的前述第1類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第1循環(huán)系數(shù)進(jìn)行加權(quán)相加、將前述中間圖像的前述第2類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第2循環(huán)系數(shù)進(jìn)行加權(quán)相加得到的像素值構(gòu)成。
在前述循環(huán)系數(shù)設(shè)定單元中，前述垂直運(yùn)動(dòng)量的絕對(duì)值越接近0或者前述中間圖像的像素間隔的偶數(shù)倍，將前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)設(shè)定為越小的值；前述垂直運(yùn)動(dòng)量的絕對(duì)值越接近前述中間圖像的像素間隔的奇數(shù)倍，將前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)設(shè)定為越大的值。
在前述循環(huán)系數(shù)設(shè)定單元中，對(duì)于相同值的前述垂直運(yùn)動(dòng)量，可將前述第2循環(huán)系數(shù)設(shè)定為比前述第1循環(huán)系數(shù)大的值。
可進(jìn)一步設(shè)置有可靠度檢測(cè)單元，檢測(cè)前述運(yùn)動(dòng)向量的可靠度；校正單元，根據(jù)前述運(yùn)動(dòng)向量的可靠度來(lái)校正前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)。
在前述可靠度檢測(cè)單元中，對(duì)各個(gè)前述運(yùn)動(dòng)向量檢測(cè)表示與周?chē)那笆鲞\(yùn)動(dòng)向量的偏差程度的第1運(yùn)動(dòng)分散，來(lái)作為前述運(yùn)動(dòng)向量的可靠度；前述校正單元，可進(jìn)行如下校正前述第1運(yùn)動(dòng)分散越大，使前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)越小。
在前述可靠度檢測(cè)單元中，還對(duì)各個(gè)前述運(yùn)動(dòng)向量檢測(cè)第2運(yùn)動(dòng)分散來(lái)作為前述運(yùn)動(dòng)向量的可靠度，該第2運(yùn)動(dòng)分散表示將與該前述運(yùn)動(dòng)向量對(duì)應(yīng)的像素只移動(dòng)了以前述運(yùn)動(dòng)向量表示的方向和距離后的位置周?chē)?幀前的運(yùn)動(dòng)向量的偏差程度；前述校正單元可進(jìn)一步進(jìn)行如下校正前述第2運(yùn)動(dòng)分散越大，使前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)越小。
在前述運(yùn)動(dòng)向量檢測(cè)單元中，對(duì)每個(gè)規(guī)定大小的塊檢測(cè)前述運(yùn)動(dòng)向量；前述可靠度檢測(cè)單元檢測(cè)前述輸入圖像的前述塊內(nèi)的像素值、和使前述塊只移動(dòng)了以前述運(yùn)動(dòng)向量表示的方向和距離后的前述過(guò)去的輸出圖像的塊內(nèi)的像素值之間的差分值；前述校正單元可進(jìn)行如下校正前述差分值越大，使前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)越小。
本發(fā)明的一個(gè)側(cè)面的圖像處理方法、或者程序，是將隔行掃描方式的輸入圖像變換為逐行掃描方式的輸出圖像的圖像處理方法、或者使計(jì)算機(jī)執(zhí)行將隔行掃描方式的輸入圖像變換為逐行掃描方式的輸出圖像的圖像處理的程序，包括如下步驟將前述輸入圖像變換為逐行掃描方式的中間圖像；檢測(cè)將比前述中間圖像的像素間隔短的距離設(shè)為最小單位的前述輸入圖像的運(yùn)動(dòng)向量；根據(jù)作為前述運(yùn)動(dòng)向量的垂直方向成分的垂直運(yùn)動(dòng)量，設(shè)定對(duì)于第1類(lèi)像素的第1循環(huán)系數(shù)和對(duì)于第2類(lèi)像素的第2循環(huán)系數(shù)，其中第1類(lèi)像素處于前述輸入圖像中存在像素的位置上，第2類(lèi)像素處于前述輸入圖像中不存在像素的位置上；根據(jù)前述運(yùn)動(dòng)向量生成運(yùn)動(dòng)補(bǔ)償圖像，該運(yùn)動(dòng)補(bǔ)償圖像是對(duì)過(guò)去的前述輸出圖像實(shí)施了運(yùn)動(dòng)補(bǔ)償?shù)膱D像；生成前述輸出圖像，該輸出圖像由將前述中間圖像的前述第1類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第1循環(huán)系數(shù)進(jìn)行加權(quán)相加、將前述中間圖像的前述第2類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第2循環(huán)系數(shù)進(jìn)行加權(quán)相加得到的像素值構(gòu)成。
在本發(fā)明的一個(gè)側(cè)面中，將前述輸入圖像變換為逐行掃描方式的中間圖像；檢測(cè)將比前述中間圖像的像素間隔短的距離設(shè)為最小單位的前述輸入圖像的運(yùn)動(dòng)向量；根據(jù)作為前述運(yùn)動(dòng)向量的垂直方向成分的垂直運(yùn)動(dòng)量，設(shè)定對(duì)于第1類(lèi)像素的第1循環(huán)系數(shù)和對(duì)于第2類(lèi)像素的第2循環(huán)系數(shù)，其中第1類(lèi)像素處于前述輸入圖像中存在像素的位置上，第2類(lèi)像素處于前述輸入圖像中不存在像素的位置上；根據(jù)前述運(yùn)動(dòng)向量生成運(yùn)動(dòng)補(bǔ)償圖像，該運(yùn)動(dòng)補(bǔ)償圖像是對(duì)過(guò)去的前述輸出圖像實(shí)施了運(yùn)動(dòng)補(bǔ)償?shù)膱D像；生成前述輸出圖像，該輸出圖像由將前述中間圖像的前述第1類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第1循環(huán)系數(shù)進(jìn)行加權(quán)相加、將前述中間圖像的前述第2類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第2循環(huán)系數(shù)進(jìn)行加權(quán)相加得到的像素值構(gòu)成。
如以上那樣，根據(jù)本發(fā)明的一個(gè)側(cè)面，能夠?qū)⒏粜袙呙璺绞降膱D像變換為逐行掃描方式的圖像。特別是，根據(jù)本發(fā)明的一個(gè)側(cè)面，能夠?qū)⒏粜袙呙璺绞降膱D像變換為像質(zhì)更佳的逐行掃描方式的圖像。


圖1是表示應(yīng)用了本發(fā)明的圖像變換裝置的一個(gè)實(shí)施方式結(jié)構(gòu)的框圖。
圖2是表示圖1的循環(huán)型IP變換部的功能結(jié)構(gòu)的框圖。
圖3是用于說(shuō)明逐行掃描圖像的像素類(lèi)型的圖。
圖4是表示圖2的運(yùn)動(dòng)向量檢測(cè)部的功能結(jié)構(gòu)的框圖。
圖5是表示圖2的循環(huán)系數(shù)設(shè)定部的功能結(jié)構(gòu)的框圖。
圖6是用于說(shuō)明通過(guò)圖1的圖像變換裝置執(zhí)行的圖像變換處理的流程圖。
圖7是用于說(shuō)明使用了運(yùn)動(dòng)適應(yīng)型方法的IP變換處理的圖。
圖8是用于說(shuō)明圖6的步驟S2的循環(huán)型變換處理的詳細(xì)情況的流程圖。
圖9是用于說(shuō)明MC塊差分值BD的檢測(cè)方法的圖。
圖10是用于說(shuō)明MC塊差分值BD的檢測(cè)方法的圖。
圖11是表示垂直運(yùn)動(dòng)量VY和基本循環(huán)系數(shù)KA0的關(guān)系的曲線(xiàn)圖。
圖12是表示垂直運(yùn)動(dòng)量VY和基本循環(huán)系數(shù)KB0的關(guān)系的曲線(xiàn)圖。
圖13是用于說(shuō)明垂直運(yùn)動(dòng)量VY和垂直折疊失真大小的關(guān)系的圖。
圖14是表示運(yùn)動(dòng)向量分布的例子的圖。
圖15是表示運(yùn)動(dòng)向量分布的其他例子的圖。
圖16是用于說(shuō)明運(yùn)動(dòng)分散MD0的算出方法的圖。
圖17是用于說(shuō)明運(yùn)動(dòng)分散MD1的算出方法的圖。
圖18是用于說(shuō)明圖8的步驟S21的運(yùn)動(dòng)向量檢測(cè)處理的詳細(xì)情況的流程圖。
圖19是用于說(shuō)明檢測(cè)像素以下精度的運(yùn)動(dòng)向量的方法的圖。
圖20是表示循環(huán)型變換部的第2實(shí)施方式的結(jié)構(gòu)的框圖。
圖21是表示循環(huán)型變換部的第3實(shí)施方式的結(jié)構(gòu)的框圖。
圖22是表示個(gè)人計(jì)算機(jī)結(jié)構(gòu)的例子的框圖。
附圖標(biāo)記說(shuō)明101圖像變換裝置；111循環(huán)型IP變換部；121IP變換部；122循環(huán)型變換部；131運(yùn)動(dòng)向量檢測(cè)部；132MC塊差分檢測(cè)部；133循環(huán)系數(shù)設(shè)定部；134運(yùn)動(dòng)補(bǔ)償部；135積和運(yùn)算部；136幀存儲(chǔ)器；151運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部；152像素精度運(yùn)動(dòng)向量檢測(cè)部；153、154抽頭抽出部；156類(lèi)分類(lèi)部；157系數(shù)存儲(chǔ)器；158預(yù)測(cè)運(yùn)算部；159像素以下精度運(yùn)動(dòng)向量檢測(cè)部；171基本循環(huán)系數(shù)設(shè)定部；172運(yùn)動(dòng)分散檢測(cè)部；173循環(huán)系數(shù)算出部；181運(yùn)動(dòng)分散減去量算出部；182MC塊差分減去量算出部；183減法部；201循環(huán)型變換部；211幀存儲(chǔ)器；212運(yùn)動(dòng)向量檢測(cè)部；213MC塊差分檢測(cè)部；301循環(huán)型變換部；311、312幀存儲(chǔ)器；313運(yùn)動(dòng)向量檢測(cè)部；314MC塊差分檢測(cè)部；401CPU；402ROM；403RAM；408存儲(chǔ)部；410驅(qū)動(dòng)器；411可移動(dòng)介質(zhì)。
具體實(shí)施例方式
下面，說(shuō)明本發(fā)明的實(shí)施方式，下面舉例說(shuō)明本發(fā)明的結(jié)構(gòu)要件與說(shuō)明書(shū)或者附圖中所述的實(shí)施方式的對(duì)應(yīng)關(guān)系。該記載是為了確認(rèn)支持本發(fā)明的實(shí)施方式被記載在發(fā)明的詳細(xì)說(shuō)明中。因此，即使有雖然記載在發(fā)明的詳細(xì)說(shuō)明中，但是沒(méi)有作為與本發(fā)明的結(jié)構(gòu)要件對(duì)應(yīng)的實(shí)施方式而在這里記載的實(shí)施方式，也不意味該實(shí)施方式不與該結(jié)構(gòu)要件對(duì)應(yīng)。相反，即使實(shí)施方式作為與結(jié)構(gòu)要件對(duì)應(yīng)的部分而記載于此，也不意味該實(shí)施方式不與該結(jié)構(gòu)要件以外的結(jié)構(gòu)要件對(duì)應(yīng)。
本發(fā)明的一個(gè)側(cè)面的圖像處理裝置(例如，圖2的循環(huán)型IP變換部111)，第1，是將隔行掃描方式的輸入圖像(例如，圖像I1)變換為逐行掃描方式的輸出圖像(例如，圖像P2)的圖像處理裝置，其具備IP變換單元(例如，圖2的IP變換部121)，將前述輸入圖像變換為逐行掃描方式的中間圖像(例如，圖像P1)；運(yùn)動(dòng)向量檢測(cè)單元(例如，圖2的運(yùn)動(dòng)向量檢測(cè)部131)，檢測(cè)將比前述中間圖像的像素間隔短的距離設(shè)為最小單位的前述輸入圖像的運(yùn)動(dòng)向量(例如，運(yùn)動(dòng)向量V)；循環(huán)系數(shù)設(shè)定單元(例如，圖2的循環(huán)系數(shù)設(shè)定部133)，根據(jù)作為前述運(yùn)動(dòng)向量的垂直方向成分的垂直運(yùn)動(dòng)量(例如，垂直運(yùn)動(dòng)量VY)，設(shè)定對(duì)于第1類(lèi)像素(例如，類(lèi)型A的像素)的第1循環(huán)系數(shù)(例如，循環(huán)系數(shù)KA0)和對(duì)于第2類(lèi)像素(例如，類(lèi)型B的像素)的第2循環(huán)系數(shù)(例如，循環(huán)系數(shù)KB0)，其中第1類(lèi)像素處于前述輸入圖像中存在像素的位置上，第2類(lèi)像素處于前述輸入圖像中不存在像素的位置上；運(yùn)動(dòng)補(bǔ)償單元(例如，圖2的運(yùn)動(dòng)補(bǔ)償部134)，根據(jù)前述運(yùn)動(dòng)向量生成運(yùn)動(dòng)補(bǔ)償圖像(例如，圖像P4)，該運(yùn)動(dòng)補(bǔ)償圖像是對(duì)過(guò)去的前述輸出圖像(例如，圖像P3)實(shí)施運(yùn)動(dòng)補(bǔ)償?shù)膱D像；以及輸出圖像生成單元(例如，圖2的積和運(yùn)算部135)，生成前述輸出圖像，該輸出圖像由將前述中間圖像的前述第1類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第1循環(huán)系數(shù)進(jìn)行加權(quán)相加、將前述中間圖像的前述第2類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第2循環(huán)系數(shù)進(jìn)行加權(quán)相加得到的像素值構(gòu)成。
本發(fā)明的一個(gè)側(cè)面的圖像處理裝置，第2，進(jìn)一步具備可靠度檢測(cè)單元(例如，圖5的運(yùn)動(dòng)分散減去量算出部181或者M(jìn)C塊差分減去量算出部182)，檢測(cè)前述運(yùn)動(dòng)向量的可靠度；校正單元(例如，減法部183-1以及183-3、或者減法部183-2以及183-4)，根據(jù)前述運(yùn)動(dòng)向量的可靠度來(lái)校正前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)。
本發(fā)明的一個(gè)側(cè)面的圖像處理方法、或者程序，是將隔行掃描方式的輸入圖像(例如，圖像I1)變換為逐行掃描方式的輸出圖像(例如，圖像P2)的圖像處理方法、或者使計(jì)算機(jī)執(zhí)行將隔行掃描方式的輸入圖像(例如，圖像I1)變換為逐行掃描方式的輸出圖像(例如，圖像P2)的圖像處理的程序，包括如下步驟將前述輸入圖像變換為逐行掃描方式的中間圖像(例如，圖像P1)(例如，圖6的步驟S1)；檢測(cè)將比前述中間圖像的像素間隔短的距離設(shè)為最小單位的前述輸入圖像的運(yùn)動(dòng)向量(例如，運(yùn)動(dòng)向量V)(例如，圖8的步驟S21)；根據(jù)作為前述運(yùn)動(dòng)向量的垂直方向成分的垂直運(yùn)動(dòng)量(例如，垂直運(yùn)動(dòng)量VY)，設(shè)定對(duì)于第1類(lèi)像素(例如，類(lèi)型A的像素)的第1循環(huán)系數(shù)(例如，循環(huán)系數(shù)KA0)和對(duì)于第2類(lèi)像素(例如，類(lèi)型B的像素)的第2循環(huán)系數(shù)(例如，循環(huán)系數(shù)KB0)，其中第1類(lèi)像素處于前述輸入圖像中存在像素的位置上，第2類(lèi)像素處于前述輸入圖像中不存在像素的位置上(例如，圖8的步驟S23)；根據(jù)前述運(yùn)動(dòng)向量生成運(yùn)動(dòng)補(bǔ)償圖像(例如，圖像P4)，該運(yùn)動(dòng)補(bǔ)償圖像是對(duì)過(guò)去的前述輸出圖像(例如，圖像P3)實(shí)施了運(yùn)動(dòng)補(bǔ)償后的圖像(例如，圖8的步驟S28)；生成前述輸出圖像(例如，圖8的步驟29)，該輸出圖像由將前述中間圖像的前述第1類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第1循環(huán)系數(shù)進(jìn)行加權(quán)相加、將前述中間圖像的前述第2類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第2循環(huán)系數(shù)進(jìn)行加權(quán)相加得到的像素值構(gòu)成。
下面參照

本發(fā)明的實(shí)施方式。
圖1是表示應(yīng)用了本發(fā)明的圖像變換裝置101的一個(gè)實(shí)施方式的框圖。圖像變換裝置101由循環(huán)型IP變換部111、輸出相位變換部112、自然圖像預(yù)測(cè)部113、人工圖像預(yù)測(cè)部114、自然圖像人工圖像判斷部115、以及合成部116構(gòu)成。另外循環(huán)型IP變換部111由IP變換部121以及循環(huán)型變換部122構(gòu)成。
成為處理對(duì)象的隔行掃描方式的SD(Standard Definition標(biāo)準(zhǔn)分辨率)圖像被輸入到循環(huán)型IP變換部111的IP變換部121以及循環(huán)型變換部122中。
IP變換部121根據(jù)規(guī)定的方法將輸入的隔行掃描方式的SD圖像(下面也稱(chēng)為輸入圖像)IP變換為逐行掃描方式的SD圖像(下面也稱(chēng)為中間圖像)，將進(jìn)行了IP變換的逐行掃描方式的SD圖像提供給循環(huán)型變換部122。
循環(huán)型變換部122求出輸入圖像、和1幀前從循環(huán)型變換部122輸出的逐行掃描方式的SD圖像(下面也稱(chēng)為輸出圖像)之間的運(yùn)動(dòng)向量。循環(huán)型變換部122將輸入圖像的像素值、和根據(jù)求出的運(yùn)動(dòng)向量在輸出圖像上實(shí)施了運(yùn)動(dòng)補(bǔ)償?shù)南袼氐南袼刂?，使用循環(huán)系數(shù)進(jìn)行加權(quán)相加，從而提高中間圖像的像質(zhì)。循環(huán)型變換部122將中間圖像變換為作為更高像質(zhì)的逐行掃描方式SD圖像的輸出圖像，將輸出圖像提供給輸出相位變換部112。此外，關(guān)于中間圖像的各像素，根據(jù)其是否處于變換前的輸入圖像中存在像素的位置、運(yùn)動(dòng)向量的垂直方向大小、以及表示運(yùn)動(dòng)向量概率的可靠度概率來(lái)設(shè)定循環(huán)系數(shù)。
輸出相位變換部112對(duì)從循環(huán)型變換部122提供的SD圖像在水平方向以及垂直方向上進(jìn)行插值，從而生成HD(HighDefinition高分辨率)圖像。輸出相位變換部112將該HD圖像提供給自然圖像預(yù)測(cè)部113、人工圖像預(yù)測(cè)部114、以及自然圖像人工圖像判斷部115。
自然圖像預(yù)測(cè)部113從由輸出相位變換部112提供的HD圖像預(yù)測(cè)將該HD圖像中的自然圖像變換為高品質(zhì)后的HD圖像(下面稱(chēng)為自然高品質(zhì)圖像)。具體地說(shuō)，自然圖像預(yù)測(cè)部113根據(jù)HD圖像的特征，將作為從該HD圖像求出的自然高品質(zhì)圖像的像素的關(guān)注像素，分類(lèi)到適合自然圖像特征的類(lèi)中。然后，自然圖像預(yù)測(cè)部113使用與該類(lèi)對(duì)應(yīng)的用于預(yù)測(cè)自然高品質(zhì)圖像的預(yù)測(cè)系數(shù)、和HD圖像進(jìn)行運(yùn)算，從而從由輸出相位變換部112提供的HD圖像預(yù)測(cè)自然高品質(zhì)圖像。自然圖像預(yù)測(cè)部113將該自然高品質(zhì)圖像提供給合成部116。
這里，自然圖像是指不是后述人工圖像的圖像，是通過(guò)直接拍攝自然界中存在的被攝體而得到的圖像。
與自然圖像預(yù)測(cè)部113相同，人工圖像預(yù)測(cè)部114從由輸出相位變換部112提供的HD圖像預(yù)測(cè)將該HD圖像中的人工圖像變換為高品質(zhì)后的HD圖像(下面稱(chēng)為人工高品質(zhì)圖像)。具體地說(shuō)，人工圖像預(yù)測(cè)部114根據(jù)HD圖像的特征，將作為從該HD圖像求出的人工高品質(zhì)圖像像素的關(guān)注像素，分類(lèi)到適合人工圖像特征的類(lèi)中。然后，人工圖像預(yù)測(cè)部114使用與該類(lèi)對(duì)應(yīng)的用于預(yù)測(cè)人工高品質(zhì)圖像的預(yù)測(cè)系數(shù)、和HD圖像進(jìn)行運(yùn)算，從而從由輸出相位變換部112提供的HD圖像預(yù)測(cè)人工高品質(zhì)圖像。人工圖像預(yù)測(cè)部114將該人工高品質(zhì)圖像輸出到合成部116。
這里，人工圖像是指文字、單純圖形等、作為灰度等級(jí)少的相位信息的邊緣相位信息鮮明、即平坦部分多的人工圖像。換言之，人工圖像是指文字、單純圖形等、幾乎沒(méi)有灰度等級(jí)、輪廓等相位信息占支配地位的圖像。
自然圖像人工圖像判斷部115對(duì)由輸出相位變換部112提供的HD圖像的各像素判斷是屬于分類(lèi)到人工圖像的區(qū)域、或者分類(lèi)到自然圖像的區(qū)域的哪個(gè)區(qū)域，將判斷結(jié)果作為人工圖像度輸出到合成部116。即，人工圖像度是指，在分類(lèi)到人工圖像和自然圖像中間的區(qū)域中以0到1的值表示自然圖像中的人工圖像比例的值。
合成部116根據(jù)由自然圖像人工圖像判斷部115提供的判斷結(jié)果，將從自然圖像預(yù)測(cè)部113提供的自然高品質(zhì)圖像的各像素的像素值、和從人工圖像預(yù)測(cè)部114提供的人工高品質(zhì)圖像的各像素的像素值以根據(jù)人工圖像度的比例進(jìn)行合成，輸出合成的結(jié)果所得到的HD圖像。
圖2是詳細(xì)表示圖1的循環(huán)型IP變換部111的循環(huán)型變換部122的功能結(jié)構(gòu)的框圖。循環(huán)型變換部122由運(yùn)動(dòng)向量檢測(cè)部131、MC塊差分檢測(cè)部132、循環(huán)系數(shù)設(shè)定部133、運(yùn)動(dòng)補(bǔ)償部134、積和運(yùn)算部135、以及幀存儲(chǔ)器136構(gòu)成。
此外，下面關(guān)于表示由循環(huán)型IP變換部111處理的各圖像的像素位置的坐標(biāo)系，將水平(橫)方向設(shè)為x軸方向，垂直(縱)方向設(shè)為y軸方向。即，各像素的坐標(biāo)由(x，y)表示。另外，下面將從外部輸入到IP變換部121的作為隔行掃描方式SD圖像的輸入圖像也稱(chēng)為圖像I1，從IP變換部121輸出的作為逐行掃描方式SD圖像的中間圖像也稱(chēng)為圖像P1。
另外，通常，在逐行掃描圖像中，有在IP變換前的隔行掃描圖像中處于像素存在的位置上的像素、和處于不存在的位置上的像素這2種像素。下面在區(qū)分該2種像素的情況下，將前者稱(chēng)為A類(lèi)像素，后者稱(chēng)為B類(lèi)像素。
圖3是表示IP變換前的隔行掃描圖像以及IP變換后的逐行掃描圖像的像素位置關(guān)系的圖。圖3的橫軸方向表示時(shí)間，縱軸方向表示像素位置。在該圖3的例子中，以被白圓包圍的黑圓表示的像素是A類(lèi)像素，只以黑圓表示的像素是B類(lèi)像素。
運(yùn)動(dòng)向量檢測(cè)部131檢測(cè)圖像I1的各像素的運(yùn)動(dòng)向量。具體地說(shuō)，運(yùn)動(dòng)向量檢測(cè)部131從幀存儲(chǔ)器136讀出存儲(chǔ)在幀存儲(chǔ)器136中的圖像(下面也稱(chēng)為圖像P3)，該圖像是作為在1幀前從循環(huán)型變換部122輸出的逐行掃描SD圖像的輸出圖像。參照?qǐng)D18如后所述，運(yùn)動(dòng)向量檢測(cè)部131將圖像I1分割為規(guī)定大小、即縱N×橫M像素的塊，對(duì)每塊以像素以下精度、即比逐行掃描圖像中的像素間隔短的距離為最小單位，來(lái)檢測(cè)運(yùn)動(dòng)向量。此外對(duì)于圖像I1中實(shí)際不存在的B類(lèi)像素，應(yīng)用包含該像素的塊的運(yùn)動(dòng)向量。
此外，下面關(guān)于表示塊等、各圖像內(nèi)的規(guī)定塊的位置的坐標(biāo)系，為了與表示像素位置的坐標(biāo)系進(jìn)行區(qū)別，將水平(橫)方向設(shè)為X方向，垂直(縱)方向設(shè)為Y方向。即各塊的坐標(biāo)以(X，Y)表示。另外，下面將坐標(biāo)(X，Y)的塊的運(yùn)動(dòng)向量表示為V(X，Y)，將作為運(yùn)動(dòng)向量V(X，Y)的水平方向成分的水平運(yùn)動(dòng)量表示為VX(X，Y)，將作為運(yùn)動(dòng)向量V(X，Y)的垂直方向成分的垂直運(yùn)動(dòng)量表示為VY(X，Y)。此外，下面，以逐行掃描圖像中的像素間隔作為基準(zhǔn)來(lái)表示水平運(yùn)動(dòng)量以及垂直運(yùn)動(dòng)量的大小。另外，下面將各塊的左上角像素稱(chēng)為基準(zhǔn)像素，將基準(zhǔn)像素的坐標(biāo)稱(chēng)為基準(zhǔn)坐標(biāo)。
運(yùn)動(dòng)向量檢測(cè)部131將表示檢測(cè)的運(yùn)動(dòng)向量V(水平運(yùn)動(dòng)量VX以及垂直運(yùn)動(dòng)量VY)的信息提供給MC塊差分檢測(cè)部132、循環(huán)系數(shù)設(shè)定部133、以及運(yùn)動(dòng)補(bǔ)償部134。另外，運(yùn)動(dòng)向量檢測(cè)部131將在運(yùn)動(dòng)向量檢測(cè)中使用了的圖像I1以及圖像P3提供給MC塊差分檢測(cè)部132。
參照?qǐng)D9以及圖10如后所述，MC塊差分檢測(cè)部132對(duì)圖像I1的每個(gè)塊檢測(cè)MC塊差分值，該MC塊差分值是各塊的像素值、和位于與該塊對(duì)應(yīng)的圖像P3的塊、即、使圖像I1的各塊只移動(dòng)了以運(yùn)動(dòng)向量V表示的方向和距離后的位置上的圖像P3的塊的像素值之間的差分值。MC塊差分檢測(cè)部132將表示檢測(cè)出的MC塊差分值的信息提供給循環(huán)系數(shù)設(shè)定部133。
此外，下面將與圖像I1的坐標(biāo)(X，Y)的塊對(duì)應(yīng)的塊差分值表示為BD(X，Y)。
參照?qǐng)D8等如后所述，循環(huán)系數(shù)設(shè)定部133根據(jù)運(yùn)動(dòng)向量V、以及MC塊差分值BD，設(shè)定對(duì)A類(lèi)像素的循環(huán)系數(shù)KA、以及對(duì)B類(lèi)像素的循環(huán)系數(shù)KB。此外，下面，將對(duì)坐標(biāo)(x，y)的A類(lèi)像素的循環(huán)系數(shù)KA表示為KA(x，y)，將對(duì)坐標(biāo)(x，y)的B類(lèi)像素的循環(huán)系數(shù)KB表示為KB(x，y)。循環(huán)系數(shù)設(shè)定部133將表示設(shè)定的循環(huán)系數(shù)KA以及KB的信息提供給積和運(yùn)算部135。
運(yùn)動(dòng)補(bǔ)償部134從幀存儲(chǔ)器136讀出圖像P3。參照?qǐng)D8如后所述，運(yùn)動(dòng)補(bǔ)償部134根據(jù)運(yùn)動(dòng)向量V生成對(duì)圖像P3實(shí)施了運(yùn)動(dòng)補(bǔ)償后的圖像P4。運(yùn)動(dòng)補(bǔ)償部134將圖像P4提供給積和運(yùn)算部135。
參照?qǐng)D10如后所述，積和運(yùn)算部135生成作為逐行掃描方式的SD圖像的輸出圖像(下面也稱(chēng)為圖像P2)，該圖像由將圖像P1的A類(lèi)像素的像素值和處于與圖像P4對(duì)應(yīng)位置的像素的像素值使用循環(huán)系數(shù)KA進(jìn)行加權(quán)相加、將圖像P1的B類(lèi)像素的像素值和處于與圖像P4對(duì)應(yīng)位置的像素的像素值使用循環(huán)系數(shù)KB進(jìn)行加權(quán)相加后的像素值構(gòu)成。積和運(yùn)算部135將圖像P2提供給輸出相位變換部112，并且存儲(chǔ)在幀存儲(chǔ)器136中。
此外，下面將圖像I1以及圖像P1到P4的坐標(biāo)(x，y)的像素的像素值分別表示為I1(x，y)以及P1(x，y)到P4(x，y)。
圖4是表示運(yùn)動(dòng)向量檢測(cè)部131的功能結(jié)構(gòu)的框圖。運(yùn)動(dòng)向量檢測(cè)部131由運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151、像素精度運(yùn)動(dòng)向量檢測(cè)部152、抽頭抽出部153、154、ADRC(Adaptive Dynamic RangeCoding自適應(yīng)動(dòng)態(tài)范圍編碼)處理部155、類(lèi)分類(lèi)部156、系數(shù)存儲(chǔ)器157、預(yù)測(cè)運(yùn)算部158、以及像素以下精度運(yùn)動(dòng)向量檢測(cè)部159構(gòu)成。
運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151取得從外部輸入的圖像I1，從幀存儲(chǔ)器136取得圖像P3。運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151將圖像I1分割為規(guī)定大小的塊，將各塊依次設(shè)為關(guān)注塊。并且，參照?qǐng)D18如后所述，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151將圖像P3的規(guī)定范圍內(nèi)的像素依次設(shè)為關(guān)注像素，取得與將關(guān)注像素設(shè)為基準(zhǔn)像素的關(guān)注塊相同大小的塊(下面稱(chēng)為比較對(duì)象塊)和處于與關(guān)注塊對(duì)應(yīng)的位置上的像素的像素值之間的差分，將該差分值的絕對(duì)值合計(jì)得到的值作為對(duì)關(guān)注像素的運(yùn)動(dòng)評(píng)價(jià)值求出。運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151將表示檢測(cè)出的運(yùn)動(dòng)評(píng)價(jià)值的信息提供給像素精度運(yùn)動(dòng)向量檢測(cè)部152、以及抽頭抽出部153、154。另外，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151將在運(yùn)動(dòng)向量檢測(cè)中使用了的圖像I1以及圖像P3提供給MC塊差分檢測(cè)部132。
此外，下面將對(duì)坐標(biāo)(x，y)的關(guān)注像素的運(yùn)動(dòng)評(píng)價(jià)值表示為M(x，y)。
參照?qǐng)D18如后所述，像素精度運(yùn)動(dòng)向量檢測(cè)部152將連接運(yùn)動(dòng)評(píng)價(jià)值M最小的像素(下面稱(chēng)為最小評(píng)價(jià)值像素)的坐標(biāo)、與關(guān)注塊的基準(zhǔn)像素的坐標(biāo)的向量，作為對(duì)關(guān)注塊的像素精度的、即與逐行掃描圖像中的像素間隔相等的距離設(shè)為最小單位的運(yùn)動(dòng)向量檢測(cè)出來(lái)。像素精度運(yùn)動(dòng)向量檢測(cè)部152將表示檢測(cè)出的像素精度的運(yùn)動(dòng)向量的信息提供給抽頭抽出部153、154。
參照?qǐng)D18如后所述，抽頭抽出部153將與包括最小評(píng)價(jià)值像素的最小評(píng)價(jià)值像素附近的圖像P3的像素對(duì)應(yīng)的運(yùn)動(dòng)評(píng)價(jià)值M作為預(yù)測(cè)抽頭抽出，其中該像素是用于預(yù)測(cè)最小評(píng)價(jià)值像素和與最小評(píng)價(jià)值像素鄰接的像素之間的位置、即像素以下精度的位置(下面也稱(chēng)為預(yù)測(cè)位置)處的運(yùn)動(dòng)評(píng)價(jià)值的像素。抽頭抽出部153將抽出的預(yù)測(cè)抽頭提供給預(yù)測(cè)運(yùn)算部158。
參照?qǐng)D18如后所述，抽頭抽出部154將與圖像P3的幾個(gè)像素對(duì)應(yīng)的運(yùn)動(dòng)評(píng)價(jià)值M作為類(lèi)抽頭抽出，該幾個(gè)像素用于進(jìn)行將最小評(píng)價(jià)值像素分類(lèi)到幾個(gè)類(lèi)中的某個(gè)類(lèi)的類(lèi)分類(lèi)。抽頭抽出部154將抽出的類(lèi)抽頭提供給ADRC處理部155。
ADRC處理部155對(duì)構(gòu)成類(lèi)抽頭的像素的運(yùn)動(dòng)評(píng)價(jià)值M進(jìn)行ADRC處理，將表示其結(jié)果所得到的ADRC碼的信息提供給類(lèi)分類(lèi)部156。
此外，在K位ADRC中，例如檢測(cè)構(gòu)成類(lèi)抽頭的像素的運(yùn)動(dòng)評(píng)價(jià)值M的最大值MAX和最小值MIN，將DR＝MAX-MIN設(shè)為構(gòu)成類(lèi)抽頭的運(yùn)動(dòng)評(píng)價(jià)值M的集合的局部動(dòng)態(tài)范圍，根據(jù)該動(dòng)態(tài)范圍DR將構(gòu)成類(lèi)抽頭的運(yùn)動(dòng)評(píng)價(jià)值M再次量子化為K位。即，從構(gòu)成類(lèi)抽頭的各像素的運(yùn)動(dòng)評(píng)價(jià)值M減去最小值MIN，將該減法值除以DR/2K(量子化)。然后，將由此得到的、構(gòu)成類(lèi)抽頭的K位的各像素的運(yùn)動(dòng)評(píng)價(jià)值M以規(guī)定順序排列的位串，作為ADRC碼輸出。
類(lèi)分類(lèi)部156根據(jù)來(lái)自ADRC處理部155的ADRC碼，將最小評(píng)價(jià)值像素進(jìn)行類(lèi)分類(lèi)，將表示與其結(jié)果所得到的類(lèi)對(duì)應(yīng)的類(lèi)編碼的信息提供給系數(shù)存儲(chǔ)器157。
系數(shù)存儲(chǔ)器157存儲(chǔ)有通過(guò)后述的學(xué)習(xí)而預(yù)先求出的每類(lèi)的抽頭系數(shù)的集合。系數(shù)存儲(chǔ)器157將該存儲(chǔ)著的抽頭系數(shù)集合中的、存儲(chǔ)在與從類(lèi)分類(lèi)部156提供的類(lèi)編碼對(duì)應(yīng)的地址中的抽頭系數(shù)、即從類(lèi)分類(lèi)部156提供的類(lèi)編碼所表示的類(lèi)的抽頭系數(shù)，提供給預(yù)測(cè)運(yùn)算部158。
參照?qǐng)D18如后所述，預(yù)測(cè)運(yùn)算部158取得抽頭抽出部153輸出的預(yù)測(cè)抽頭、和系數(shù)存儲(chǔ)器157輸出的抽頭系數(shù)，使用該預(yù)測(cè)抽頭和抽頭系數(shù)進(jìn)行求出預(yù)測(cè)位置處的運(yùn)動(dòng)評(píng)價(jià)值M的真值的預(yù)測(cè)值的規(guī)定預(yù)測(cè)運(yùn)算。由此，預(yù)測(cè)運(yùn)算部158求出預(yù)測(cè)位置處的運(yùn)動(dòng)評(píng)價(jià)值M’的預(yù)測(cè)值，提供給像素以下精度運(yùn)動(dòng)向量檢測(cè)部159。
像素以下精度運(yùn)動(dòng)向量檢測(cè)部159，從最小評(píng)價(jià)值像素和預(yù)測(cè)位置處檢測(cè)運(yùn)動(dòng)評(píng)價(jià)值為最小的像素或者位置，將連接檢測(cè)出的像素或者位置的坐標(biāo)、和關(guān)注塊的基準(zhǔn)像素的坐標(biāo)的向量，檢測(cè)為對(duì)關(guān)注塊的像素以下精度的運(yùn)動(dòng)向量V。像素以下精度運(yùn)動(dòng)向量檢測(cè)部159將表示檢測(cè)出的運(yùn)動(dòng)向量V的信息提供給MC塊差分檢測(cè)部132以及循環(huán)系數(shù)設(shè)定部133、以及運(yùn)動(dòng)補(bǔ)償部134。
圖5是表示循環(huán)系數(shù)設(shè)定部133的功能結(jié)構(gòu)的框圖。循環(huán)系數(shù)設(shè)定部133由基本循環(huán)系數(shù)設(shè)定部171、運(yùn)動(dòng)分散檢測(cè)部172、以及循環(huán)系數(shù)算出部173構(gòu)成。另外，循環(huán)系數(shù)算出部173由運(yùn)動(dòng)分散減去量算出部181、MC塊差分減去量算出部182、以及減法部183-1到183-4構(gòu)成。
參照?qǐng)D11到圖12如后所述，基本循環(huán)系數(shù)設(shè)定部171根據(jù)垂直運(yùn)動(dòng)量VY設(shè)定對(duì)于圖像P1的A類(lèi)像素的基本循環(huán)系數(shù)KA0、以及對(duì)于B類(lèi)像素的基本循環(huán)系數(shù)KB0。此外，下面將對(duì)于坐標(biāo)(x，y)的像素的基本循環(huán)系數(shù)KA0表示為KA0(x，y)，將對(duì)于坐標(biāo)(x，y)的像素的基本循環(huán)系數(shù)KB0表示為KB0(x，y)。基本循環(huán)系數(shù)設(shè)定部171將表示基本循環(huán)系數(shù)KA0的信息提供給減法部183-1，將表示基板循環(huán)系數(shù)KB0的信息提供給減法部183-3。
參照?qǐng)D14以及圖17如后所述，運(yùn)動(dòng)分散檢測(cè)部172作為通過(guò)運(yùn)動(dòng)向量檢測(cè)部131檢測(cè)出的運(yùn)動(dòng)向量V的可靠度，檢測(cè)表示與周?chē)\(yùn)動(dòng)向量V之間的偏差程度的運(yùn)動(dòng)分散MD。此外，下面將對(duì)于運(yùn)動(dòng)向量V(X，Y)的運(yùn)動(dòng)分散MD表示為MD(X，Y)。運(yùn)動(dòng)分散檢測(cè)部172將表示運(yùn)動(dòng)分散MD的信息提供給分散減去量算出部181。
參照?qǐng)D8如后所述，運(yùn)動(dòng)分散減去量算出部181根據(jù)運(yùn)動(dòng)分散MD算出作為用于校正基本循環(huán)系數(shù)KA0、KB0的校正值的運(yùn)動(dòng)分散減去量KM1。此外，下面將對(duì)于圖像P1的坐標(biāo)(x，y)的像素的運(yùn)動(dòng)分散減去量KM1表示為KM1(x，y)。運(yùn)動(dòng)分散減去量算出部181將表示運(yùn)動(dòng)分散減去量KM1的信息提供給減法部183-1以及183-3。
參照?qǐng)D8如后所述，MC塊差分減去量算出部182根據(jù)MC塊差分值BD算出作為用于校正基本循環(huán)系數(shù)KA0、KB0的校正值的MC塊差分減去量KM2。此外，下面將對(duì)于圖像P1的坐標(biāo)(x，y)的像素的MC塊差分減去量KM2表示為KM2(x，y)。MC塊差分減去量算出部182將表示MC塊差分減去量KM2的信息提供給減法部183-2以及183-4。
減法部183-1從基本循環(huán)系數(shù)KA0減去運(yùn)動(dòng)分散減去量KM1，并且，減法部183-2從由減法部183-1的算出值減去MC塊差分減去量KM2。由此算出循環(huán)系數(shù)KA。此外，下面將對(duì)于圖像P1的坐標(biāo)(x，y)的像素的循環(huán)系數(shù)KA表示為KA(x，y)。減法部183-2將表示循環(huán)系數(shù)KA的信息提供給積和運(yùn)算部135。
減法部183-3從基本循環(huán)系數(shù)KB0減去運(yùn)動(dòng)分散減去量KM1，并且，減法部183-4從由減法部183-3的算出值減去MC塊差分減去量KM2。由此算出循環(huán)系數(shù)KB。此外，下面將對(duì)于圖像P1的坐標(biāo)(x，y)的像素的循環(huán)系數(shù)KB表示為KB(x，y)。減法部183-4將表示循環(huán)系數(shù)KB的信息提供給積和運(yùn)算部135。
下面參照?qǐng)D6的流程圖說(shuō)明通過(guò)圖像變換裝置101執(zhí)行的圖像變換處理。此外，該處理是例如從外部開(kāi)始圖像I1的輸入時(shí)開(kāi)始的。
在步驟S1中，IP變換部121進(jìn)行IP變換處理。具體地說(shuō)，IP變換部121通過(guò)將從外部輸入的隔行掃描方式圖像I1進(jìn)行IP變換，生成圖像P1。這里，參照?qǐng)D7說(shuō)明作為IP變換部121進(jìn)行的IP變換處理的一例的、使用了被稱(chēng)為運(yùn)動(dòng)適應(yīng)型的方法的IP變換處理。
圖7是表示隔行掃描圖像中的垂直方向的像素排列的圖。圖7的橫軸方向表示時(shí)間，縱軸方向表示像素位置。另外，圖內(nèi)的白圓表示像素。此外，圖內(nèi)的左端像素的列屬于第n-1號(hào)場(chǎng)，正中像素的列屬于第n號(hào)場(chǎng)，右端像素的列屬于第n+1號(hào)場(chǎng)。
下面說(shuō)明了在將第n號(hào)場(chǎng)的隔行掃描圖像變換為逐行掃描圖像的情況下，算出插值到位置x上的像素(B類(lèi)的像素)的像素值的例子。此外，在第n-1號(hào)場(chǎng)中將處于與位置x對(duì)應(yīng)位置上的像素的像素值設(shè)為a，在第n+1場(chǎng)號(hào)中將處于與位置x對(duì)應(yīng)的位置上的像素的像素值設(shè)為b。另外，在第n號(hào)場(chǎng)中將與位置x的上側(cè)鄰接的像素的像素值設(shè)為c，下側(cè)鄰接的像素的像素值設(shè)為d。
例如，在|a-b|≤|c-d|的情況下，位置x被視為被包含在圖像運(yùn)動(dòng)少的靜止區(qū)域中，位置x的像素值被設(shè)為處于在前后的場(chǎng)中與位置x對(duì)應(yīng)的位置上的像素的像素值的平均值即(a+b)/2。另一方面，在|a-b|＞|c-d|的情況下，位置x被視為被包含在圖像運(yùn)動(dòng)大的動(dòng)作區(qū)域中，位置x的像素值被設(shè)為上下方向鄰接的像素值的平均值即(c+d)/2。此外，對(duì)于其他位置的B類(lèi)像素，也通過(guò)同樣方法求出像素值。
此外，IP變換部121所進(jìn)行的IP變換的方法不被限定為特定的方法，例如也可以利用使用了類(lèi)分類(lèi)適應(yīng)處理的方法。此外，關(guān)于使用了類(lèi)分類(lèi)適應(yīng)處理的IP變換的方法，例如在本發(fā)明的申請(qǐng)人先前申請(qǐng)的日本特開(kāi)2000-50213號(hào)公報(bào)等中公開(kāi)有其詳細(xì)內(nèi)容。
另外，也可以不將圖像I1直接進(jìn)行IP變換，而在進(jìn)行IP變換之前對(duì)圖像I1實(shí)施噪聲去除等提高像質(zhì)的圖像處理。
IP變換部121將生成的圖像P1按順序提供給積和運(yùn)算部135。
在步驟S2中，循環(huán)型變換部122進(jìn)行循環(huán)型變換處理。循環(huán)型變換處理的詳細(xì)內(nèi)容將參照?qǐng)D8在后面說(shuō)明，通過(guò)該處理，將圖像P1變換為更高像質(zhì)的圖像P2，并將圖像P2提供給輸出相位變換部112。
在步驟S3中，輸出相位變換部112進(jìn)行輸出相位變換處理。具體地說(shuō)，輸出相位變換部112對(duì)于從循環(huán)型變換部122提供的SD圖像在水平方向以及垂直方向進(jìn)行插值，由此生成HD圖像。輸出相位變換部將該HD圖像提供給自然圖像預(yù)測(cè)部113、人工圖像預(yù)測(cè)部114、以及自然圖像人工圖像判斷部115。
在步驟S4中，自然圖像預(yù)測(cè)部113進(jìn)行自然圖像預(yù)測(cè)處理。具體地說(shuō)，從由輸出相位變換部112提供的HD圖像預(yù)測(cè)將該HD圖像中的自然圖像變換為高品質(zhì)后的自然高品質(zhì)圖像。即，自然圖像預(yù)測(cè)部113根據(jù)HD圖像的特征，將作為從該HD圖像求出的自然高品質(zhì)圖像的像素的關(guān)注像素分類(lèi)到適合自然圖像特征的類(lèi)中。然后，自然圖像預(yù)測(cè)部113通過(guò)使用與該類(lèi)對(duì)應(yīng)的用于預(yù)測(cè)自然高品質(zhì)圖像的預(yù)測(cè)系數(shù)、以及HD圖像進(jìn)行運(yùn)算，從由輸出相位變換部112提供的HD圖像預(yù)測(cè)自然高品質(zhì)圖像。自然圖像預(yù)測(cè)部113將該自然高品質(zhì)圖像提供給合成部116。
在步驟S5中，人工圖像預(yù)測(cè)部114進(jìn)行人工圖像預(yù)測(cè)處理。具體地說(shuō)，與自然圖像預(yù)測(cè)部113相同，人工圖像預(yù)測(cè)部114從由輸出相位變換部112提供的HD圖像預(yù)測(cè)將該HD圖像中的人工圖像變換為高品質(zhì)后的人工高品質(zhì)圖像。即，人工圖像預(yù)測(cè)部114根據(jù)HD圖像的特征，將作為從該HD圖像求出的人工高品質(zhì)圖像的像素的關(guān)注像素分類(lèi)到適合人工圖像特征的類(lèi)中。然后，人工圖像預(yù)測(cè)部114通過(guò)使用與該類(lèi)對(duì)應(yīng)的用于預(yù)測(cè)人工高品質(zhì)圖像的預(yù)測(cè)系數(shù)、和HD圖像進(jìn)行運(yùn)算，從由輸出相位變換部112提供的HD圖像求出人工高品質(zhì)圖像。人工圖像預(yù)測(cè)部114將該人工高品質(zhì)圖像輸出到合成部116。
在步驟S6中，自然圖像人工圖像判斷部115進(jìn)行自然圖像人工圖像判斷處理。具體地說(shuō)，自然圖像人工圖像判斷部115對(duì)由輸出相位變換部112提供的HD圖像的各像素進(jìn)行判斷，判斷其是否屬于分類(lèi)到人工圖像的區(qū)域、或者分類(lèi)到自然圖像的區(qū)域的某個(gè)區(qū)域，并將判斷結(jié)果作為人工圖像度輸出到合成部116。
在步驟S7中，合成部116合成圖像。具體地說(shuō)，合成部116根據(jù)由自然圖像人工圖像判斷部115提供的判斷結(jié)果，將從自然圖像預(yù)測(cè)部113提供的自然高品質(zhì)圖像的各像素的像素值、和從人工圖像預(yù)測(cè)部114提供的人工高品質(zhì)圖像的各像素的像素值，以與人工圖像度相應(yīng)的比例進(jìn)行合成。合成部116將合成后的圖像輸出到后級(jí)的裝置中。
此外，在連續(xù)進(jìn)行多個(gè)圖像的圖像變換的情況下，重復(fù)執(zhí)行上述的步驟S1到S7的處理。
下面參照?qǐng)D8說(shuō)明圖6的步驟S2的循環(huán)型變換處理的詳細(xì)內(nèi)容。
在步驟S21中，運(yùn)動(dòng)向量檢測(cè)部131進(jìn)行運(yùn)動(dòng)向量檢測(cè)處理。運(yùn)動(dòng)向量檢測(cè)處理的詳細(xì)內(nèi)容將參照?qǐng)D18在后面說(shuō)明，通過(guò)該處理檢測(cè)圖像I1的各像素的像素以下精度的運(yùn)動(dòng)向量V。另外，表示檢測(cè)出的運(yùn)動(dòng)向量V的水平運(yùn)動(dòng)量VX以及垂直運(yùn)動(dòng)量VY的信息，被從運(yùn)動(dòng)向量檢測(cè)部131提供給MC塊差分檢測(cè)部132、循環(huán)系數(shù)設(shè)定部133、以及運(yùn)動(dòng)補(bǔ)償部134。另外，在運(yùn)動(dòng)向量V檢測(cè)中使用了的圖像I1以及圖像P3，被從運(yùn)動(dòng)向量檢測(cè)部131提供給MC塊差分檢測(cè)部132。
在步驟S22中，MC塊差分檢測(cè)部132檢測(cè)MC塊差分值。這里參照?qǐng)D9以及圖10說(shuō)明MC塊差分值的檢測(cè)方法。
首先，如圖9所示，將處于與圖像I1的塊B0對(duì)應(yīng)的位置上的圖像P3的塊設(shè)為B0’。另外，將使塊B0’只移動(dòng)了以塊B0的運(yùn)動(dòng)向量V表示的方向和距離后的塊設(shè)為塊B1。
運(yùn)動(dòng)向量V是像素以下精度，因此在水平運(yùn)動(dòng)量VX或者垂直運(yùn)動(dòng)量VY中存在小數(shù)部分的情況下，塊B1的像素位置與圖像P3的實(shí)際像素位置不一致。這里，參照?qǐng)D10說(shuō)明在塊B1與圖像P3中的實(shí)際像素位置不一致的情況下算出塊B1的各像素的像素值的方法。
以圖10的黑圓表示的像素z是塊B1內(nèi)的一個(gè)像素，是處于圖像P3中實(shí)際不存在的位置上。以白圓表示的像素a到d是與像素z相鄰(即最近)的圖像P3中實(shí)際存在的像素。將像素a到d以及像素z的像素值分別設(shè)為a到d以及z，將處于像素z的左斜上方的像素a與像素z之間的x軸方向上的距離設(shè)為xd，將y軸方向上的距離設(shè)為yd的情況下，像素z的像素值z(mì)根據(jù)以下的式(1)算出。
z＝(1-yd)×((1-xd)×a+xd×b)+yd×((1-xd)×c+xd×d)…(1)此外，在塊B1的像素位置與圖像P3中實(shí)際存在的像素的位置一致的情況下，直接將圖像P3的像素值設(shè)為塊B1的各像素的像素值。
MC塊差分檢測(cè)部132在算出塊B1的各像素的像素值后，根據(jù)下式(2)來(lái)算出MC塊差分值BD。
BD=Σi=0M-1Σj=0N-1|B0(i,j)-B1(i,j)|···(2)]]>此外，B0(i，j)表示將作為塊B0的左上角像素的基準(zhǔn)像素設(shè)為原點(diǎn)(0，0)的、處于位置(i，j)上的塊B0內(nèi)的像素的像素值，B1(i，j)表示將作為塊B1的基準(zhǔn)像素設(shè)為原點(diǎn)(0，0)的、處于位置(i，j)上的塊B1內(nèi)的像素的像素值。即，MC塊差分值BD取處于塊B0和塊B1對(duì)應(yīng)的位置上的像素的像素值的差分，是該差分值的絕對(duì)值的合計(jì)值。
因而，當(dāng)前幀和1幀前的對(duì)應(yīng)的塊內(nèi)的圖像變化越大，MC塊差分值BD就越大。即，MC塊差分值BD大的塊是由于被攝體變形或者進(jìn)行復(fù)雜的運(yùn)動(dòng)、或存在多個(gè)小的被攝體、或包括有被攝體的邊緣部分等的原因而造成的圖像運(yùn)動(dòng)復(fù)雜的區(qū)域的塊的可能性高。因而，對(duì)該塊檢測(cè)出的運(yùn)動(dòng)向量V未被正確檢測(cè)的可能性高，可以說(shuō)該運(yùn)動(dòng)向量V的可靠度低。
MC塊差分檢測(cè)部132對(duì)于圖像I1的各塊檢測(cè)MC塊差分值BD，將表示檢測(cè)出的MC塊差分值BD的信息提供給MC塊差分減去量算出部182。
在步驟S23中，基本循環(huán)系數(shù)設(shè)定部171設(shè)定基本循環(huán)系數(shù)。具體地說(shuō)，基本循環(huán)系數(shù)設(shè)定部171將對(duì)圖像P1的A類(lèi)像素的基本循環(huán)系數(shù)KA0根據(jù)包括該像素的塊的垂直運(yùn)動(dòng)量VY、以及圖11所示的標(biāo)志進(jìn)行設(shè)定，將對(duì)B類(lèi)像素的基本循環(huán)系數(shù)KB0根據(jù)包括該像素的塊的垂直運(yùn)動(dòng)量VX、以及圖12所示的標(biāo)志進(jìn)行設(shè)定。
這里，說(shuō)明圖11以及圖12所示的曲線(xiàn)圖。圖11是表示垂直運(yùn)動(dòng)量VY和基本循環(huán)系數(shù)KA0的關(guān)系的曲線(xiàn)圖，圖12是表示垂直運(yùn)動(dòng)量VY和基本循環(huán)系數(shù)KB0的關(guān)系的曲線(xiàn)圖。
另外，圖像的垂直折疊失真具有根據(jù)像素以下精度的垂直運(yùn)動(dòng)量進(jìn)行變化的性質(zhì)。具體地說(shuō)，各像素垂直運(yùn)動(dòng)量的絕對(duì)值越接近像素間隔的奇數(shù)倍的區(qū)域，垂直折疊失真越大，越接近0或者像素間隔的偶數(shù)倍的區(qū)域，垂直折疊失真越小。例如，圖13所示的第n號(hào)幀的像素Pa的垂直運(yùn)動(dòng)量VY如圖內(nèi)的VY1、VY3、VY5、VY7那樣，越接近像素間隔的奇數(shù)倍，垂直折疊失真越大，如VY2、VY4、VY6那樣，越接近0.0或者像素間隔的偶數(shù)倍，垂直折疊失真越小。
此外如后所述，循環(huán)系數(shù)的值越大，抑制垂直折疊失真的效果越高，另一方面就越容易產(chǎn)生圖像的模糊，值越小，抑制垂直折疊失真的效果越低，另一方面抑制圖像模糊的產(chǎn)生。因而，如圖11以及圖12的曲線(xiàn)圖所示，垂直運(yùn)動(dòng)量VY的絕對(duì)值越接近0或者偶數(shù)、即越接近垂直方向的像素間隔的偶數(shù)倍，為了能夠抑制圖像的模糊，將基本循環(huán)系數(shù)KA0、KB0設(shè)定為越小的值；垂直運(yùn)動(dòng)量VY的絕對(duì)值越接近奇數(shù)、即越接近垂直方向的像素間隔的奇數(shù)倍，為了抑制垂直折疊失真，將基本循環(huán)系數(shù)KA0、KB0設(shè)定為越大的值。
此外，在垂直運(yùn)動(dòng)量VY的絕對(duì)值是0或者偶數(shù)的情況下，不產(chǎn)生垂直折疊失真，但是如圖11以及圖12的曲線(xiàn)圖，也可以將基本循環(huán)系數(shù)KA0、KB0設(shè)定為0以外的適當(dāng)值，使得能夠去除垂直折疊失真以外的隨機(jī)噪聲。
另外，B類(lèi)像素是變換前的圖像I1中原本沒(méi)有的像素，允許少許的模糊。因而，對(duì)相同值的垂直運(yùn)動(dòng)量VY，KB0的一方設(shè)定為比KA0大的值，使得進(jìn)一步抑制折疊失真以及隨機(jī)噪聲。
由此，根據(jù)像素類(lèi)型以及垂直運(yùn)動(dòng)量來(lái)設(shè)定基本循環(huán)系數(shù)KA0、KB0，從而能夠良好地保持圖像P1的分辨率，即，不破壞圖像地去除垂直折疊失真、噪聲。
基本循環(huán)系數(shù)設(shè)定部171將表示基本循環(huán)系數(shù)KA0的信息提供給減法部183-1，將表示基本循環(huán)系數(shù)KB0的信息提供給減法部183-3。
在步驟S24中，運(yùn)動(dòng)分散檢測(cè)部172檢測(cè)運(yùn)動(dòng)分散。這里參照?qǐng)D14以及圖15說(shuō)明運(yùn)動(dòng)分散。
圖14以及圖15是表示運(yùn)動(dòng)向量分布的例子的圖。如圖14所示，以斜線(xiàn)表示的塊的運(yùn)動(dòng)向量V0a與周?chē)倪\(yùn)動(dòng)向量V1a到V8a基本相同的情況下、即運(yùn)動(dòng)向量V0a和周?chē)鷫K的運(yùn)動(dòng)向量V1a到V8a的類(lèi)似性高的情況下，正確求出運(yùn)動(dòng)向量V0a的可能性高，可以說(shuō)運(yùn)動(dòng)向量V0a的可靠度高。
另一方面，如圖15所示，在以斜線(xiàn)表示的塊的運(yùn)動(dòng)向量V0b以及周?chē)鷫K的運(yùn)動(dòng)向量V1b到V8b的大小、方向大為不同的情況、即運(yùn)動(dòng)向量V0b和周?chē)倪\(yùn)動(dòng)向量V1b到V8b的類(lèi)似性低的情況下，沒(méi)有正確求出運(yùn)動(dòng)向量V0b的可能性高，可以說(shuō)運(yùn)動(dòng)向量V0b的可靠度低。
因此，運(yùn)動(dòng)分散檢測(cè)部172，對(duì)各運(yùn)動(dòng)向量V檢測(cè)表示與周?chē)倪\(yùn)動(dòng)向量V的偏差程度的運(yùn)動(dòng)分散MD0，來(lái)作為由運(yùn)動(dòng)向量檢測(cè)部131檢測(cè)出的運(yùn)動(dòng)向量V的可靠度。
具體地說(shuō)，例如以塊Bp為中心的縱Nb0×橫Mb0塊(在以像素?cái)?shù)表現(xiàn)的情況下，是縱Np0×橫Mp0像素)的區(qū)域D0為對(duì)象，根據(jù)下式(3)算出對(duì)以圖16的斜線(xiàn)表示的坐標(biāo)(X，Y)的塊Bp的運(yùn)動(dòng)向量V(X，Y)的運(yùn)動(dòng)分散MD0(X，Y)。此外，將區(qū)域D0的左上角像素的坐標(biāo)設(shè)為(x0，y0)。
MD0=Σy=y0y0+Np0-1Σx=x0x0+Np0-1((vx0(x,y)-VX(X,Y))2+(vy0(x,y)-VY(X,Y))2)Mp0×Np0···(3)]]>此外，vx0(x，y)表示包括坐標(biāo)(x，y)的像素的塊的水平運(yùn)動(dòng)量，vy0(x，y)表示包括坐標(biāo)(x，y)的像素的塊的垂直運(yùn)動(dòng)量。
即，運(yùn)動(dòng)分散MD0表示塊Bp的運(yùn)動(dòng)向量V、和區(qū)域D0內(nèi)的各像素的運(yùn)動(dòng)向量V之間距離的平方的平均值。
另外，運(yùn)動(dòng)分散檢測(cè)部172對(duì)于各運(yùn)動(dòng)向量V檢測(cè)運(yùn)動(dòng)分散MD1來(lái)作為運(yùn)動(dòng)向量V的可靠度，該運(yùn)動(dòng)分散MD1表示，與將與該運(yùn)動(dòng)向量V對(duì)應(yīng)的像素(或者塊)只移動(dòng)了以運(yùn)動(dòng)向量V表示的方向和距離后的位置周?chē)?幀前的運(yùn)動(dòng)向量V之間的偏差。
具體地說(shuō)，例如，首先將處于與圖16的塊Bp對(duì)應(yīng)的位置上的1幀前圖像的塊，設(shè)為圖17的塊Bp’。另外，將以塊Bp的運(yùn)動(dòng)向量V(X，Y)的水平運(yùn)動(dòng)量VX(X，Y)和垂直運(yùn)動(dòng)量VY(X，Y)的小數(shù)點(diǎn)以下四舍五入后的值表示的方向和距離，來(lái)移動(dòng)塊Bp’后的塊，設(shè)為塊Bm。運(yùn)動(dòng)分散檢測(cè)部172將以塊Bm為中心的縱Nb1×橫Mb1塊(在以像素?cái)?shù)表現(xiàn)的情況下，是縱Np1×橫Mp1像素)的區(qū)域D1為對(duì)象，根據(jù)下式(4)算出對(duì)于塊Bp的運(yùn)動(dòng)向量V(X，Y)的運(yùn)動(dòng)分散MD1(X，Y)。此外，將區(qū)域D1的左上角像素的坐標(biāo)設(shè)為(x1，y1)。
MD1=Σy=y1y1+Np1-1Σx=x1x1+Np1-1((vx1(x,y)-VX(X,Y))2+(vy1(x,y)-VY(X,Y))2)Mp1×Np1···(4)]]>此外，vx1(x，y)表示包括1幀前的坐標(biāo)(x，y)的像素的塊的水平運(yùn)動(dòng)量，vy1(x，y)表示包括1幀前的坐標(biāo)(x，y)的像素的塊的垂直運(yùn)動(dòng)量。
即，運(yùn)動(dòng)分散MD1表示塊Bp的運(yùn)動(dòng)向量V和區(qū)域D1內(nèi)的各像素的運(yùn)動(dòng)向量V之間距離的平方的平均值。
并且，運(yùn)動(dòng)分散檢測(cè)部172根據(jù)下式(5)算出運(yùn)動(dòng)分散MD(X，Y)。
MD(X，Y)＝MD1(X，Y)+MD2(X，Y)…(5)因而，成為對(duì)象的運(yùn)動(dòng)向量V和周?chē)倪\(yùn)動(dòng)向量V之間的偏差越大，運(yùn)動(dòng)分散MD(X，Y)越大。即與該運(yùn)動(dòng)向量V(X，Y)對(duì)應(yīng)的像素以及其附近是由于被攝體變形或者進(jìn)行復(fù)雜的運(yùn)動(dòng)、或存在多個(gè)小的被攝體等的原因而造成的圖像運(yùn)動(dòng)復(fù)雜的區(qū)域的可能性高。因而，該運(yùn)動(dòng)向量V未被正確檢測(cè)的可能性高，可以說(shuō)該運(yùn)動(dòng)向量V(X，Y)的可靠度低。
運(yùn)動(dòng)分散檢測(cè)部172按照上述方法算出對(duì)于各運(yùn)動(dòng)向量V的運(yùn)動(dòng)分散MD，將表示運(yùn)動(dòng)分散MD的信息提供給運(yùn)動(dòng)分散減去量算出部181。
在步驟S25中，運(yùn)動(dòng)分散減去量算出部181算出運(yùn)動(dòng)分散減去量。具體地說(shuō)，運(yùn)動(dòng)分散減去量算出部181使用包括該像素的塊的運(yùn)動(dòng)分散MD，根據(jù)下式(6)來(lái)算出對(duì)于圖像P1的各像素的運(yùn)動(dòng)分散減去量KM1。
KM1(x，y)＝a1×MD(X，Y)+b1…(6)此外，a1和b1是規(guī)定值的常數(shù)。其中，常數(shù)a1是正值。另外，在式(6)的右邊值小于0的情況下，KM1(x，y)校正為0。
運(yùn)動(dòng)分散減去量算出部181，將表示算出的運(yùn)動(dòng)分散減去量KM1的信息提供給減法部183-1以及183-3。
在步驟S26中，MC塊差分減去量算出部182求出MC塊差分減去量。具體地說(shuō)，MC塊差分減去量算出部182使用包括該像素的塊的MC塊差分值BD，根據(jù)下式(7)來(lái)算出對(duì)于圖像P1各像素的MC塊差分減去量KM2。
KM2(x，y)＝a2×BD(X，Y)+b2 …(7)此外，a2、b2是規(guī)定的常數(shù)。其中，將常數(shù)a2設(shè)為正值。另外，在式(7)的右邊值小于0的情況下，KM2(x，y)被校正為0。
在步驟S27中，減法部183-1到183-4算出循環(huán)系數(shù)。具體地說(shuō)，減法部183-1將從基本循環(huán)系數(shù)KA0減去運(yùn)動(dòng)分散減去量KM1后的值提供給減法部183-2。減法部183-2將從由減法部183-1提供的值減去MC塊差分減去量KM2后的值作為循環(huán)系數(shù)KA提供給積和運(yùn)算部135。即，根據(jù)下式(8)算出對(duì)于處于圖像P1的坐標(biāo)(x，y)的A類(lèi)像素的循環(huán)系數(shù)KA(x，y)。
KA(x，y)＝KA0(x，y)-KM1(x，y)-KM2(x，y) …(8)另外，減法部183-3將從基本循環(huán)系數(shù)KB0減去運(yùn)動(dòng)分散減去量KM1后的值提供給減法部183-4。減法部183-4將從由減法部183-3提供的值減去MC塊差分減去量KM2后的值作為循環(huán)系數(shù)提供給積和運(yùn)算部135。即，根據(jù)下式(9)算出對(duì)于處于圖像P1的坐標(biāo)(x，y)上的B類(lèi)像素的循環(huán)系數(shù)KB(x，y)。
KB(x，y)＝KB0(x，y)-KM1(x，y)-KM2(x，y) …(9)即，運(yùn)動(dòng)分散減去量KM1(x，y)或者M(jìn)C塊差分減去量KM2(x，y)越大、即運(yùn)動(dòng)分散MD(x，y)或者M(jìn)C塊差分值BD(x，y)越大，將循環(huán)系數(shù)KA(x，y)以及KB(x，y)校正為越小。
在步驟S28中，運(yùn)動(dòng)補(bǔ)償部134對(duì)1幀前的輸出圖像實(shí)施運(yùn)動(dòng)補(bǔ)償。具體地說(shuō)，運(yùn)動(dòng)補(bǔ)償部134從幀存儲(chǔ)器136讀出1幀前的圖像P3。運(yùn)動(dòng)補(bǔ)償部134使用運(yùn)動(dòng)向量V生成對(duì)圖像P3實(shí)施了運(yùn)動(dòng)補(bǔ)償后的圖像P4。
此外，圖像P4的各像素的像素值，是處于只移動(dòng)了以處于與該像素對(duì)應(yīng)的位置上的圖像P1的像素的運(yùn)動(dòng)向量V表示的方向和距離后的位置上的圖像P3的像素的像素值。其中，在運(yùn)動(dòng)向量V的水平運(yùn)動(dòng)量VX或者垂直運(yùn)動(dòng)量VY中存在小數(shù)部分、而在只移動(dòng)了圖像P3的運(yùn)動(dòng)向量V后的位置上不存在實(shí)際的像素的情況下，參照?qǐng)D10通過(guò)與上述方法相同的方法，算出圖像P4的像素值。
運(yùn)動(dòng)補(bǔ)償部134將圖像P4的像素值P4(x，y)按順序提供給積和運(yùn)算部135。
在步驟S29中，積和運(yùn)算部135合成圖像，循環(huán)型變換處理結(jié)束。具體地說(shuō)，積和運(yùn)算部135使用循環(huán)系數(shù)KA或者KB，將處于與圖像P1和圖像P4對(duì)應(yīng)的位置上的像素的像素值進(jìn)行加權(quán)相加。即，積和運(yùn)算部135對(duì)A類(lèi)像素使用循環(huán)系數(shù)KA，根據(jù)下式(10)算出圖像P2的像素值P2(x，y)，對(duì)B類(lèi)像素使用循環(huán)系數(shù)KB，根據(jù)下式(11)算出圖像P2的像素值P2(x，y)。
P2(x，y)＝(1-KA(x，y))×P1(x，y)+KA(x，y)×P4(x，y) …(10)P2(x，y)＝(1-KB(x，y))×P1(x，y)+KB(x，y)×P4(x，y) …(11)通常，循環(huán)系數(shù)KA(x，y)以及KB(x，y)的值越大，圖像P2中的圖像P4的成分所占的比例越大，因此，抑制圖像P2中的垂直折疊失真的產(chǎn)生的抑制效果變高，另一方面容易產(chǎn)生圖像的模糊；循環(huán)系數(shù)KA(x，y)以及KB(x，y)的值越小，在圖像P2中圖像P4的成分所占比例越小，因此，抑制圖像P2中的垂直折疊失真的產(chǎn)生的抑制效果變低，另一方面抑制圖像模糊的產(chǎn)生。
在本發(fā)明的實(shí)施方式中，如上所述，運(yùn)動(dòng)分散減去量KM1(x，y)或者M(jìn)C塊差分減去量KM2(x，y)越大、即運(yùn)動(dòng)分散MD(x，y)或者M(jìn)C塊差分值BD(x，y)越大，循環(huán)系數(shù)KA(x，y)以及KB(x，y)越小。
即，在坐標(biāo)(x，y)的像素的運(yùn)動(dòng)向量V(X，Y)的可靠度低、進(jìn)行加權(quán)相加的圖像P1的像素和圖像P4的像素的相關(guān)低的可能性高的情況下，或者在該像素的折疊失真或者隨機(jī)噪聲不顯著、被包含在圖像的運(yùn)動(dòng)復(fù)雜的區(qū)域中的可能性高的情況下，像素值P2(x，y)中的像素值P1(x，y)成分所占比例變大。另一方面，在坐標(biāo)(x，y)的像素的運(yùn)動(dòng)向量V(X，Y)的可靠度高、進(jìn)行加權(quán)相加的圖像P1的像素和圖像P4的像素的相關(guān)高的可能性高的情況下、或者在該像素折疊失真或者隨機(jī)噪聲顯著、被包含在寬范圍中圖像運(yùn)動(dòng)少的區(qū)域的可能性高的情況下，像素值P2(x，y)中的像素值P1(x，y)成分所占比例變小。
另外，垂直運(yùn)動(dòng)量VY(X，Y)的絕對(duì)值越接近奇數(shù)、即垂直折疊失真越大，循環(huán)系數(shù)KA(x，y)以及KB(x，y)越大，像素值P2(x，y)中的像素值P4(x，y)成分所占比例越大。另一方面，垂直運(yùn)動(dòng)量VY(X，Y)的絕對(duì)值越接近0或者偶數(shù)、即垂直折疊失真越小，循環(huán)系數(shù)KA(x，y)以及KB(x，y)越小，像素值P2(x，y)中的像素值P1(x，y)成分所占比例越大。
并且，相對(duì)于相同垂直運(yùn)動(dòng)量VY，將對(duì)B類(lèi)像素的基本循環(huán)系數(shù)KB0設(shè)定為比對(duì)A類(lèi)像素的基本循環(huán)系數(shù)KA0大的值、且運(yùn)動(dòng)分散減去量KM1以及MC塊減去量KM2的值并不根據(jù)像素類(lèi)型的不同而改變，因此在相同的圖像區(qū)域中，循環(huán)系數(shù)KB(x，y)比KA(x，y)大，圖像P2的B類(lèi)像素與A類(lèi)像素相比，像素值P2(x，y)中的像素值P4(x，y)成分所占比例大。
因而，在圖像P2中，能夠抑制垂直折疊失真以及隨機(jī)噪聲，并且抑制圖像的模糊，得到分辨率高的像質(zhì)。
積和運(yùn)算部135將生成的圖像P2提供給輸出相位變換部112，并且存儲(chǔ)在幀存儲(chǔ)器136中。
下面參照?qǐng)D18的流程圖說(shuō)明圖8的步驟S21的運(yùn)動(dòng)向量檢測(cè)處理的詳細(xì)內(nèi)容。
在步驟S41中，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151取得1幀前的圖像。具體地說(shuō)，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151將作為1幀前的輸出圖像的圖像P3從幀存儲(chǔ)器136讀出。
在步驟S42中，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151算出像素位置的運(yùn)動(dòng)評(píng)價(jià)值。具體地說(shuō)，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151從圖像I1內(nèi)的塊中選擇1個(gè)還沒(méi)有檢測(cè)運(yùn)動(dòng)向量的塊，設(shè)為關(guān)注塊。運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151將圖像P3的規(guī)定范圍內(nèi)的像素依次設(shè)為關(guān)注像素，通過(guò)以下式(12)求出各關(guān)注像素中的運(yùn)動(dòng)評(píng)價(jià)值M(x，y)。
M(x,y)=Σi=0M-1Σj=0N-12|I1(xb+i,yb+2j)-P3(x+1,y+2j)|···(12)]]>此外，在式(12)中，將關(guān)注像素的坐標(biāo)設(shè)為(x，y)，將關(guān)注塊的基準(zhǔn)像素(左上角)的坐標(biāo)設(shè)為(xb，yb)。
即，運(yùn)動(dòng)評(píng)價(jià)值M是取以關(guān)注像素為基準(zhǔn)像素的比較對(duì)象塊和關(guān)注塊的對(duì)應(yīng)的位置上的像素的像素值的差分、并將該差分值的絕對(duì)值合計(jì)后的值，運(yùn)動(dòng)評(píng)價(jià)值M越小，可以說(shuō)比較對(duì)象塊內(nèi)的圖像越接近關(guān)注塊內(nèi)的圖像。
運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151將表示檢測(cè)出的各像素的運(yùn)動(dòng)評(píng)價(jià)值M的信息提供給像素精度運(yùn)動(dòng)向量檢測(cè)部152、以及抽頭抽出部153、154。
在步驟S43中，像素精度運(yùn)動(dòng)向量檢測(cè)部152檢測(cè)像素精度的運(yùn)動(dòng)向量。具體地說(shuō)，像素精度運(yùn)動(dòng)向量檢測(cè)部152檢測(cè)運(yùn)動(dòng)評(píng)價(jià)值M為最小的最小評(píng)價(jià)值像素。像素精度運(yùn)動(dòng)向量檢測(cè)部152將連接最小評(píng)價(jià)值像素的坐標(biāo)和關(guān)注塊的基準(zhǔn)像素坐標(biāo)的向量檢測(cè)為關(guān)注塊的像素精度的運(yùn)動(dòng)向量。像素精度運(yùn)動(dòng)向量檢測(cè)部152將表示檢測(cè)出的像素精度的運(yùn)動(dòng)向量的信息提供給抽頭抽出部153、154。
在步驟S44中，抽頭抽出部153抽出預(yù)測(cè)抽頭。具體地說(shuō)，抽頭抽出部153將與包括最小評(píng)價(jià)值像素的最小評(píng)價(jià)值像素附近的圖像P3的像素對(duì)應(yīng)的運(yùn)動(dòng)評(píng)價(jià)值M作為預(yù)測(cè)抽頭抽出。
圖19是表示圖像P3的一部分的圖。此外，在圖19中將最小評(píng)價(jià)值像素設(shè)為像素P0，與像素P0到P24對(duì)應(yīng)的運(yùn)動(dòng)評(píng)價(jià)值設(shè)為運(yùn)動(dòng)評(píng)價(jià)值M0到M24。例如，抽頭抽出部153抽出運(yùn)動(dòng)評(píng)價(jià)值M0到M24作為預(yù)測(cè)抽頭，其中，該運(yùn)動(dòng)評(píng)價(jià)值M0到M24與作為最小評(píng)價(jià)值像素的像素P0、與像素P0的外周鄰接的像素P1到P8、以及與像素P1到P8的外周鄰接的像素P9到P24對(duì)應(yīng)。抽頭抽出部153將抽出的預(yù)測(cè)抽頭提供給預(yù)測(cè)運(yùn)算部158。
在步驟S45中，抽頭抽出部154抽出類(lèi)抽頭。例如，在圖19所示的例子中，抽頭抽出部154抽出運(yùn)動(dòng)評(píng)價(jià)值M0到M8作為類(lèi)抽頭，其中，該運(yùn)動(dòng)評(píng)價(jià)值M0到M8與作為最小評(píng)價(jià)值像素的像素P0以及與像素P0鄰接的像素P1到P8對(duì)應(yīng)。抽頭抽出部154將抽出的類(lèi)抽頭提供給ADRC處理部155。
在步驟S46中，ADRC處理部155進(jìn)行ADRC處理。具體地說(shuō)，ADRC處理部155將構(gòu)成類(lèi)抽頭的像素的運(yùn)動(dòng)評(píng)價(jià)值M進(jìn)行ADRC處理，將表示其結(jié)果所得到的ADRC碼的信息提供給類(lèi)分類(lèi)部156。
在步驟S47中，類(lèi)分類(lèi)部156進(jìn)行類(lèi)分類(lèi)。具體地說(shuō)，類(lèi)分類(lèi)部156根據(jù)來(lái)自ADRC處理部155的ADRC碼，將最小評(píng)價(jià)值像素進(jìn)行類(lèi)分類(lèi)，將表示與其結(jié)果所得到的類(lèi)對(duì)應(yīng)的類(lèi)編碼的信息提供給系數(shù)存儲(chǔ)器157。
在步驟S48中，系數(shù)存儲(chǔ)器157提供抽頭系數(shù)。具體地說(shuō)，系數(shù)存儲(chǔ)器157從存儲(chǔ)在內(nèi)部的抽頭系數(shù)集合中取得與最小評(píng)價(jià)值像素的類(lèi)編碼對(duì)應(yīng)的抽頭系數(shù)。系數(shù)存儲(chǔ)器157將取得的抽頭系數(shù)提供給預(yù)測(cè)運(yùn)算部158。
在步驟S49中，預(yù)測(cè)運(yùn)算部158進(jìn)行預(yù)測(cè)運(yùn)算。具體地說(shuō)，例如在圖19所示的例子中，在將處于連接像素P0和像素P1到P8的直線(xiàn)上的位置上、正中間的位置P1’到P8’設(shè)為預(yù)測(cè)位置的情況下，預(yù)測(cè)運(yùn)算部158根據(jù)以下式(13)算出位置P1’到P8’中的運(yùn)動(dòng)評(píng)價(jià)值M1’到M8’。
Mm′=Σn=024wmn×Mn=wm0×M0+···+wm24×M24···(13)]]>其中，取m＝1至8。
此外，wmn(n＝0至24)是用于算出位置Pm’(m＝1至8)的運(yùn)動(dòng)評(píng)價(jià)值Mm’(m＝1至8)的抽頭系數(shù)。
預(yù)測(cè)運(yùn)算部158將各預(yù)測(cè)位置處的運(yùn)動(dòng)評(píng)價(jià)值Mm’提供給像素以下精度運(yùn)動(dòng)向量檢測(cè)部159。
在步驟S50中，像素以下精度運(yùn)動(dòng)向量檢測(cè)部159檢測(cè)像素以下精度的運(yùn)動(dòng)向量。具體地說(shuō)，例如，在圖19所示的例子的情況下，像素以下精度運(yùn)動(dòng)向量檢測(cè)部159從像素P0以及位置P1’到P8’的運(yùn)動(dòng)評(píng)價(jià)值中檢測(cè)成為最小的評(píng)價(jià)值。像素以下精度運(yùn)動(dòng)向量檢測(cè)部159將連接運(yùn)動(dòng)評(píng)價(jià)值最小的像素或者位置的坐標(biāo)、和關(guān)注塊的基準(zhǔn)像素坐標(biāo)的向量，檢測(cè)為對(duì)關(guān)注塊的像素以下精度的運(yùn)動(dòng)向量V。即在該例子中，以像素間隔的2分之1的精度來(lái)檢測(cè)運(yùn)動(dòng)向量。
此外，通過(guò)增加設(shè)定在像素間的預(yù)測(cè)位置的數(shù)量，能夠以更高精度、即以更小的單位來(lái)檢測(cè)運(yùn)動(dòng)向量。
像素以下精度運(yùn)動(dòng)向量檢測(cè)部159將表示檢測(cè)出的運(yùn)動(dòng)向量V的信息提供給MC塊差分檢測(cè)部132、循環(huán)系數(shù)設(shè)定部133、以及運(yùn)動(dòng)補(bǔ)償部134。
在步驟S51中，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151判斷是否檢測(cè)出了全部運(yùn)動(dòng)向量。在還剩有未檢測(cè)運(yùn)動(dòng)向量的塊的情況下，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151判斷為尚未檢測(cè)全部運(yùn)動(dòng)向量，處理返回到步驟S42。其后，重復(fù)執(zhí)行步驟S42到S51的處理，直到在步驟S51中判斷為檢測(cè)了全部運(yùn)動(dòng)向量為止。
在步驟S51中，在判斷為檢測(cè)出了全部運(yùn)動(dòng)向量的情況下，處理進(jìn)入步驟S52。
在步驟S52中，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151提供在運(yùn)動(dòng)向量檢測(cè)中所用的圖像，像素以下精度運(yùn)動(dòng)向量檢測(cè)處理結(jié)束。具體地說(shuō)，運(yùn)動(dòng)評(píng)價(jià)值檢測(cè)部151將在運(yùn)動(dòng)向量檢測(cè)中所用的圖像I1以及圖像P3提供給MC塊差分檢測(cè)部132。
下面說(shuō)明存儲(chǔ)在系數(shù)存儲(chǔ)器157中的抽頭系數(shù)的學(xué)習(xí)。
首先，根據(jù)更一般化的例子來(lái)說(shuō)明類(lèi)分類(lèi)適應(yīng)處理中的抽頭系數(shù)的學(xué)習(xí)。具體地說(shuō)，從構(gòu)成SD圖像的像素(下面適當(dāng)稱(chēng)為SD像素)，將構(gòu)成HD圖像的像素(下面適當(dāng)稱(chēng)為HD像素)的像素值y作為用于預(yù)測(cè)HD像素的預(yù)測(cè)抽頭抽出，使用該抽出的多個(gè)SD像素和抽頭系數(shù)，根據(jù)通過(guò)由下面的線(xiàn)性1次式的線(xiàn)性結(jié)合求出的線(xiàn)性1次結(jié)合模型的例子，來(lái)說(shuō)明抽頭系數(shù)的學(xué)習(xí)。
y=Σn=1Nwnxn···(14)]]>其中，在式(14)中，xn表示構(gòu)成關(guān)于HD像素y的預(yù)測(cè)抽頭的、第n號(hào)的SD圖像數(shù)據(jù)的像素的像素值，wn表示與第n號(hào)SD像素的像素值相乘的第n號(hào)的抽頭系數(shù)。此外在式(14)中，預(yù)測(cè)抽頭設(shè)為由N個(gè)SD像素x1、x2、…、xN構(gòu)成。
現(xiàn)在將第k樣本的HD像素的像素值真值表示為yk，并且將通過(guò)式(14)得到的其真值yk的預(yù)測(cè)值表示為yk’時(shí)，其預(yù)測(cè)誤差ek由下式表示。
ek＝y(tǒng)k-yk’…(15)式(15)的預(yù)測(cè)值yk’，是按照式(14)求出的，因此將式(15)的yk’按照式(14)置換時(shí)，得到下式。
ek=yk-(Σn=1Nwnxn,k)···(16)]]>其中，在式(16)中，xn’k表示構(gòu)成關(guān)于第k樣本的HD像素的預(yù)測(cè)抽頭的第n號(hào)的SD像素。
式(16)的預(yù)測(cè)誤差ek為0的抽頭系數(shù)wn，成為對(duì)于預(yù)測(cè)HD像素最適合的系數(shù)，但是通常很難對(duì)全部的HD像素求出這樣的抽頭系數(shù)wn。
因此，作為表示抽頭系數(shù)wn成為最佳系數(shù)的規(guī)范，例如當(dāng)采用最小二乘法時(shí)，最佳抽頭系數(shù)wn能夠通過(guò)將作為統(tǒng)計(jì)誤差的、例如以下式表示的平方差的總和E取最小來(lái)求出。
E=Σk=1Kek2···(17)]]>其中，在式(17)中，K表示構(gòu)成HD像素yk和關(guān)于該HD像素yk的預(yù)測(cè)抽頭的SD像素x1’K、x2’K、…、xN’K的集合的樣本數(shù)。
將式(17)的平方誤差的總和E取極小的抽頭系數(shù)wn，是將該總和E以抽頭系數(shù)wn進(jìn)行偏微分后的值設(shè)為0的系數(shù)，因而有必要滿(mǎn)足下式。
∂E∂wn=e1∂e1∂wn+e2∂e2∂wn+···+ek∂ek2∂wn=0,(n=1,2,···,N)···(18)]]>因此，當(dāng)將上述的式(18)以抽頭系數(shù)wn進(jìn)行偏微分時(shí)，得到下式。
∂ek∂w1=-x1,k,∂ek∂w2=-x2,k,···,∂ek∂wN=-xN,k,,(k=1,2,···,K)···(19)]]>從式(18)和式(19)得到下式。
Σk=1Kekx1,k=0,Σk=1Kekx2,k=0,···Σk=1KekxN,k=0···(20)]]>通過(guò)將式(16)代入式(20)的ek中，式(20)能夠以式(21)所示的正規(guī)方程式來(lái)表示。
通過(guò)準(zhǔn)備一定程度個(gè)數(shù)的HD像素yk和SD像素xn’k的集合，能夠建立與應(yīng)求出的抽頭系數(shù)wn的個(gè)數(shù)相同的個(gè)數(shù)的式(21)的正規(guī)方程式，從而通過(guò)求解式(21)能夠求出最佳的抽頭系數(shù)wn。此外，在求解式(21)時(shí)，例如能夠采用掃出法(Gauss-Jordan的消去法)等。其中，為了求解式(21)，在式(21)中與抽頭系數(shù)wn有關(guān)的左邊的矩陣必須是正則矩陣。
如以上那樣，將多個(gè)HD像素y1、y2、…、yk設(shè)為成為抽頭系數(shù)的學(xué)習(xí)的教師的教師數(shù)據(jù)，并且將構(gòu)成關(guān)于HD像素yk的預(yù)測(cè)抽頭的SD像素x1’k、x2’k、…、xn’k設(shè)為成為抽頭系數(shù)的學(xué)習(xí)的學(xué)生的學(xué)生數(shù)據(jù)，通過(guò)求解式(21)能夠求出最佳的抽頭系數(shù)wn。
這里，作為教師數(shù)據(jù)y，采用由對(duì)預(yù)測(cè)位置處也存在像素的、像素密度比圖像P3高的圖像的各像素進(jìn)行檢測(cè)得到的運(yùn)動(dòng)評(píng)價(jià)值M構(gòu)成的圖像(下面稱(chēng)為教師圖像)，作為學(xué)生數(shù)據(jù)x，為了達(dá)到與圖像P3相同的像素密度，通過(guò)采用從教師圖像間除像素后的圖像，求出式(13)中所使用的抽頭系數(shù)。
此外，關(guān)于檢測(cè)使用了類(lèi)分類(lèi)適應(yīng)處理的像素以下精度的運(yùn)動(dòng)向量的方法，例如在本發(fā)明的申請(qǐng)人先前申請(qǐng)的日本特開(kāi)平9-187013號(hào)公報(bào)等中公開(kāi)有其詳細(xì)內(nèi)容。
由此，能夠?qū)⒏粜袙呙璺绞降膱D像變換為像質(zhì)更佳的逐行掃描方式的圖像。
另外，例如，從循環(huán)型IP變換部111輸出去除了垂直折疊失真、噪聲后的圖像，因此在后級(jí)的圖像處理裝置中，能夠得到更佳的像質(zhì)。例如，在本發(fā)明的申請(qǐng)人先前申請(qǐng)的日本特開(kāi)2002-218413號(hào)公報(bào)中所述的、使用類(lèi)分類(lèi)適應(yīng)處理將像質(zhì)以多個(gè)軸自由調(diào)整的處理中，能夠調(diào)整使得分辨率進(jìn)一步提高，能夠得到更佳的像質(zhì)。
此外，在以上的說(shuō)明中，說(shuō)明了將成為檢測(cè)圖像I1的運(yùn)動(dòng)向量V的對(duì)象的圖像設(shè)為作為1幀前的輸出圖像的圖像P3的例子，但是，例如，也可以使用作為1場(chǎng)前的輸入圖像的圖像I2或者作為2場(chǎng)前的輸入圖像的圖像I3來(lái)代替圖像P3。
圖20是表示使用作為1場(chǎng)前的輸入圖像的圖像I2作為成為檢測(cè)圖像I1的運(yùn)動(dòng)向量V的對(duì)象的圖像時(shí)的循環(huán)型變換部201的功能結(jié)構(gòu)的框圖。循環(huán)型變換部201，由幀存儲(chǔ)器211、運(yùn)動(dòng)向量檢測(cè)部212、MC塊差分檢測(cè)部213、循環(huán)系數(shù)設(shè)定部133、運(yùn)動(dòng)補(bǔ)償部134、積和運(yùn)算部135、以及幀存儲(chǔ)器136構(gòu)成。此外，對(duì)于與圖2對(duì)應(yīng)的部分標(biāo)記相同符號(hào)，由于對(duì)處理相同的部分說(shuō)明重復(fù)，因此省略。
幀存儲(chǔ)器211存儲(chǔ)從外部輸入的圖像I1，并延遲1場(chǎng)提供給運(yùn)動(dòng)向量檢測(cè)部212。即，將作為輸入到循環(huán)型變換部201后延遲1場(chǎng)的圖像I1的圖像I2，提供給運(yùn)動(dòng)向量檢測(cè)部212。
運(yùn)動(dòng)向量檢測(cè)部212將圖像I1相對(duì)于圖像I2的運(yùn)動(dòng)向量V，通過(guò)與上述的運(yùn)動(dòng)向量檢測(cè)部131相同的方法檢測(cè)出來(lái)。運(yùn)動(dòng)向量檢測(cè)部212將表示檢測(cè)出的運(yùn)動(dòng)向量V的水平運(yùn)動(dòng)量VX以及垂直運(yùn)動(dòng)量VY的信息提供給MC塊差分檢測(cè)部213、循環(huán)系數(shù)設(shè)定部133、以及運(yùn)動(dòng)補(bǔ)償部134。另外，運(yùn)動(dòng)向量檢測(cè)部212將在運(yùn)動(dòng)向量V的檢測(cè)中使用的圖像I1以及圖像I2提供給MC塊差分檢測(cè)部213。
MC塊差分檢測(cè)部213對(duì)圖像I1的每個(gè)塊檢測(cè)MC塊差分值，該差分值是各塊的像素值、和與該塊對(duì)應(yīng)的圖像I2的塊、即處于將圖像I1的各塊只移動(dòng)了以運(yùn)動(dòng)向量V表示的方向和距離后的位置上的圖像I2的塊的像素值之間的差分值。MC塊差分檢測(cè)部213將表示檢測(cè)出的MC塊差分值BD的信息提供給循環(huán)系數(shù)設(shè)定部133。
圖21是表示使用作為2場(chǎng)前的輸入圖像的圖像I3來(lái)作為成為檢測(cè)圖像I1的運(yùn)動(dòng)向量V的對(duì)象的圖像時(shí)的循環(huán)型變換部301的功能結(jié)構(gòu)的框圖。循環(huán)型變換部301由幀存儲(chǔ)器311、312、運(yùn)動(dòng)向量檢測(cè)部313、MC塊差分檢測(cè)部314、循環(huán)系數(shù)設(shè)定部133、運(yùn)動(dòng)補(bǔ)償部134、積和運(yùn)算部135、以及幀存儲(chǔ)器136構(gòu)成。此外，對(duì)于與圖2對(duì)應(yīng)的部分標(biāo)記相同符號(hào)，由于對(duì)于處理相同的部分其說(shuō)明重復(fù)，因此省略。
幀存儲(chǔ)器311存儲(chǔ)從外部輸入的圖像I1，并延遲1場(chǎng)提供給幀存儲(chǔ)器312。即，將作為輸入到循環(huán)型變換部301后延遲1場(chǎng)后的圖像I1的圖像I2，提供給幀存儲(chǔ)器312。
幀存儲(chǔ)器312存儲(chǔ)圖像I2，并延遲1場(chǎng)提供給運(yùn)動(dòng)向量檢測(cè)部313。即，將作為從輸入到循環(huán)型變換部301后延遲2場(chǎng)后的圖像I1的圖像I3，提供給運(yùn)動(dòng)向量檢測(cè)部313。
運(yùn)動(dòng)向量檢測(cè)部313將圖像I1相對(duì)于圖像I3的運(yùn)動(dòng)向量V，通過(guò)與上述的運(yùn)動(dòng)向量檢測(cè)部131相同的方法檢測(cè)出來(lái)。此外，檢測(cè)出的運(yùn)動(dòng)向量V，是輸入圖像I1的場(chǎng)間隔和輸出圖像P2的幀間隔的2倍間隔即2個(gè)場(chǎng)之間的運(yùn)動(dòng)向量，因此運(yùn)動(dòng)向量檢測(cè)部313為了取得整合性，將表示取檢測(cè)出的運(yùn)動(dòng)向量一半大小的向量、即將水平運(yùn)動(dòng)量VX以及垂直運(yùn)動(dòng)量VY取二分之一的值的信息提供給MC塊差分檢測(cè)部314、循環(huán)系數(shù)設(shè)定部133、以及運(yùn)動(dòng)補(bǔ)償部134。另外，運(yùn)動(dòng)向量檢測(cè)部313將在運(yùn)動(dòng)向量V檢測(cè)中使用的圖像I1以及圖像I3提供給MC塊差分檢測(cè)部314。
MC塊差分檢測(cè)部314對(duì)圖像I1的每個(gè)塊檢測(cè)MC塊差分值，該差分值是各塊的像素值、和與各塊對(duì)應(yīng)的圖像I3的塊、即處于將圖像I1的各塊只移動(dòng)了以運(yùn)動(dòng)向量V的二分之一的向量表示的方向和距離后的位置上的圖像I3的塊的像素值之間的差分值。MC塊差分檢測(cè)部314將表示檢測(cè)出的MC塊差分值BD的信息提供給循環(huán)系數(shù)設(shè)定部133。
另外，像素以下精度的運(yùn)動(dòng)向量的檢測(cè)方法，并不限定于上述的方法，也可以使用其他方法。
并且，在以上的說(shuō)明中說(shuō)明了將SD圖像進(jìn)行IP變換處理的例子，但是本發(fā)明當(dāng)然也能夠應(yīng)用在高分辨率圖像的IP變換處理中。
此外，本發(fā)明例如能夠應(yīng)用在電視接收機(jī)等、將隔行掃描圖像變換為逐行掃描圖像的圖像處理裝置中。
上述的一系列處理，可由硬件執(zhí)行，也可由軟件執(zhí)行。在由軟件執(zhí)行一系列處理的情況下，將構(gòu)成該軟件的程序從程序記錄介質(zhì)安裝在組裝在專(zhuān)用硬件中的計(jì)算機(jī)中、或者可通過(guò)安裝各種程序而執(zhí)行各種功能的例如通用個(gè)人計(jì)算機(jī)等中。
圖22是表示通過(guò)程序執(zhí)行上述一系列處理的個(gè)人計(jì)算機(jī)400的結(jié)構(gòu)例的框圖。CPU(Central Processing Unit中央處理單元)401，根據(jù)存儲(chǔ)在ROM(Read Only Memory只讀存儲(chǔ)器)402、或者記錄部408中的程序，執(zhí)行各種處理。RAM(Random AccessMemory隨機(jī)存取存儲(chǔ)器)403中適當(dāng)存儲(chǔ)有CPU401執(zhí)行的程序、數(shù)據(jù)等。這些CPU401、ROM402、以及RAM403，通過(guò)總線(xiàn)404相互連接著。
在CPU401上，通過(guò)總線(xiàn)404還連接有輸入輸出接口405。在輸入輸出接口405上連接有由鍵盤(pán)、鼠標(biāo)、麥克風(fēng)等構(gòu)成的輸入部406；由顯示器、揚(yáng)聲器等構(gòu)成的輸出部407。CPU401與從輸入部406輸入的指令對(duì)應(yīng)，執(zhí)行各種處理。然后，CPU401將處理結(jié)果輸出到輸出部407。
連接在輸入輸出接口405上的記錄部408，例如由硬盤(pán)構(gòu)成，存儲(chǔ)CPU401執(zhí)行的程序、各種數(shù)據(jù)。通信部409通過(guò)互聯(lián)網(wǎng)、局域網(wǎng)絡(luò)等網(wǎng)絡(luò)與外部裝置進(jìn)行通信。
另外，也可以通過(guò)通信部409取得程序，存儲(chǔ)在記錄部408中。
當(dāng)安裝了磁盤(pán)、光盤(pán)、光磁盤(pán)、或者半導(dǎo)體存儲(chǔ)器等可移動(dòng)介質(zhì)411時(shí)，連接在輸入輸出接口405上的驅(qū)動(dòng)器410驅(qū)動(dòng)它們，取得其中記錄著的程序、數(shù)據(jù)等。將取得的程序、數(shù)據(jù)，根據(jù)需要轉(zhuǎn)送并存儲(chǔ)到記錄部408中。
保存安裝在計(jì)算機(jī)中、成為可通過(guò)計(jì)算機(jī)執(zhí)行的狀態(tài)的程序的程序記錄介質(zhì)，如圖22所示，由作為封裝介質(zhì)的可移動(dòng)介質(zhì)411、或者暫時(shí)或永久性存儲(chǔ)程序的ROM402、構(gòu)成記錄部408的硬盤(pán)等構(gòu)成，其中，可移動(dòng)介質(zhì)411由磁盤(pán)(包含軟盤(pán))、光盤(pán)(包含CD-ROM(Compact Disk-Read Only Memory光盤(pán)只讀存儲(chǔ)器))、DVD(Digital Versatile Disk數(shù)字通用盤(pán))、光磁盤(pán)、或者半導(dǎo)體存儲(chǔ)器等構(gòu)成。根據(jù)需要通過(guò)作為路由器、調(diào)制解調(diào)器等的接口的通信部409，利用所謂局域網(wǎng)絡(luò)、互聯(lián)網(wǎng)、數(shù)字衛(wèi)星廣播這樣的有線(xiàn)或者無(wú)線(xiàn)的通信介質(zhì)來(lái)將程序保存在程序記錄介質(zhì)中。
此外，在本說(shuō)明書(shū)中，對(duì)存儲(chǔ)在存儲(chǔ)介質(zhì)中的程序進(jìn)行記述的步驟，當(dāng)然包括按記載的順序按時(shí)間順序進(jìn)行的處理，也包括未必按時(shí)間順序進(jìn)行處理，而是并行或者分別執(zhí)行的處理。
并且本發(fā)明的實(shí)施方式并不限定于上述實(shí)施方式，在不脫離本發(fā)明精神的范圍內(nèi)，能夠做出各種變更。
權(quán)利要求
1.一種圖像處理裝置，將隔行掃描方式的輸入圖像變換為逐行掃描方式的輸出圖像，其特征在于，具備IP變換單元，將前述輸入圖像變換為逐行掃描方式的中間圖像；運(yùn)動(dòng)向量檢測(cè)單元，檢測(cè)將比前述中間圖像的像素間隔短的距離設(shè)為最小單位的前述輸入圖像的運(yùn)動(dòng)向量；循環(huán)系數(shù)設(shè)定單元，根據(jù)作為前述運(yùn)動(dòng)向量的垂直方向成分的垂直運(yùn)動(dòng)量，設(shè)定對(duì)于第1類(lèi)像素的第1循環(huán)系數(shù)和對(duì)于第2類(lèi)像素的第2循環(huán)系數(shù)，其中第1類(lèi)像素處于前述輸入圖像中存在像素的位置上，第2類(lèi)像素處于前述輸入圖像中不存在像素的位置上；運(yùn)動(dòng)補(bǔ)償單元，根據(jù)前述運(yùn)動(dòng)向量生成運(yùn)動(dòng)補(bǔ)償圖像，該運(yùn)動(dòng)補(bǔ)償圖像是對(duì)過(guò)去的前述輸出圖像實(shí)施了運(yùn)動(dòng)補(bǔ)償后的圖像；以及輸出圖像生成單元，生成前述輸出圖像，該輸出圖像由將前述中間圖像的前述第1類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第1循環(huán)系數(shù)進(jìn)行加權(quán)相加、將前述中間圖像的前述第2類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第2循環(huán)系數(shù)進(jìn)行加權(quán)相加得到的像素值構(gòu)成。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，前述垂直運(yùn)動(dòng)量的絕對(duì)值越接近0或者前述中間圖像的像素間隔的偶數(shù)倍，前述循環(huán)系數(shù)設(shè)定單元將前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)設(shè)定為越小的值；前述垂直運(yùn)動(dòng)量的絕對(duì)值越接近前述中間圖像的像素間隔的奇數(shù)倍，前述循環(huán)系數(shù)設(shè)定單元將前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)設(shè)定為越大的值。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，前述循環(huán)系數(shù)設(shè)定單元對(duì)于相同值的前述垂直運(yùn)動(dòng)量，將前述第2循環(huán)系數(shù)設(shè)定為比前述第1循環(huán)系數(shù)大的值。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其還具備可靠度檢測(cè)單元，檢測(cè)前述運(yùn)動(dòng)向量的可靠度；以及校正單元，根據(jù)前述運(yùn)動(dòng)向量的可靠度來(lái)校正前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)。
5.根據(jù)權(quán)利要求4所述的圖像處理裝置，前述可靠度檢測(cè)單元，對(duì)各個(gè)前述運(yùn)動(dòng)向量檢測(cè)表示與周?chē)那笆鲞\(yùn)動(dòng)向量的偏差程度的第1運(yùn)動(dòng)分散，來(lái)作為前述運(yùn)動(dòng)向量的可靠度，前述校正單元進(jìn)行如下校正前述第1運(yùn)動(dòng)分散越大，使前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)越小。
6.根據(jù)權(quán)利要求5所述的圖像處理裝置，前述可靠度檢測(cè)單元，還對(duì)各個(gè)前述運(yùn)動(dòng)向量檢測(cè)第2運(yùn)動(dòng)分散來(lái)作為前述運(yùn)動(dòng)向量的可靠度，該第2運(yùn)動(dòng)分散表示與將與該前述運(yùn)動(dòng)向量對(duì)應(yīng)的像素只移動(dòng)了以前述運(yùn)動(dòng)向量表示的方向和距離后的位置周?chē)?幀前的運(yùn)動(dòng)向量的偏差程度，前述校正單元，進(jìn)一步進(jìn)行如下校正前述第2運(yùn)動(dòng)分散越大，使前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)越小。
7.根據(jù)權(quán)利要求4所述的圖像處理裝置，前述運(yùn)動(dòng)向量檢測(cè)單元對(duì)每個(gè)規(guī)定大小的塊檢測(cè)前述運(yùn)動(dòng)向量；前述可靠度檢測(cè)單元檢測(cè)前述輸入圖像的前述塊內(nèi)的像素值、和使前述塊只移動(dòng)了以前述運(yùn)動(dòng)向量表示的方向和距離后的前述過(guò)去的輸出圖像的塊內(nèi)的像素值之間的差分值；前述校正單元進(jìn)行如下校正前述差分值越大，使前述第1循環(huán)系數(shù)以及前述第2循環(huán)系數(shù)越小。
8.一種圖像處理方法，將隔行掃描方式的輸入圖像變換為逐行掃描方式的輸出圖像，包括如下步驟將前述輸入圖像變換為逐行掃描方式的中間圖像；檢測(cè)將比前述中間圖像的像素間隔短的距離設(shè)為最小單位的前述輸入圖像的運(yùn)動(dòng)向量；根據(jù)作為前述運(yùn)動(dòng)向量的垂直方向成分的垂直運(yùn)動(dòng)量，設(shè)定對(duì)于第1類(lèi)像素的第1循環(huán)系數(shù)和對(duì)于第2類(lèi)像素的第2循環(huán)系數(shù)，其中第1類(lèi)像素處于前述輸入圖像中存在像素的位置上，第2類(lèi)像素處于前述輸入圖像中不存在像素的位置上；根據(jù)前述運(yùn)動(dòng)向量生成運(yùn)動(dòng)補(bǔ)償圖像，該運(yùn)動(dòng)補(bǔ)償圖像是對(duì)過(guò)去的前述輸出圖像實(shí)施了運(yùn)動(dòng)補(bǔ)償?shù)膱D像；生成前述輸出圖像，該輸出圖像由將前述中間圖像的前述第1類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第1循環(huán)系數(shù)進(jìn)行加權(quán)相加、將前述中間圖像的前述第2類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第2循環(huán)系數(shù)進(jìn)行加權(quán)相加得到的像素值構(gòu)成。
9.一種程序，使計(jì)算機(jī)執(zhí)行將隔行掃描方式的輸入圖像變換為逐行掃描方式的輸出圖像的圖像處理，包括如下步驟將前述輸入圖像變換為逐行掃描方式的中間圖像；檢測(cè)將比前述中間圖像的像素間隔短的距離設(shè)為最小單位的前述輸入圖像的運(yùn)動(dòng)向量；根據(jù)作為前述運(yùn)動(dòng)向量的垂直方向成分的垂直運(yùn)動(dòng)量，設(shè)定對(duì)于第1類(lèi)像素的第1循環(huán)系數(shù)和對(duì)于第2類(lèi)像素的第2循環(huán)系數(shù)，其中第1類(lèi)像素處于前述輸入圖像中存在像素的位置上，第2類(lèi)像素處于前述輸入圖像中不存在像素的位置上；根據(jù)前述運(yùn)動(dòng)向量生成運(yùn)動(dòng)補(bǔ)償圖像，該運(yùn)動(dòng)補(bǔ)償圖像是對(duì)過(guò)去的前述輸出圖像實(shí)施了運(yùn)動(dòng)補(bǔ)償?shù)膱D像；生成前述輸出圖像，該輸出圖像由將前述中間圖像的前述第1類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第1循環(huán)系數(shù)進(jìn)行加權(quán)相加、將前述中間圖像的前述第2類(lèi)像素的像素值和處于前述運(yùn)動(dòng)補(bǔ)償圖像的對(duì)應(yīng)位置上的像素的像素值使用前述第2循環(huán)系數(shù)進(jìn)行加權(quán)相加得到的像素值構(gòu)成。
全文摘要
提供圖像處理裝置和方法、以及程序。將隔行掃描圖像變換為像質(zhì)更佳的逐行掃描圖像。運(yùn)動(dòng)向量檢測(cè)部(131)檢測(cè)輸入的隔行掃描方式圖像I1的像素以下精度的運(yùn)動(dòng)向量。運(yùn)動(dòng)補(bǔ)償部(134)根據(jù)檢測(cè)的運(yùn)動(dòng)向量生成對(duì)1幀前的輸出圖像實(shí)施運(yùn)動(dòng)補(bǔ)償后的圖像P4。循環(huán)系數(shù)設(shè)定部(133)對(duì)將圖像I1進(jìn)行IP變換后的逐行掃描方式圖像P1的各像素，根據(jù)是否是處于IP變換前的圖像I1中存在像素的位置上的像素、垂直運(yùn)動(dòng)量的大小、及運(yùn)動(dòng)向量的可靠度，設(shè)定循環(huán)系數(shù)(KA、KB)。積和運(yùn)算部135使用循環(huán)系數(shù)(KA或KB)，將處于圖像P1和圖像P4對(duì)應(yīng)位置上的像素的像素值加權(quán)相加。本發(fā)明可應(yīng)用于進(jìn)行IP變換的圖像處理裝置。
文檔編號(hào)H04N5/14GK101039406SQ200710087448
公開(kāi)日2007年9月19日 申請(qǐng)日期2007年3月16日 優(yōu)先權(quán)日2006年3月16日
發(fā)明者近藤哲二郎, 宮井岳志, 內(nèi)田真史, 守村卓夫, 近岡志津男, 菊地大介, 國(guó)弘威, 森英樹(shù) 申請(qǐng)人:索尼株式會(huì)社