專利名稱：圖像處理器和圖像處理方法
技術領域：
本發(fā)明的一個實施例涉及一種用于提高圖像分辨率的技術，具體涉及用于提高圖像分辨率的圖像處理器和圖像處理方法。
背景技術：
近年來在個人計算機(PC)和電視機的集成上的進步為在具有超過標準清晰度 (SD)的高清晰度的高分辨率顯示器上觀看各種類型的視頻提供了更多機會。SD電視機的視頻廣播、記錄在DVD上的視頻等具有低分辨率。因此，當用戶以HD 尺寸(尤其是以全HD尺寸，BP, 1920X1080像素的全HD分辨率)觀看視頻時，視頻的分辨率提高。為了提高圖像的分辨率，諸如線性內插和立方卷積內插的技術已被用于計算圖像的像素值。然而，利用這些技術不能獲得清晰圖像。鑒于此，研究了超分辨率技術，在該技術中，圖像被擴展，并且高頻成分像素被內插在擴展后的圖像的像素之間以獲得清晰的高分辨率圖像(例如，參見第2008-067110號和第2008-146190號日本專利申請公開(Κ0ΚΑΙ))。傳統(tǒng)的超分辨率技術增強了視頻的銳度，因此，用戶可以欣賞清晰且清楚的視頻。以各種方式(例如，經由廣播和經由互聯(lián)網)提供視頻，其中，該廣播包括廣播衛(wèi)星(BQ廣播、通信衛(wèi)星(⑶)廣播、數(shù)字地面廣播、模擬地面廣播。因此，對于不同的視頻類型，這樣提供的視頻的信息量、噪聲量等可以不同。因此，當對各種視頻同樣執(zhí)行超分辨率處理時，例如相對于其他具有較少信息量的經由CS廣播所提供的視頻中所包含的噪聲變得顯著，從而使增強后的視頻銳度降低。—種用于使視頻銳化的方法包括銳化處理，該銳化處理用于通過根據(jù)視頻的各種類型對視頻的邊緣進行銳化來對視頻的外觀進行銳化。然而，這種銳化處理完全不同于超分辨率技術，原因在于超分辨率技術在其他方面新近產生了高頻成分像素。因此，在銳化處理中所使用的銳化技術不能用在超分辨率技術中以根據(jù)視頻的不同類型來調整視頻的銳度。因此，本發(fā)明的一個目的在于提供能夠基于視頻的信息量、噪聲量等來適當?shù)貓?zhí)行超分辨率處理的圖像處理器和圖像處理方法。

發(fā)明內容
為了實現(xiàn)上述目的，根據(jù)本發(fā)明的一個方面，一種圖像處理器具有分辨率提高模塊、檢測器及控制器。分辨率提高模塊被配置為通過在接收到具有第一分辨率的第一視頻信號時根據(jù)第一視頻信號估計原始像素值來增加像素而執(zhí)行超分辨率處理，以將第一視頻信號重建為具有高于第一分辨率的第二分辨率的第二視頻信號。檢測器被配置為檢測第一視頻信號的信息量、第一視頻信號的噪聲量、以及輸入有第一視頻信號的端子的類型中的至少一個?？刂破鞅慌渲脼榛跈z測器的檢測結果來改變由分辨率提高模塊執(zhí)行的超分辨率處理的程度。根據(jù)本發(fā)明的另一個方面，一種圖像處理器具有等級存儲模塊、確定模塊及分辨率提高模塊。等級存儲模塊被配置為與具有第一分辨率的第一視頻信號的信息量相關聯(lián)地存儲超分辨率等級，該超分辨率等級表示超分辨率轉換的強度，在接收到第一視頻信號時， 該超分辨率轉換通過根據(jù)第一視頻信號估計原始像素值來增加像素，以將第一視頻信號重建為具有高于第一分辨率的第二分辨率的第二視頻信號。確定模塊被配置為確定第一視頻信號的信息量，并基于該信息量來決定超分辨率等級。分辨率提高模塊被配置為以所確定的超分辨率等級對第一視頻信號執(zhí)行超分辨率轉換。根據(jù)本發(fā)明的又一個方面，一種圖像處理器具有分辨率提高模塊、檢測器及控制器。分辨率提高模塊被配置為通過將第一視頻信號的第一分辨率提高到第二視頻信號的第二分辨率，來執(zhí)行超分辨率處理。檢測器被配置為檢測第一視頻信號的信息量、第一視頻信號的噪聲量、及輸入有第一視頻信號的端子的類型中的至少一個?？刂破鞅慌渲脼榛跈z測器的檢測結果來改變在分辨率提高模塊中的超分辨率處理的程度。根據(jù)本發(fā)明的又一個方面，一種圖像處理方法包括接收具有第一分辨率的第一視頻信號；通過根據(jù)第一視頻信號估計原始像素值來增加像素，執(zhí)行超分辨率處理，以將第一視頻信號重建為具有高于第一分辨率的第二分辨率的第二視頻信號；檢測第一視頻信號的信息量、第一視頻信號的噪聲量、以及輸入有第一視頻信號的端子的類型中的至少一個； 以及基于該檢測的檢測結果來進行控制以改變超分辨率處理的程度。根據(jù)本發(fā)明的一個方面，基于視頻的信息量、噪聲量等決定超分辨率處理的等級。 因此，可以對視頻適當?shù)貓?zhí)行超分辨率處理。


現(xiàn)在，將參照附圖來描述實現(xiàn)本發(fā)明的各個特征的總體架構。附圖及其相關聯(lián)描述用于舉例說明本發(fā)明的實施例，而不用于限制本發(fā)明的范圍。圖1是根據(jù)本發(fā)明的第一實施例的圖像顯示設備的示例性示意框圖；圖2是在第一實施例中圖1所示的中央處理器的示例性示意框圖；圖3是在第一實施例中的通過對操作模塊進行操作而在顯示器上顯示的廣播的示例性示圖；圖4是在第一實施例中圖1所示的分辨率提高模塊的示例性示意框圖；圖5是在第一實施例中的存儲在EEPROM中的源代碼與超分辨率參數(shù)之間的關系的示例性示圖；圖6是在第一實施例中的基于源代碼的類型執(zhí)行的第一實施例的超分辨率處理的示例性流程圖；圖7是在第一實施例中的當基于節(jié)目信息執(zhí)行超分辨率處理時的節(jié)目選擇屏幕的示例性示圖；圖8是根據(jù)第二實施例的中央處理器的示例性示意框圖；圖9是在第二實施例中的超分辨率參數(shù)與噪聲量之間的關系的示例性示圖；以及
圖10是在第二實施例中的基于噪聲量執(zhí)行的超分辨率處理的示例性流程圖。
具體實施例方式下文中，將參照附圖來描述根據(jù)本發(fā)明的各個實施例。圖1是根據(jù)本發(fā)明的一個實施例的圖像顯示設備100的示意框圖。如圖1所示， 圖像顯示設備100具有視頻信號輸入模塊11、中央處理器12、分辨率提高模塊13、運動圖像改善模塊14、顯示處理器15、顯示器16、音頻處理器17及音頻輸出模塊18。分辨率提高模塊13對應于圖像處理裝置。視頻信號輸入模塊11具有數(shù)字廣播接收機111、互聯(lián)網協(xié)議電視機(IPTV)信號處理器112、互聯(lián)網信號處理器113及外部輸入模塊114。數(shù)字廣播接收機111接收待顯示的視頻信號?；ヂ?lián)網信號處理器113接收通過諸如互聯(lián)網的IP網絡傳送的數(shù)據(jù)。外部輸入模塊114接收模擬信號的輸入。本文中所使用的術語“視頻信號”包括音頻信號以及圖像信號(諸如靜止圖像信號和運動圖像信號)。視頻信號包括表示視頻類型的源代碼(源代碼對應于(例如)用于BS廣播的“1”、 用于CS廣播的“2”、用于數(shù)字地面廣播的“3”、用于模擬地面廣播的“4”、用于高清多媒體接口(HDMI)的“H”等)。例如，該視頻類型對應于廣播類型、視頻信號的比特率、關于接口標準(諸如HDMI)的信息等。例如，廣播類型對應于BS廣播、CS廣播、地面數(shù)字廣播、模擬地面廣播等。此外，例如，關于接口標準的信息對應于外部連接的游戲機、數(shù)字通用盤(DVD) 播放器的信息等。以下，為了簡化，源代碼被描述為前述值中的每一個。此外，在以下的闡述中，廣播類型被看作視頻類型。數(shù)字廣播接收機111具有數(shù)字天線1111、數(shù)字調諧器1112及數(shù)字信號解調器 1113。數(shù)字天線1111接收數(shù)字廣播，諸如BS廣播、CS廣播及數(shù)字地面廣播。數(shù)字調諧器 1112用于選擇數(shù)字廣播頻道。數(shù)字信號解調器1113對數(shù)字廣播信號進行解調，并將其作為數(shù)字視頻信號輸出到中央處理器12。IPTV信號處理器112接收通過專用IP網絡傳送的IP廣播，并將其作為數(shù)字視頻信號輸出到中央處理器12?；ヂ?lián)網信號處理器113接收通過諸如互聯(lián)網的IP網絡傳送的數(shù)據(jù)(靜止圖像、運動圖像等)，并將其作為數(shù)字視頻信號輸出到中央處理器12。外部輸入模塊114具有模擬天線1141、模擬調諧器1142及外部輸入信號處理器 1143。模擬天線1141接收模擬廣播。模擬調諧器1142用于選擇模擬廣播頻道。外部輸入信號處理器1143對模擬信號執(zhí)行信號處理(諸如A/D轉換)，并將其作為數(shù)字視頻信號輸出到中央處理器12。外部輸入信號處理器1143被設置有用于連接到外部裝置(諸如游戲機、個人計算機(PC)及DVD播放器)的端子(未示出)。外部輸入信號處理器1143還對通過該端子從外部裝置接收到的模擬信號執(zhí)行信號處理。圖2是中央處理器12的功能框圖。如圖2所示，中央處理器12具有操作接收機 121、源代碼確定模塊122、控制器123及閃存19。如稍后將要描述的，操作接收機121接收表示由包括在操作模塊200中的遠程控制器所指示的廣播類型等的信號(下文中，“選擇信號”)，并將與所接收到的選擇信號相對應的源代碼輸出到稍后描述的源代碼確定模塊122。
5
具體地，用戶按下操作模塊200的用于切換廣播的頻道按鈕等(未示出)以選擇廣播類型、頻道、外部連接裝置(例如，DVD播放器或游戲機)的回放屏幕等(圖3示出了當BS數(shù)字廣播被選擇時的實例)。此處，操作接收機121接收選擇信號，并將其輸出到源代碼確定模塊122。上文中描述的各種源代碼對應于下文中描述的超分辨率參數(shù)，這些超分辨率參數(shù)表示對在控制器123處從視頻信號分離出的圖像信號執(zhí)行的超分辨率處理的等級。當用戶指定源代碼時或當源代碼確定模塊122自動識別視頻信號中所包含的源代碼時，與源代碼相對應的超分辨率處理被執(zhí)行。再次參照圖2，已接收到來自數(shù)字信號解調器1113、IPTV信號處理器112、互聯(lián)網信號處理器113或外部輸入模塊114的視頻信號，源代碼確定模塊122確定視頻信號中所包含的源代碼，并將所確定的源代碼與從視頻信號輸入模塊11接收到的視頻信號一起輸出到控制器123。源代碼確定模塊122進一步確定操作接收機121是否接收到由操作模塊200指示的源代碼。當確定接收到由操作模塊200所指示的源代碼時，源代碼確定模塊122將所指定的源代碼的類型輸出到控制器123以及將其寫入到閃存19。在源代碼確定模塊122確定源代碼之后，控制器123將視頻信號分離為圖像信號和音頻信號?？刂破?23將經過預定圖像處理的圖像信號輸出到分辨率提高模塊13，以及將音頻信號輸出到音頻處理器17。此外，控制器123將從源代碼確定模塊122接收到的表示源代碼的類型的識別信號連同圖像信號一起傳送到分辨率提高模塊13。控制器123對圖像信號執(zhí)行的圖像處理的實例包括定標，以將圖像信號的分辨率轉換為預定值(例如，U80X720)。如上所述，閃存19存儲通過操作接收機121從操作模塊200接收到的源代碼的類型。下面，對分辨率提高模塊13進行描述。圖4是分辨率提高模塊13的功能框圖。如圖4所示，分辨率提高模塊13具有預處理器131、超分辨率轉換器132、后處理器133及電可擦除可編程只讀存儲器(EEPROM) 20。預處理器131對從中央處理器12接收到的圖像信號執(zhí)行圖像處理(下文中，“預處理”)，然后將其輸出到超分辨率轉換器132，稍后將對其進行描述。預處理的實例包括隔行/逐行轉換以及用來去除噪聲的噪聲降低。預處理器131還將從中央處理器12接收到的源代碼的類型輸出到稍后描述的超分辨率轉換器132。順便提及，與前述的源代碼相對應的識別信號可以從中央處理器12輸入到超分辨率處理器132，而不經過預處理器131。更具體地，作為隔行/逐行轉換，預處理器131根據(jù)圖像信號檢測圖像的運動，并確定該圖像是靜止圖像還是運動圖像。當該圖像是靜止圖像時，預處理器131執(zhí)行靜止圖像內插。另一方面，當圖像是運動圖像時，預處理器131執(zhí)行運動圖像內插。例如，作為噪聲降低，預處理器131對該圖像的輪廓進行校正，降低圖像模糊和閃光，抑制過度均衡(excessive equalizing)(高頻增強)，并將對相機的水平運動導致的相機抖動模糊進行校正。超分辨率轉換器132對從預處理器131接收到的低分辨率幀執(zhí)行圖像處理(下文中，“超分辨率轉換”)以提高其分辨率，從而產生以HD尺寸具有高分辨率運動圖像數(shù)據(jù)的幀(下文中，“高分辨率幀”)。然后，超分辨率轉換器132將該高分辨率幀輸出到后處理器 133。本文中所使用的術語“超分辨率轉換”是指圖像銳化，其中，根據(jù)具有低分辨率 (即，第一分辨率)的圖像信號估計原始像素值，以增加像素并從而重建具有高分辨率(即， 第二分辨率)的圖像信號。原始像素值是指，通過例如利用相機(該相機具有高分辨率像素并能夠捕捉具有高分辨率(第二分辨率)的圖像)拍攝與具有低分辨率(第一分辨率) 的圖像的對象相同的對象而獲得的圖像信號的每個像素的值。此外，“估計原始像素值以增加像素”意味著，獲得圖像的相關性，并利用該相關性根據(jù)(同一幀內或多個幀之間的)相鄰圖像估計原始像素值，以增加像素?？梢岳?例如)第2007-310837號、第2008-98803號及第2000-188680號日本專利申請公開(KOKAI) 中披露的已知或通用技術來執(zhí)行超分辨率轉換。在該實施例中，例如，超分辨率轉換利用以下對具有高于由輸入圖像的采樣率確定的Nyquist頻率的頻率成分的圖像進行重建的技術。如果采用第2007-310837號日本專利申請公開(KOKAI)中披露的超分辨率轉換， 則超分辨率轉換器132在多個中等分辨率的幀中的每一個中設置目標像素，并設置目標圖像區(qū)域以使該目標圖像區(qū)域包含該目標像素。超分辨率轉換器132從參考幀中選擇與最接近于目標圖像區(qū)域中的像素值的變化圖案的多個目標圖像區(qū)域相對應的多個對應點。超分辨率轉換器132將對應點的亮度的采樣值設置為對應目標像素的像素值。超分辨率轉換器 132基于多個采樣值的大小和對應點的布局，來計算具有比參考幀更多的像素并對應于參考幀的關于高分辨率幀的像素值。因此，超分辨率轉換器132根據(jù)低分辨率圖像信號估計原始像素值，并增加像素以重建高分辨率圖像信號。如果采用利用了第2008-98803號日本專利申請公開(KOKAI)中披露的在相同幀圖像中的自相一致位置搜索的超分辨率轉換，則超分辨率轉換器132通過對中分辨率的幀的搜索區(qū)中的各個像素的誤差進行比較，來計算具有最小誤差(即，第一誤差)的第一像素位置。超分辨率轉換器132基于第一像素位置和第一誤差、以及在第一像素附近的第二像素位置和第二像素位置的第二誤差，來以十進制精度計算搜索區(qū)中具有最小誤差的位置。 超分辨率轉換器132計算十進制精度矢量，該矢量具有位于具有最小誤差的位置處的結束點和位于感興趣的像素處的起始點。超分辨率轉換器132基于該十進制精度矢量來計算該十進制精度矢量的外推矢量，該推斷矢量具有結束點，該結束點位于屏幕上不處于搜索區(qū)內的一個像素處。超分辨率轉換器132基于根據(jù)圖像信號獲得的像素值、十進制精度矢量、 以及外推矢量，來計算比圖像信號具有更多像素的高分辨率圖像的像素值。以該方式，超分辨率轉換器132根據(jù)低分辨率圖像信號估計原始像素值，并增加像素以重建高分辨率圖像信號。超分辨率轉換器132可以采用第2000-188680號日本專利申請公開(KOKAI)中披露的利用多個幀之間的映射的超分辨率轉換。以實例的方式而不是以限制的方式來陳述上述超分辨率轉換技術。超分辨率轉換器132可以采用各種其他技術，只要根據(jù)低分辨率圖像信號估計原始像素值來增加像素以
重建高分辨率圖像信號。如果已接收到已由預處理器131執(zhí)行了噪聲降低等的圖像信號，并且接收到表示源代碼的類型的識別信號，則超分辨率轉換器132從稍后描述的EEPROM 20獲得與源代碼的類型相對應的超分辨率參數(shù)。圖5示出了 EEPROM 20中存儲的參數(shù)。如圖5所示，源代碼、源代碼類型及超分辨率參數(shù)被彼此相關地存儲。超分辨率參數(shù)通過數(shù)值代表超分辨率轉換的強度。例如，超分辨率參數(shù)的大數(shù)值對應于內插在像素之間的大量高頻成分和/或高頻成分像素相對于要被內插的像素的高比率。因此，超分辨率參數(shù)的大數(shù)值表示超分辨率轉換的更高強度和更高銳化增益?？梢愿鶕?jù)各種超分辨率處理對超分辨率參數(shù)進行適當設置。假設當對所有像素執(zhí)行超分辨率轉換時圖5中所示的超分辨率參數(shù)被設置為100，這些超分辨率參數(shù)代表要內插到所有像素中的高頻成分像素的比率。以該方式，將超分辨率轉換的指數(shù)存儲作為參數(shù)。因此，如果在超分辨率轉換的參照中存在改變，則可以容易且高效地處理該改變。超分辨率轉換器132基于超分辨率參數(shù)對圖像信號執(zhí)行超分辨率轉換，并將其輸出到以下描述的后處理器133。具體地，例如，如圖5所示，當源代碼的類型是“1”(即，CS廣播)時，超分辨率轉換器132獲得“10”作為超分辨率參數(shù)。然后，超分辨率轉換器132基于所獲得的參數(shù)執(zhí)行前述的超分辨率處理。CS廣播的超分辨率參數(shù)被設置為小于BS廣播的超分辨率參數(shù)，這是因為CS廣播的信息量小于BS廣播的信息量。如果對具有較少信息量的這種CS廣播執(zhí)行強的超分辨率處理，則圖像會被銳化但噪聲也增大。因此，作為超分辨率處理的結果，不能有效地獲得清晰視頻。此外，由外部連接裝置提供的視頻信號的超分辨率參數(shù)被設置為小于BS廣播的超分辨率參數(shù)，這是因為由外部連接裝置提供的視頻信號相對于經由廣播通信提供的視頻信號具有更少的噪聲。如上所述，根據(jù)廣播類型(即，信息量)來設置圖5中所示的超分辨率參數(shù)。超分辨率參數(shù)可以被用戶設置為任意值。以下，對后處理器133進行描述。后處理器133對從超分辨率轉換器132接收到的圖像信號執(zhí)行圖像校正(下文中，“后處理”)，諸如伽馬校正和白平衡調整，并將其輸出到運動圖像改善模塊14。再次參照圖1，將對運動圖像改善模塊14進行描述。運動圖像改善模塊14對從后處理器133接收到的圖像信號執(zhí)行倍速處理。更具體地，運動圖像改善模塊14將以60幀每秒(fps)傳送的視頻信號的幀率轉換為120fps。這降低了對象水平地、垂直地及對角地移動或旋轉的部分中的圖像模糊，并高效地抑制了噪聲。因此，可以清楚地顯示具有快速運動的運動情景、自動反射式幻燈機序列等。運動圖像改善模塊14將經過幀率轉換的圖像信號輸出到顯示處理器15?？梢酝ㄟ^根據(jù)用于內插幀圖像的通用方法(諸如第2008-3M04號日本專利申請公開(KOKAI)中披露的通過塊匹配來基于運動矢量檢測的內插幀生成方法)生成內插幀來執(zhí)行內插。此外，可以任意確定內插幀的數(shù)目。顯示處理器15具有將圖像信號輸出到顯示器16的驅動器等，使得顯示器16可以顯示從運動圖像改善模塊14接收到的圖像信號。顯示器16具有顯示面板，諸如液晶顯示器(IXD)面板、等離子體面板或表面?zhèn)鲗щ娮影l(fā)射顯示(SED)面板。顯示器16在顯示處理器15的控制下將圖像信號顯示在屏幕上。
操作模塊200具有遠程操作裝置(諸如遠程控制器)，并響應于用戶按壓頻道選擇按鈕(未示出)，將選擇信號發(fā)送到中央處理器12。以下描述的是前述圖像顯示設備100的操作。圖6是示出在接收到視頻信號時， 當基于廣播類型等執(zhí)行超分辨率轉換時的處理的流程圖。如圖6所示，中央處理器12的源代碼確定模塊122確定操作接收機121是否接收到來自操作模塊200的選擇信號(S601)。當源代碼確定模塊122確定由操作接收機121接收到來自操作模塊200的選擇信號時(在S602處為是)，源代碼確定模塊122獲得與選擇信號相對應的源代碼，并將其存儲在閃存19中(S602)。另一方面，當源代碼確定模塊122確定未接收到選擇信號時(在S601處為否)，源代碼確定模塊122獲得圖像信號中所包含的源代碼(S603)。然后，源代碼確定模塊122將視頻信號與在S602或S603處獲得的源代碼一起發(fā)送到分辨率提高模塊13(S604)。當分辨率提高模塊13的預處理器131接收到來自源代碼確定模塊122的圖像信號時，預處理器131執(zhí)行圖像處理(諸如隔行/逐行轉換和/或噪聲降低)，并將該圖像信號與從中央處理器12接收到的源代碼一起輸出到超分辨率轉換器132(S605)。在接收到來自預處理器131的源代碼和圖像信號時，超分辨率轉換器132從 EEPROM 20獲得與接收到的源代碼相對應的超分辨率參數(shù)(S606)。然后，超分辨率轉換器132對圖像信號執(zhí)行與所獲得的超分辨率參數(shù)相對應的超分辨率處理(S607)。隨后，超分辨率轉換器132將已執(zhí)行了超分辨率處理的圖像信號輸出到后處理器133。后處理器133對圖像信號執(zhí)行校正(諸如伽馬校正)，并將其輸出到運動圖像改善模塊14(S608)。因此，通過顯示處理器15將圖像信號顯示在顯示器16上。如上所述，中央處理器12的源代碼確定模塊122確定視頻的信息量并基于所確定的類型來決定超分辨率處理的等級。因此，可以對視頻適當?shù)貓?zhí)行超分辨率處理。在該實施例中，基于用戶通過操作模塊200指示的廣播類型(如視頻信號的信息量)，來獲得超分辨率參數(shù)。然而，本發(fā)明不局限于此?？梢曰?例如)從圖7中所示的節(jié)目信息中選出的節(jié)目的流派信息(例如，電影和體育)，來獲得超分辨率參數(shù)。在這種情況下，包含流派信息的節(jié)目信息被疊加在來自主站的廣播信號上，并被傳送。在前述第一實施例中，作為從外部接收到的視頻信號的信息量的實例，闡述了廣播類型。然而，廣播中所包含的噪聲量基于接收到的廣播的類型而改變。因此，如果對具有大噪聲量的視頻信號執(zhí)行強的超分辨率轉換，則噪聲量可能變得顯著。因此，不基于諸如廣播類型的信息量，而是基于視頻信號中所包含的噪聲量來執(zhí)行超分辨率轉換。圖8是示出第二實施例的圖像顯示設備(未示出)的中央處理器82的示例性示意框圖。中央處理器82不同于第一實施例的中央處理器82，原因在于中央處理器82具有噪聲量檢測器822。以下，相同的標號被指定給與第一實施例的元件相同的元件，并省略其描述。噪聲量檢測器822檢測從數(shù)字信號解調器1113、IPTV信號處理器112、互聯(lián)網信號處理器113、外部輸入模塊114接收到的視頻信號中所包含的噪聲量，并將其與從視頻信號輸入模塊11接收到的視頻信號一起輸出到稍后描述的控制器123。然后，噪聲量檢測器822通過控制器123輸出視頻信號和噪聲量。超分辨率轉換器132與該噪聲量相關聯(lián)地獲得存儲在EEPROM 20中的超分辨率參數(shù)，如圖9所示，并基于所獲得的超分辨率參數(shù)執(zhí)行超分辨率處理。隨后，類似于第一實施例，執(zhí)行各種處理，諸如后處理和運動圖像改善。如圖9所示，噪聲量和超分辨率參數(shù)彼此相關聯(lián)，使得當噪聲量變得更小時更強地執(zhí)行超分辨率處理，而另一方面，當噪聲量變大時較弱地執(zhí)行超分辨率處理。這是因為， 當噪聲量較大時，作為通過超分辨率轉換使圖像銳化的結果，噪聲變得顯著。因此，通過基于前述關系來存儲噪聲量和超分辨率參數(shù)，可以根據(jù)噪聲量來適當?shù)貓?zhí)行超分辨率轉換。即使當接收到具有大噪聲量的視頻信號時，也可以通過對已通過噪聲降低充分去除了噪聲量的視頻信號的噪聲量進行檢測，來適當?shù)貓?zhí)行超分辨率轉換。參照圖10來闡述第二實施例的圖像顯示設備所執(zhí)行的處理。將省略與第一實施例的處理類似的該處理的闡述。噪聲量檢測器822對接收到的圖像信號的噪聲量進行檢測(S1001)，并將所接收到的圖像信號和噪聲量輸出到分辨率提高模塊13(S1002)。已經提到可以在噪聲降低之后檢測噪聲量。在接收到來自源代碼確定模塊122的圖像信號時，分辨率提高模塊13的預處理器 131執(zhí)行圖像處理(諸如隔行/逐行轉換)，并將圖像信號和從中央處理器12接收到的噪聲量輸出到超分辨率轉換器132(S1003)。在接收到來自預處理器131的圖像信號和噪聲量時，超分辨率轉換器132從 EEPROM 20獲得與接收到的噪聲量相對應的超分辨率參數(shù)(S1004)。然后，超分辨率轉換器132對圖像信號執(zhí)行與所獲得的超分辨率參數(shù)相對應的超分辨率處理(S1005)。隨后，類似于第一實施例，執(zhí)行后處理(S1006)。因此，通過顯示處理器15將圖像信號顯示在顯示器16上。如上所述，中央處理器12的噪聲量檢測器822檢測視頻信號的噪聲量，并基于所檢測到的噪聲量來決定超分辨率處理的等級。因此，可以對視頻適當?shù)貓?zhí)行超分辨率處理。對于源代碼確定模塊122和噪聲量檢測器822，可以提供端子檢測器，該端子檢測器用于檢測輸入有視頻信號的外部輸入端子的類型(諸如D-端子、HDMI端子及模擬端子)，以基于檢測結果來改變超分辨率處理的程度。此外，對于源代碼確定模塊122和噪聲量檢測器822，可以提供用于檢測輸入視頻信號的分辨率的分辨率檢測器，以基于檢測結果來改變超分辨率處理的程度。在這種情況下，分辨率信息被包含在(例如)廣播信號中。如上所述，在本實施例中，可以基于(不局限于)輸入源的差異(諸如信息量、噪聲量和端子類型)來改變超分辨率處理的程度。在上述實施例中，圖像處理器被應用于諸如數(shù)字TV的圖像顯示設備100，其中該圖像顯示設備具有顯示器16、顯示處理器15、音頻輸出模塊18及音頻處理器17。然而，該圖像處理器可以應用于不具有顯示器16、顯示處理器15、音頻輸出模塊18及音頻處理器17 的裝置(諸如調諧器和機頂盒)。本文所描述的這些系統(tǒng)的各個模塊可以被實現(xiàn)為軟件應用程序、硬件和/或軟件模塊、或一個或多個計算機(諸如服務器)上的部件。盡管單獨示出了各個模塊，但是這些模塊可以共享基礎下層邏輯或代碼中的一些或全部。盡管已描述了本發(fā)明的某些實施例，但是這些實施例僅是通過實例來呈現(xiàn)，而不是旨在限制本發(fā)明的范圍。實際上，可以以各種其他形式來體現(xiàn)本文所描述的新方法和系統(tǒng)；此外，在不背離本發(fā)明精神的情況下，可以在本文所描述的方法和系統(tǒng)的形式上進行各種省略、替換和改變。附圖及其等價物旨在覆蓋落入本發(fā)明范圍和精神的這些形式或改變。
權利要求
1.一種圖像處理器，包括分辨率提高模塊，被配置為通過在接收到具有第一分辨率的第一視頻信號時根據(jù)所述第一視頻信號估計原始像素值來增加像素而執(zhí)行超分辨率處理，以將所述第一視頻信號重建為具有高于所述第一分辨率的第二分辨率的第二視頻信號；模塊，被配置為檢測所述第一視頻信號的廣播的類型，其中，所述廣播的類型是衛(wèi)星廣播和地面數(shù)字廣播中的至少一種；以及控制器，被配置為當所述第一視頻信號的廣播的類型是衛(wèi)星廣播時，與當所述第一視頻信號的廣播的類型是所述地面數(shù)字廣播時由所述分辨率提高模塊執(zhí)行的超分辨率處理的強度相比，增加由所述分辨率提高模塊執(zhí)行的超分辨率處理的強度。
2.根據(jù)權利要求1所述的圖像處理器，進一步包括存儲模塊，被配置為將所述強度的值與所述廣播的類型彼此相關聯(lián)地存儲，其中所述控制器被配置為從所述存儲模塊獲取與由所述模塊檢測的所述廣播的類型相關的強度的值，并且將所述超分辨率處理的強度增加至從所述存儲模塊獲取的值。
3.根據(jù)權利要求1所述的圖像處理器，進一步包括用戶輸入接收器，被配置為接收指示以從所述用戶中選擇廣播的類型，其中所述控制器被配置為基于所選擇的廣播的類型而改變所述強度。
4.根據(jù)權利要求1所述的圖像處理器，其中，所述超分辨率處理的強度是高頻成分像素相對于在超分辨率轉換中待內插的像素的比率。
5.根據(jù)權利要求1所述的圖像處理器，進一步包括顯示器，被配置為顯示所述第二視頻信號。
6.根據(jù)權利要求1所述的圖像處理器，其中，所述廣播的類型是BS廣播、CS廣播、地面數(shù)字廣播、以及模擬地面廣播中的至少一種。
7.一種圖像處理方法，包括通過在接收到具有第一分辨率的第一視頻信號時根據(jù)所述第一視頻信號估計原始像素值來增加像素而執(zhí)行超分辨率處理，以將所述第一視頻信號重建為具有高于所述第一分辨率的第二分辨率的第二視頻信號；檢測所述第一視頻信號的廣播的類型，其中，所述廣播的類型是衛(wèi)星廣播和地面數(shù)字廣播中的至少一種；以及當所述第一視頻信號的廣播的類型是所述衛(wèi)星廣播時，與當所述第一視頻信號的廣播的類型是所述地面數(shù)字廣播時由所述分辨率提高模塊執(zhí)行的所述超分辨率處理的強度相比，增加由所述分辨率提高模塊執(zhí)行的所述超分辨率處理的強度。
全文摘要
提供了一種圖像處理器和圖像處理方法。該圖像處理器包括分辨率提高模塊，配置為通過在接收到具有第一分辨率的第一視頻信號時根據(jù)所述第一視頻信號估計原始像素值來增加像素而執(zhí)行超分辨率處理，以將所述第一視頻信號重建為具有高于所述第一分辨率的第二分辨率的第二視頻信號；模塊，配置為檢測所述第一視頻信號的廣播的類型，其中，所述廣播的類型是衛(wèi)星廣播和地面數(shù)字廣播中的至少一種；控制器，配置為當所述第一視頻信號的廣播的類型是衛(wèi)星廣播時，與當所述第一視頻信號的廣播的類型是所述地面數(shù)字廣播時由所述分辨率提高模塊執(zhí)行的超分辨率處理的強度相比，增加由所述分辨率提高模塊執(zhí)行的超分辨率處理的強度。
文檔編號H04N7/01GK102542529SQ201110306749
公開日2012年7月4日 申請日期2009年6月30日 優(yōu)先權日2008年8月4日
發(fā)明者寺田宗城, 永井賢一 申請人:株式會社東芝