專利名稱：圖像處理裝置、攝像裝置、程序和圖像處理方法
技術領域：
本發(fā)明涉及圖像處理裝置、攝像裝置、程序和圖像處理方法等。
背景技術：
如今，有的數(shù)碼相機、攝像機能切換使用靜止圖像拍攝方式和動態(tài)圖像拍攝方式。例如，在動態(tài)圖像拍攝中用戶通過進行按鈕操作，能拍攝分辨率比動態(tài)圖像高的靜止圖像?，F(xiàn)有技術文獻_4] 專利文獻專利文獻1:特開2009-124621號公報專利文獻2:特開2008-243037號公報

發(fā)明內(nèi)容
發(fā)明要解決的課題然而，在切換靜止圖像拍攝方式和動態(tài)圖像拍攝方式的方法中，存在當用戶注意到是快門時機時往往已經(jīng)錯過了決定性的瞬間的課題。為了實現(xiàn)這種決定性的瞬間的拍攝，本發(fā)明人考慮從低分辨動態(tài)圖像生成任意定時的高分辨靜止圖像。例如專利文獻1、2中公開了從通過像素移位取得的低分辨圖像合成高分辨圖像的方法。然而，根據(jù)該方法，需要利用像素移位的攝像，因此，相機的構成變得復雜。另外，存在高分辨化處理負荷增大、有時難以推定像素值的課題。根據(jù)本發(fā)明的幾個實施方式，能提供能以簡單處理從低分辨動態(tài)圖像取得高分辨圖像的圖像處理裝置、攝像裝置、程序和圖像處理方法等。用于解決課題的方案本發(fā)明的一個實施方式涉及一種圖像處理裝置，包括:存儲部，其在將作為取得受光值的單位的受光單位設定于攝像元件，讀出上述受光單位的受光值而取得低分辨幀圖像的情況下，存儲所取得的上述低分辨幀圖像；插值處理部，其通過上述低分辨幀圖像的以上述受光單位的受光值為基礎的插值處理來求出假想受光單位的受光值，上述上述假想受光單位在從上述受光單位的方位移位后的方位與上述受光單位重疊地設定；推定運算部，其根據(jù)上述受光單位的受光值和上述假想受光單位的受光值，推定與上述低分辨幀圖像的像素間距相比像素間距小的推定像素值；以及圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值，輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。根據(jù)本發(fā)明的一個實施方式，假想受光單位的受光值通過以受光單位的受光值為基礎的插值處理來求出。根據(jù)該假想受光單位的受光值和受光單位的受光值，推定與低分辨幀圖像的像素間距相比像素間距小的推定像素值。并且，根據(jù)該推定像素值，輸出分辨率比低分辨幀圖像高的高分辨幀圖像。由此，能以簡單的處理從低分辨動態(tài)圖像取得高分辨圖像等。另外，在本發(fā)明的一個實施方式中也可以是，上述推定運算部求出第I受光單位與第2受光單位的差分值，根據(jù)上述差分值來推定上述推定像素值，其中，上述第I受光單位是設定于第I方位的上述受光單位或上述假想受光單位中的任一個，上述第2受光單位是設定于與上述第I受光單位重疊的第2方位的上述假想受光單位。這樣，根據(jù)第I受光單位的受光值與第2受光單位的受光值的差分值來推定出推定像素值，由此能根據(jù)受光單位的受光值和假想受光單位的受光值來推定出推定像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述推定運算部用上述差分值表示從上述第I受光單位除去重疊區(qū)域后的第I受光區(qū)域的受光值即第I中間像素值與從上述第2受光單位除去上述重疊區(qū)域后的第2受光區(qū)域的受光值即第2中間像素值之間的關系式，上述推定運算部用上述關系式推定上述第I中間像素值、第2中間像素值，用推定出的上述第I中間像素值來求出上述推定像素值。這樣，第I中間像素值、第2中間像素值之間的關系式由上述差分值表示，根據(jù)該關系式來推定第I中間像素值、第2中間像素值，根據(jù)該第I中間像素值來推定出推定像素值。由此，能根據(jù)第I受光單位的受光值與第2受光單位的受光值的差分值來推定出推定像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述推定運算部在將包含上述第I中間像素值、第2中間像素值的連續(xù)的中間像素值設為中間像素值模式的情況下，用上述受光單位的受光值和上述假想受光單位的受光值來表示上述中間像素值模式所包含的中間像素值之間的關系式，上述推定運算部對用上述關系式表示的上述中間像素值模式與用上述受光單位的受光值及上述假想受光單位的受光值表示的受光值模式進行比較來評價類似性，上述推定運算部根據(jù)上述類似性的評價結果，以使上述類似性為最高的方式?jīng)Q定上述中間像素值模式所包含的中間像素值。這樣，評價中間像素值模式和受光值模式的類似性，以該類似性為最高的方式?jīng)Q定中間像素值模式所包含的中間像素值，由此能根據(jù)中間像素值間的關系式來決定中間像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述推定運算部求出表示用上述關系式所表示的上述中間像素值模式與上述受光值模式之間的誤差的評價函數(shù)，以上述評價函數(shù)的值為最小的方式?jīng)Q定上述中間像素值模式所包含的中間像素值。這樣，求出評價函數(shù)，由此能評價中間像素值模式和受光值模式的類似性。另外，以評價函數(shù)的值為最小的方式?jīng)Q定中間像素值，由此能以類似性為最高的方式?jīng)Q定中間像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述插值處理部將上述低分辨幀圖像所包含的上述受光單位的受光值中的、上述假想受光單位的周邊的多個受光單位的受光值進行加權相加來求出上述假想受光單位的受光值。這樣，能通過低分辨幀圖像的以受光單位的受光值為基礎的插值處理來求出假想受光單位的受光值。另外，在本發(fā)明的一個實施方式中也可以是，在按上述攝像元件的每多個像素設定上述受光單位的情況下，將上述受光單位的各像素值相加而作為上述受光單位的受光值來讀出，上述推定運算部根據(jù)通過相加讀出得到的上述受光單位的受光值來推定上述受光單位的各像素的像素值。
這樣，能根據(jù)通過相加讀出得到的受光單位的受光值來推定該受光單位的各像素的像素值。另外，在本發(fā)明的一個實施方式中也可以是，在按上述攝像元件的每多個像素設定上述受光單位的情況下，將上述受光單位的各像素值加權相加作為上述受光單位的受光值來讀出，上述推定運算部根據(jù)通過加權相加讀出得到的上述受光單位的受光值來推定上述受光單位的各像素的像素值。這樣，能根據(jù)通過加權相加讀出得到的受光單位的受光值來推定該受光單位的各像素的像素值。另外，在本發(fā)明的一個實施方式中也可以是，上述攝像元件是彩色攝像元件，將相鄰的多個像素不依賴于像素的顏色地設定為上述受光單位，將設定為上述受光單位的上述多個像素的像素值相加而讀出，取得上述低分辨率幀圖像，上述推定運算部根據(jù)上述低分辨率幀圖像的上述受光單位的受光值和來自上述插值處理部的上述假想受光單位的受光值來推定上述受光單位的各像素的像素值，上述圖像輸出部根據(jù)由上述推定運算部推定出的像素值來輸出彩色的上述高分辨幀圖像。另外，在本發(fā)明的一個實施方式中也可以是，上述攝像元件是彩色攝像元件，將相同顏色的多個像素設定為上述受光單位，將設定為上述受光單位的上述多個像素的像素值相加而讀出，取得上述低分辨率幀圖像，上述推定運算部根據(jù)上述低分辨率幀圖像的上述受光單位的受光值和來自上述插值處理部的上述假想受光單位的受光值來推定上述受光單位的各像素的像素值，上述圖像輸出部根據(jù)由上述推定運算部推定出的像素值來輸出彩色的上述高分辨幀圖像。根據(jù)該本發(fā)明的一個實施方式，能從由彩色攝像元件取得的低分辨幀圖像來推定出推定像素值，輸出彩色的高分辨幀圖像。另外，在本發(fā)明的一個實施方式中也可以是，在將上述受光單位按NXN像素設定，將上述NXN像素的像素值相加而讀出，取得NXN像素的受光單位的受光值的情況下，上述插值處理部通過插值處理求出將上述NXN像素的受光單位進行了 N/2像素移位后得到的NXN像素的假想受光單位的受光值，上述推定運算部根據(jù)上述NXN像素的受光單位的受光值和上述NXN像素的假想受光單位的受光值，推定N/2 XN/2像素的受光單位的受光值，上述插值處理部通過插值處理求出將上述N/2XN/2像素的受光單位進行了N/4像素移位后得到的N/2XN/2像素的假想相加像素的像素值，上述推定運算部根據(jù)上述N/2XN/2像素的受光單位的受光值和上述N/2XN/2像素的假想受光單位的受光值，推定N/4XN/4像素的受光單位的受光值。這樣，能從NXN像素的受光單位的受光值推定N/2XN/2像素的受光單位的受光值，從該N/2XN/2像素的受光單位的受光值推定N/4XN/4像素的受光單位的受光值。由此，能依次重復進行推定處理來推定出推定像素值。另外，在本發(fā)明的一個實施方式中也可以是，在按各幀進行將上述受光單位一邊重疊一邊進行移位的像素移位，通過上述像素移位將上述受光單位依次設定于多個方位，按每多個幀將上述受光單位設定在相同的方位的情況下，上述插值處理部根據(jù)由上述各幀取得的上述低分辨幀圖像，在上述各幀中通過插值處理求出上述假想受光單位的受光值，上述推定運算部根據(jù)上述受光單位的受光值和上述假想受光單位的受光值，在上述各幀中推定上述推定像素值，上述圖像輸出部根據(jù)上述推定像素值來求出上述各幀的幀圖像，將上述多個幀的上述幀圖像合成來輸出上述高分辨幀圖像。這樣，根據(jù)在各幀中進行像素移位的受光單位的受光值，在各幀中推定出推定像素值來求出幀圖像，將該多個幀圖像合成后輸出高分辨幀圖像。另外，在本發(fā)明的一個實施方式中也可以是，上述圖像輸出部將上述高分辨幀圖像進行分辨率變換而作為高清動態(tài)圖像來輸出，或將上述高分辨幀圖像作為高分辨靜止圖像來輸出。這樣，能根據(jù)高分辨幀圖像來輸出高清動態(tài)圖像或高分辨靜止圖像。另外，本發(fā)明的其它實施方式涉及一種攝像裝置，包括:攝像元件；讀出控制部，其將作為取得受光值的單位的受光單位設定于上述攝像元件，讀出上述受光單位的受光值，取得低分辨幀圖像；存儲部，其存儲由上述讀出控制部取得的上述低分辨幀圖像；插值處理部，其通過上述低分辨幀圖像的以上述受光單位的受光值為基礎的插值處理來求出假想受光單位的受光值，上述假想受光單位在從上述受光單位的方位移位后的方位與上述受光單位重疊地設定；推定運算部，其根據(jù)上述受光單位的受光值和上述假想受光單位的受光值，推定與上述低分辨幀圖像的像素間距相比像素間距小的推定像素值；以及圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值，輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。另外，在本發(fā)明的其它的實施方式中也可以是，包括:顯示部和進行在上述顯示部顯示圖像的控制的顯示控制部，上述圖像輸出部將上述高分辨幀圖像進行分辨率變換而作為高清動態(tài)圖像來輸出，或將上述高分辨幀圖像作為高分辨靜止圖像來輸出，上述顯示控制部對顯示由上述低分辨幀圖像得到的動態(tài)圖像進行控制、對顯示上述高清動態(tài)圖像進行控制以及對顯示上述高分辨靜止圖像進行控制。另外，本發(fā)明的其它實施方式涉及一種程序，使計算機作為如下裝置發(fā)揮功能:存儲部，在將作為取得受光值的單位的受光單位設定于攝像元件，讀出上述受光單位的受光值，取得低分辨幀圖像的情況下，存儲所取得的上述低分辨幀圖像；插值處理部，通過上述低分辨幀圖像的以上述受光單位的受光值為基礎的插值處理來求出假想受光單位的受光值，上述假想受光單位在從上述受光單位的方位移位后的方位與上述受光單位重疊地設定；推定運算部，其根據(jù)上述受光單位的受光值和上述假想受光單位的受光值，推定與上述低分辨幀圖像的像素間距相比像素間距小的推定像素值；以及圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值，輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。另外，本發(fā)明的其它實施方式涉及一種圖像處理方法，在將作為取得受光值的單位的受光單位設定于攝像元件，讀出上述受光單位的受光值，取得低分辨幀圖像的情況下，存儲所取得的上述低分辨幀圖像，通過上述低分辨幀圖像的以上述受光單位的受光值為基礎的插值處理求出假想受光單位的受光值，上述假想受光單位在從上述受光單位的方位移位后的方位與上述受光單位重疊地設定，根據(jù)上述受光單位的受光值和上述假想受光單位的受光值，推定與上述低分辨幀圖像的像素間距相比像素間距小的推定像素值，根據(jù)由上述推定運算部推定出的像素值，輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。


圖1是受光值的插值方法的說明圖。圖2(A)、圖2(B)是推定處理塊和受光單位的說明圖。圖3(A)、圖3(B)是推定像素值和中間像素值的說明圖。圖4是推定像素值的第I推定方法的說明圖。圖5是推定像素值的第I推定方法的說明圖。圖6是推定像素值的第I推定方法的說明圖。圖7(A)、圖7(B)是中間像素值和推定像素值的說明圖。圖8是推定像素值的第I推定方法的說明圖。圖9是推定像素值的第I推定方法的說明圖。圖10是推定像素值的第I推定方法的說明圖。圖11是攝像裝置和圖像處理裝置的第I構成例。圖12是動態(tài)圖像拍攝中的插值方法的說明圖。圖13是推定像素值的第2推定方法的說明圖。圖14(A)、圖14⑶是推定像素值的第3推定方法的說明圖。圖15是推定像素值的第3推定方法的說明圖。圖16是推定像素值的第3推定方法的說明圖。圖17(A)、圖17⑶是推定像素值的第3推定方法的說明圖。圖18是數(shù)據(jù)壓縮擴展和推定處理方法的說明圖。圖19是數(shù)據(jù)壓縮擴展和推定處理方法的說明圖。圖20是攝像裝置和圖像處理裝置的第2構成例。圖21是推定像素值的第4推定方法的說明圖。圖22(A)、圖22⑶是推定像素值的第4推定方法的說明圖。圖23是推定像素值的第4推定方法的說明圖。圖24是推定像素值的第4推定方法的說明圖。圖25是推定像素值的第4推定方法的說明圖。圖26是推定像素值的第4推定方法的說明圖。圖27是推定像素值的第4推定方法的說明圖。圖28是推定像素值的第4推定方法的說明圖。圖29是推定像素值的第5推定方法的流程圖。圖30是推定像素值的第6推定方法的說明圖。圖31是推定像素值的第6推定方法的流程圖。圖32(A)、圖32⑶是推定像素值的第7推定方法的說明圖。圖33是攝像裝置和圖像處理裝置的第3構成例。
具體實施例方式下面詳細說明本發(fā)明的優(yōu)選實施方式。此外，以下說明的本實施方式并非對權利要求中記載的本發(fā)明的內(nèi)容進行不當限定，在本實施方式中說明的構成未必都是本發(fā)明的解決方案所必須的。1.比較仞丨
首先說明本實施方式的比較例。在數(shù)碼相機、攝像機的產(chǎn)品中，有些以靜止圖像拍攝為主的數(shù)碼相機帶有動態(tài)圖像拍攝功能，有些以動態(tài)圖像拍攝為主的攝像機帶有靜止圖像拍攝功能。這些相機多是切換使用靜止圖像拍攝方式和動態(tài)圖像拍攝方式。其中，存在能以伴隨動態(tài)圖像拍攝的高幀速率拍攝高精細靜止圖像的產(chǎn)品，它能進行短時間的高速連拍。若使用這種器材，則具有能用一個器材來進行靜止圖像和動態(tài)圖像的拍攝的便利性。然而，在這些方法中，存在難以不會錯過很多人所追求的快門時機地得到高質(zhì)量的靜止圖像的課題。例如，在動態(tài)圖像拍攝中瞬時切換為拍攝高質(zhì)量靜止圖像的方式的方法中，存在動態(tài)圖像被中斷，在用戶注意到時已經(jīng)錯過了決定性的瞬間的課題。這樣，在現(xiàn)有的方法中要求拍攝者具有相當?shù)募记?，因此，要求例如能一邊拍攝動態(tài)圖像，一邊將其中任意圖像生成為高精細圖像，或者隨意地拍攝后，能從其中不降低分辨率地提取高精細圖像并選擇所期望的構圖。為了解決不錯過這樣的快門時機的課題，可考慮通過動態(tài)圖像拍攝來無遺漏地拍攝全部場景，從其中自由得到?jīng)Q定性的瞬間作為高質(zhì)量的靜止圖像的方法。為了實現(xiàn)該方法，需要能以高幀速率拍攝高精細圖像。然而，該方法的實現(xiàn)并不容易。例如，為了以60fps(fps:幀/秒)連續(xù)拍攝1200萬像素的圖像，需要能進行超高速攝像的攝像元件、對攝像數(shù)據(jù)進行超高速處理的處理電路、超高速數(shù)據(jù)壓縮處理功能、記錄龐大數(shù)據(jù)的記錄單元。為此，需要使用多個攝像元件、并行處理、大規(guī)模存儲器、高能力散熱機構等，在追求小型化、低成本的民用器材中并不現(xiàn)實。如果不是動態(tài)圖像拍攝的高清(200萬像素)程度的分辨率的高質(zhì)量的靜止圖像，雖然能實現(xiàn)，但是作為高清程度的分辨率的靜止圖像是不充分的。另外，作為進行高幀速率的動態(tài)圖像拍攝的方法，可考慮如下方法:使用能用多像素拍攝高精細圖像的高像素圖像傳感器，通過像素的間拔讀出或者相鄰像素的相加讀出來進行低分辨圖像化，通過減少I次讀出數(shù)據(jù)來實現(xiàn)。然而，在該方法中，無法以高幀速率拍攝聞精細圖像。為了解決該課題，需要從以高幀速率拍攝到的低分辨圖像得到高分辨圖像。作為從低分辨圖像得到高分辨圖像的方法，可考慮如下方法:例如對通過像素移位而拍攝到的低分辨圖像進行所謂超分辨處理來生成高分辨圖像。然而，在該方法中，需要使傳感器機械地移位，或者一邊移位一邊進行相加讀出，因此，相機的構成變得復雜。另外，需要超分辨處理，因此處理負荷變大。例如，作為利用像素移位的超分辨處理，可考慮使用相加讀出的方法。S卩，將低分辨圖像依次進行位置偏移并且讀出后，根據(jù)該多個位置偏移圖像來暫時假定高精細化圖像。然后，使假定的圖像劣化來生成低分辨圖像，將其與原來的低分辨圖像進行比較，以其差異最小的方式使高精細圖像變形，推定高精細圖像。作為該超分辨處理，已知ML (Maximum-Likelihood:最大似然)法、MAP (Maximum A Posterior:最大后驗概率)法、POCS (Projection Onto Convex Set:凸集投影)法、IBP (Iterative Back Projection:迭代反投影)法等。作為使用該超分辨處理的方法，有例如上述專利文獻I公開的方法。在該方法中，在動態(tài)圖像拍攝時按時間序列依次拍攝進行了像素移位的低分辨圖像，將該多個低分辨圖像合成來假定高分辨圖像。然后，對該假定的高分辨圖像實施上述超分辨處理，推定似然高的高分辨圖像。然而，在這些方法中，使用通過多使用二維濾波的反復運算來提高推定精度的一般超分辨處理。因此，存在處理的規(guī)模非常大，處理時間增加，難以應用于處理能力、成本受限的器材的課 題。例如，當用于數(shù)碼相機這種小型便攜攝像裝置時，出現(xiàn)處理電路的規(guī)模會變大、消耗電力增大、產(chǎn)生大量的熱、成本大幅度增加等課題。另外，在上述專利文獻2中公開了用進行了像素移位的多個低分辨圖像來生成高分辨圖像的方法。在該方法中，使構成想求出的高分辨圖像的假像素為副像素，以該副像素的平均值與拍攝到的低分辨圖像的像素值一致的方式推定副像素的像素值。在該像素值的推定中，設定多個副像素的初始值，從低分辨圖像的像素值減去除了想算出的副像素以外的副像素的像素值來求出像素值，將其應用于依次相鄰的像素。然而，在該方法中，存在如果初始值的確定不好則推定誤差會非常大的課題。在該方法中，為了設定初始值，從圖像找出副像素的像素值變化小、涵蓋它們的低分辨像素值大致等于它們的平均值的部分。因此，當無法從拍攝圖像找到適于初始值的設定的部分時，就難以進行初始值的推定。另外，也會需要探索適于初始值的設定的部分的處理。2.受光倌.的插倌.方法因此，在本實施方式中，通過攝像來取得低分辨幀圖像，根據(jù)該低分辨幀圖像通過插值處理假想地求出進行了像素移位的低分辨幀圖像，用簡單的推定處理從這些圖像推定高分辨幀圖像。首先，用圖1說明通過插值處理求出進行了像素移位的低分辨幀圖像的方法。此外，下面將通過攝像取得的受光值(像素值)稱為受光單位(受光值取得單位)的受光值，將通過插值處理求出的受光值稱為假想受光單位(插值受光單位)的受光值。另外，下面以受光單位的受光值是4像素相加值的情況為例進行說明，但在本實施方式中，不限于該情況，例如也可以是I像素的像素值、9像素相加值。如圖1所示，通過攝像取得構成低分辨幀圖像的受光單位的受光值a_2,_2、a0,_2、…、a22 (用實線的方形示出)。具體地說，按攝像元件的每4像素(I像素或多個像素)設定受光單位，將該受光單位所包含的像素的像素值相加或者加權相加而讀出，取得受光值。當將攝像元件的像素間距設為P時，受光單位的間距是2p。然后，通過幀內(nèi)的插值處理從該低分辨幀圖像求出3個進行了重疊移位的低分辨幀圖像(以下，稱為移位圖像)。具體地說，求出相對于低分辨幀圖像在水平方向移位了間距P的第I移位圖像、在垂直方向移位了間距P的第2移位圖像、在水平方向和垂直方向移位了間距P的第3移位圖像。這些移位量與假定實際上進行了移位攝像時的攝像元件上的移位量對應。例如，如圖1所示，接近已取得的受光值Btltl的3個假想受光單位的受光值a10、a01, a11 (用虛線的方形示出)分別是構成第I移位圖像 第3移位圖像的受光值。假想受光單位設定為與受光單位相同的像素數(shù)的4像素。該受光值a10、a01, a11從假想受光單位的周邊的受光值來推定。例如如下式⑴所示，受光值a10、a01, an的推定值是通過對所接近的受光單位的受光值乘以加權系數(shù)W0W1 W2進行插值推定來求出。a。。=(已知的取得值)，a10 = (W1.a0-2+W1.a2,_2)
+ (W(l.a00+w0.a20)+ (W1.a02+w1.a22),
權利要求
1.一種圖像處理裝置，其特征在于， 包括: 存儲部，其在將作為取得受光值的單位的受光單位設定于攝像元件，讀出上述受光單位的受光值而取得低分辨幀圖像的情況下，存儲所取得的上述低分辨幀圖像； 插值處理部，其通過上述低分辨幀圖像的以上述受光單位的受光值為基礎的插值處理來求出假想受光單位的受光值，上述假想受光單位在從上述受光單位的方位移位后的方位與上述受光單位重疊地設定； 推定運算部，其根據(jù)上述 受光單位的受光值和上述假想受光單位的受光值，推定與上述低分辨幀圖像的像素間距相比像素間距小的推定像素值；以及 圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值，輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。
2.根據(jù)權利要求1所述的圖像處理裝置，其特征在于， 上述推定運算部求出第I受光單位與第2受光單位的差分值，根據(jù)上述差分值來推定上述推定像素值，其中，上述第I受光單位是設定于第I方位的上述受光單位或上述假想受光單位中的任一個，上述第2受光單位是設定于與上述第I受光單位重疊的第2方位的上述假想受光單位。
3.根據(jù)權利要求2所述的圖像處理裝置，其特征在于， 上述推定運算部用上述差分值表示從上述第I受光單位除去重疊區(qū)域后的第I受光區(qū)域的受光值即第I中間像素值與從上述第2受光單位除去上述重疊區(qū)域后的第2受光區(qū)域的受光值即第2中間像素值之間的關系式， 上述推定運算部用上述關系式推定上述第I中間像素值、第2中間像素值，用推定出的上述第I中間像素值來求出上述推定像素值。
4.根據(jù)權利要求3所述的圖像處理裝置，其特征在于， 上述推定運算部在將包含上述第I中間像素值、第2中間像素值的連續(xù)的中間像素值設為中間像素值模式的情況下，用上述受光單位的受光值和上述假想受光單位的受光值來表示上述中間像素值模式所包含的中間像素值之間的關系式， 上述推定運算部將用上述關系式表示的上述中間像素值模式與用上述受光單位的受光值及上述假想受光單位的受光值表示的受光值模式進行比較來評價類似性， 上述推定運算部根據(jù)上述類似性的評價結果，以使上述類似性為最高的方式?jīng)Q定上述中間像素值模式所包含的中間像素值。
5.根據(jù)權利要求4所述的圖像處理裝置，其特征在于， 上述推定運算部求出表示用上述關系式所表示的上述中間像素值模式與上述受光值模式之間的誤差的評價函數(shù)，以上述評價函數(shù)的值為最小的方式?jīng)Q定上述中間像素值模式所包含的中間像素值。
6.根據(jù)權利要求1至5中的任一項所述的圖像處理裝置，其特征在于， 上述插值處理部將上述低分辨幀圖像所包含的上述受光單位的受光值中的、上述假想受光單位的周邊的多個受光單位的受光值進行加權相加來求出上述假想受光單位的受光值。
7.根據(jù)權利要求1至5中的任一項所述的圖像處理裝置，其特征在于，在按上述攝像元件的每多個像素設定上述受光單位的情況下，將上述受光單位的各像素值相加而作為上述受光單位的受光值來讀出， 上述推定運算部根據(jù)通過相加讀出得到的上述受光單位的受光值來推定上述受光單位的各像素的像素值。
8.根據(jù)權利要求1至5中的任一項所述的圖像處理裝置，其特征在于， 在按上述攝像元件的每多個像素設定上述受光單位的情況下，將上述受光單位的各像素值加權相加而作為上述受光單位的受光值來讀出， 上述推定運算部根據(jù)通過加權相加讀出得到的上述受光單位的受光值來推定上述受光單位的各像素的像素值。
9.根據(jù)權利要求1至5中的任一項所述的圖像處理裝置，其特征在于， 上述攝像元件是彩色攝像元件，將相鄰的多個像素不依賴于像素的顏色地設定為上述受光單位，將設定為上述受光單位的上述多個像素的像素值相加而讀出，取得上述低分辨率幀圖像， 上述推定運算部根據(jù)上述低分辨率幀圖像的上述受光單位的受光值和來自上述插值處理部的上述假想受光單位的受光值來推定上述受光單位的各像素的像素值， 上述圖像輸出部根據(jù)由上述推定運算部推定出的像素值來輸出彩色的上述高分辨幀圖像。
10.根據(jù)權利要求1至5中的任一項所述的圖像處理裝置，其特征在于， 上述攝像元件是彩色攝像元件，將相同顏色的多個像素設定為上述受光單位，將設定為上述受光單位的上述多個像素的像素值相加而讀出，取得上述低分辨率幀圖像， 上述推定運算部根據(jù)上述低分辨率幀圖像的上述受光單位的受光值和來自上述插值處理部的上述假想受光單位的受光值來推定上述受光單位的各像素的像素值， 上述圖像輸出部根據(jù)由上述推定運算部推定出的像素值來輸出彩色的上述高分辨幀圖像。
11.根據(jù)權利要求1至5中的任一項所述的圖像處理裝置，其特征在于， 在將上述受光單位按NXN像素設定，將上述NXN像素的像素值相加而讀出，取得NXN像素的受光單位的受光值的情況下， 上述插值處理部通過插值處理求出將上述NXN像素的受光單位進行了 N/2像素移位后得到的NXN像素的假想受光單位的受光值， 上述推定運算部根據(jù)上述NXN像素的受光單位的受光值和上述NXN像素的假想受光單位的受光值，推定N/2XN/2像素的受光單位的受光值， 上述插值處理部通過插值處理求出將上述N/2XN/2像素的受光單位進行了 N/4像素移位后得到的N/2XN/2像素的假想相加像素的像素值， 上述推定運算部根據(jù)上述N/2 X N/2像素的受光單位的受光值和上述N/2 X N/2像素的假想受光單位的受光值，推定N/4XN/4像素的受光單位的受光值。
12.根據(jù)權利要求1至5中的任一項所述的圖像處理裝置，其特征在于， 在按各幀進行將上述受光單位一邊重疊一邊移位的像素移位，通過上述像素移位將上述受光單位依次設定于多個方位， 按每多個幀將上述受光單位設定于相同的方位的情況下，上述插值處理部根據(jù)由上述各幀取得的上述低分辨幀圖像，在上述各幀中通過插值處理求出上述假想受光單位的受光值， 上述推定運算部根據(jù)上述受光單位的受光值和上述假想受光單位的受光值，在上述各幀中推定上述推定像素值， 上述圖像輸出部根據(jù)上述推定像素值來求出上述各幀的幀圖像，將上述多個幀的上述幀圖像合成而輸出上述高分辨幀圖像。
13.根據(jù)權利要求1至5中的任一項所述的圖像處理裝置，其特征在于， 上述圖像輸出部將上述高分辨幀圖像進行分辨率變換而作為高清動態(tài)圖像來輸出，或將上述高分辨幀圖像作為高分辨靜止圖像來輸出。
14.一種攝像裝置，其特征在于， 包括: 攝像元件； 讀出控制部，其將作為取得受光值的單位的受光單位設定于上述攝像元件，讀出上述受光單位的受光值而取得低分辨幀圖像； 存儲部，其存儲由上述讀出控制部取得的上述低分辨幀圖像； 插值處理部，其通過上述低分辨幀圖像的以上述受光單位的受光值為基礎的插值處理來求出假想受光單位的受光值，上述假想受光單位在從上述受光單位的方位移位后的方位與上述受光單位重疊地設定； 推定運算部，其根據(jù)上述 受光單位的受光值和上述假想受光單位的受光值，推定與上述低分辨幀圖像的像素間距相比像素間距小的推定像素值；以及 圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值，輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。
15.根據(jù)權利要求14所述的攝像裝置，其特征在于， 包括: 顯示部；和 進行在上述顯示部顯示圖像的控制的顯示控制部， 上述圖像輸出部將上述高分辨幀圖像進行分辨率變換而作為高清動態(tài)圖像來輸出，或將上述高分辨幀圖像作為高分辨靜止圖像來輸出， 上述顯示控制部對顯示由上述低分辨幀圖像得到的動態(tài)圖像進行控制、對顯示上述高清動態(tài)圖像進行控制以及對顯示上述高分辨靜止圖像進行控制。
16.一種程序，其特征在于， 使計算機作為如下裝置發(fā)揮功能: 存儲部，在將作為取得受光值的單位的受光單位設定于攝像元件，讀出上述受光單位的受光值而取得低分辨幀圖像的情況下，存儲所取得的上述低分辨幀圖像； 插值處理部，通過上述低分辨幀圖像的以上述受光單位的受光值為基礎的插值處理來求出假想受光單位的受光值，上述假想受光單位在從上述受光單位的方位移位后的方位與上述受光單位重疊地設定； 推定運算部，其根據(jù)上述受光單位的受光值和上述假想受光單位的受光值，推定與上述低分辨幀圖像的像素間距相比像素間距小的推定像素值；以及圖像輸出部，其根據(jù)由上述推定運算部推定出的像素值，輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。
17.一種圖像處理方法，其特征在于， 在將作為取得受光值的單位的受光單位設定于攝像元件，讀出上述受光單位的受光值而取得低分辨幀圖像的情況下，存儲所取得的上述低分辨幀圖像， 通過上述低分辨幀圖像的以上述受光單位的受光值為基礎的插值處理求出假想受光單位的受光值，上述假想受光單位在從上述受光單位的方位移位后的方位與上述受光單位重疊地設定， 根據(jù)上述受光單位的受光值和上述假想受光單位的受光值，推定與上述低分辨幀圖像的像素間距相比像素間距小的推定像素值， 根據(jù)由上述推定運算部推定出的像素值，輸出分辨率比上述低分辨幀圖像高的高分辨幀圖像。`
全文摘要
提供能以簡單的處理從低分辨動態(tài)圖像取得高分辨圖像的圖像處理裝置、攝像裝置、程序以及圖像處理方法等。圖像處理裝置包括存儲部、插值處理部、推定運算部、圖像輸出部。讀出受光單位的受光值(a-2，-2～a22)而取得低分辨幀圖像。存儲部存儲該低分辨幀圖像。插值處理部通過基于受光值(a-2，-2～a22)的插值處理求出假想受光單位的受光值(a10、a01、a11)。推定運算部根據(jù)受光單位的受光值(a00)和假想受光單位的受光值(a10、a01、a11)，推定與低分辨幀圖像相比像素間距小的推定像素值。圖像輸出部根據(jù)該推定像素值輸出分辨率比低分辨幀圖像高的高分辨幀圖像。
文檔編號H04N9/07GK103109305SQ201180025799
公開日2013年5月15日 申請日期2011年5月2日 優(yōu)先權日2010年5月26日
發(fā)明者今出慎一 申請人:奧林巴斯株式會社