專利名稱：攝像設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及 一 種拍攝被攝體的圖像的攝像設(shè)備。
背景技術(shù)：
近年來，作為數(shù)字照相機等攝像設(shè)備，已經(jīng)開發(fā)出除了拍 攝靜止圖像的功能以外還具有拍攝運動圖像的功能的攝像設(shè)備 以及具有在拍攝靜止圖像或運動圖像的同時記錄聲音的功能的 攝像設(shè)備。
這種攝像設(shè)備包括攝像元件，該攝像元件包括拍攝分辨率 比運動圖像的分辨率高的靜止圖像所需要的像素數(shù)。在攝像元
件上執(zhí)行z像素相加、間除(decimation)等，結(jié)果可以使用適合于 運動圖像的像素數(shù)并以高的幀頻拍攝運動圖像。這樣，攝像設(shè) 備具有靜止圖像驅(qū)動模式(下文中稱為"靜止圖像模式")和運 動圖像驅(qū)動模式(下文中稱為"運動圖像模式")，其中，靜止 圖像驅(qū)動模式照原樣輸出由攝像元件所拍攝的圖像，運動圖像 驅(qū)動模式執(zhí)行像素相加、間除等。
作為用于在拍攝運動圖像期間拍攝靜止圖像的技術(shù)，曰本 特開2006-101473號公報提出了根據(jù)要拍攝的圖像(運動圖像或 靜止圖像)將攝像元件的驅(qū)動模式切換至運動圖像模式或靜止 圖像模式時拍攝圖像的技術(shù)。
提出了通過對多個低分辨率圖像進行合成來生成高分辨率 圖像的技術(shù)(下文中稱為"超分辨率(super-resolution)"或"超 分辨率處理")。通過應(yīng)用這種超分辨率處理，能夠在拍攝運動 圖像期間拍攝靜止圖像。例如，作為與超分辨率相關(guān)聯(lián)的技術(shù)， 日本特開2007-19641號公報提出了在執(zhí)行超分辨率處理之后或在執(zhí)行超分辨率處理期間執(zhí)行信號處理的圖像信號處理方法。
然而，當(dāng)在拍攝運動圖像期間拍攝靜止圖像時將攝像元件 的驅(qū)動模式切換至靜止圖像模式時，不能再以拍攝運動圖像所 需要的幀頻進行攝像。因此，在拍攝靜止圖像期間，需要維持
緊挨著的前一幀，或者需要使用全黑幀(full black frame)等替代 幀。結(jié)果，出現(xiàn)了問題，即實際上發(fā)生運動圖像定格。
在應(yīng)用超分辨率處理時，能夠避免運動圖像定格。然而， 需要對用于運動圖像的低分辨率圖像和經(jīng)過了超分辨率處理的 高分辨率圖像都應(yīng)用信號處理。因此，需要將執(zhí)行包括同步處 理、APC校正處理等各種處理的信號處理單元配置為時分處理 低分辨率圖像和高分辨率圖像(即，實現(xiàn)高速運轉(zhuǎn))，或者需要 與各種處理相對應(yīng)地單獨設(shè)置這些單元，從而導(dǎo)致成本增加。
此外，當(dāng)對經(jīng)過了信號處理的運動圖像的圖像應(yīng)用超分辨 率處理時，針對運動圖像施加的APC校正分量由于超分辨率處 理的結(jié)果而表現(xiàn)為不自然的滲色(bleeding)。例如，在執(zhí)行APC 校正處理時，混合了邊緣增強分量。因此，在對混合了邊緣增 強分量的圖像應(yīng)用超分辨率處理時，該邊緣增強分量擴散，從 而在通過超分辨率處理所生成的高分辨率圖^f象的邊緣部分中生 成不自然的暗部和亮部。

發(fā)明內(nèi)容
本發(fā)明提供一種能夠在抑制成本增加的同時在拍攝運動圖 像期間拍攝具有高圖像質(zhì)量的靜止圖像的攝像設(shè)備。
根據(jù)本發(fā)明的第 一 方面，提供了 一種用于拍攝被攝體的圖 像的攝像設(shè)備，所述攝像設(shè)備包括攝像元件，用于將經(jīng)由鏡 頭形成的光學(xué)圖像轉(zhuǎn)換成圖像信號；信號處理單元，用于對所 述圖像信號應(yīng)用信號處理并輸出處理后的圖像信號；超分辨率處理單元，用于當(dāng)在拍攝所述被攝體的運動圖像期間要拍攝所 述被攝體的靜止圖像時，通過對從所述信號處理單元輸出的多 個圖像信號進行合成來應(yīng)用用于提高分辨率的超分辨率處理，
并輸出生成所述被攝體的靜止圖像所需要的圖像信號；以及 APC校正單元，用于對從所述信號處理單元輸出的圖像信號和 從所述超分辨率處理單元輸出的圖像信號均應(yīng)用用于增強邊緣 的APC校正處理，并輸出處理后的圖像信號。
根據(jù)以下參考附圖對典型實施例的說明，本發(fā)明的其它特 征將變得明顯。


圖l是示出作為本發(fā)明第一實施例的攝像設(shè)備的示意框圖。 圖2是示出作為本發(fā)明第二實施例的攝像設(shè)備的示意框圖。 圖3是示出作為本發(fā)明第三實施例的攝像設(shè)備的示意框圖。 圖4是示出在APC校正處理中確定APC校正的強度所需要
的APC系數(shù)的例子的圖。
圖5A和5B是用于解釋APC校正處理的圖。
圖6A 6E是用于解釋APC校正處理的圖。
圖7是示出在對圖6A 6E中示出的、經(jīng)過了 APC校正處理的
第一幀圖像和第二幀圖像應(yīng)用超分辨率處理時的圖像的圖。
圖8是示出在對圖6A 6E中示出的第 一 幀圖像和第二幀圖
子的圖。
圖9是用于解釋超分辨率處理的流程圖。 圖IO是示出在超分辨率處理中使用的幀圖像和在超分辨率 處理之后的圖像的圖。
圖ll是用于解釋超分辨率處理中的插值處理的圖。
具體實施例方式
在下文中，將參考

本發(fā)明的優(yōu)選實施例。注意， 在所有附圖中，相同的附圖標(biāo)記表示相同的構(gòu)件，并且將避免 對其的重復(fù)說明。
在對本實施例的才聶像設(shè)備進行說明之前，以下將說明信號 處理。
具有顏色濾波器的單C C D型的攝像設(shè)備只能從攝像元件獲 得每像素的單色的信息。例如，在原色濾波器的情況下，由于 每像素只能獲得原色即紅色、綠色和藍(lán)色中的僅一種顏色的顏 色信息，因此確定陣列使得相鄰的像素具有不同的顏色信息。 將用于獲得每像素的全部三原色的處理稱為同步處理。
除同步處理以外，信號處理還包括伽瑪校正處理、APC校 正處理和KNEE校正處理等圖^f象調(diào)整處理。特別地，APC校正處 理應(yīng)用邊緣增強，并且具有恢復(fù)作為同步處理等各種處理的結(jié) 果而模糊的邊緣的作用。因此，執(zhí)行信號處理的信號處理單元 是重視圖像質(zhì)量的攝像設(shè)備中的重要電路，并且具有大的電路 規(guī)模。
例如，通過將由空間濾波器所提取出的邊緣分量乘以如圖4 所示的確定APC校正的程度(強度)所需要的APC系數(shù)并對結(jié)果 相加，來實現(xiàn)APC校正處理。根據(jù)APC系數(shù)，對于圖5A中示出 的APC校正處理之前的圖像(圖像信號)，確定圖5B中示出的 APC校正處理之后的圖像(圖像信號)中邊緣增強分量的形狀。 當(dāng)對包括許多邊緣增強分量的圖像應(yīng)用超分辨率處理時，這些 邊緣增強分量趨于沿配準(zhǔn)的偏移方向擴散。圖4是示出在APC 校正處理中用于確定APC校正的強度所需要的APC系數(shù)的例子 的圖。圖5A和5B是用于解釋APC校正處理的圖圖5A示出APC校正處理之前的圖像，而圖5B示出APC校正處理之后的圖像。
例如，下面將說明要拍攝簡單邊緣的圖像的情況。假定由 局限于X軸或Y軸的一維代替二維來限定圖像。以下將分析如圖 6 A所示對所拍攝的邊緣進行采樣的情況。假定拍攝圖6 A中由三 角形(△)所表示的點作為第 一 幀圖像，并且拍攝由正方形(□) 所表示的點作為第二幀圖像。圖6B示出在這種情況下的第一幀 圖像，而圖6C示出第二幀圖像。圖6D示出通過對第一幀圖像應(yīng) 用APC校正處理所獲得的圖像，而圖6E示出通過對第二幀圖像 應(yīng)用APC校正處理所獲得的圖像。
當(dāng)對圖6D和6E中示出的經(jīng)過了 APC4交正處理的第 一幀圖 像和第二幀圖像應(yīng)用超分辨率處理時，如圖7所示，在邊緣增強 分量擴散的狀態(tài)下合成這些圖像。因此，應(yīng)用前述APC校正處 理以達(dá)到即使在通過超分辨率處理合成圖像之后邊緣增強分量 仍不明顯的程度，并且在超分辨率處理之后再次應(yīng)用APC校正 處理。結(jié)果，在拍攝運動圖像和超分辨率處理時可以共用該信 號處理單元，從而抑制了電路規(guī)模的增大。
圖8示出當(dāng)對圖6B和圖6C中示出的第 一 幀圖像和第二幀圖 像進行超分辨率處理之后應(yīng)用APC校正處理時所獲得的圖像。 信號處理之前圖像的每顏色分量的位深度(bit depth)比信號處 理之后的要深。因此在對信號處理之前的圖像應(yīng)用超分辨率處 理時，需要大容量的存儲器作為用于保持通過該超分辨率處理 所合成的圖像的存儲器。然而，由于在信號處理之前應(yīng)用用于 降低位深度的處理會導(dǎo)致圖像質(zhì)量的顯著下降，因此優(yōu)選對信 號處理之后的圖像應(yīng)用超分辨率處理。
以下將詳細(xì)說明超分辨率處理。如上所述，超分辨率處理 是用于從具有重疊部分的多個低分辨率圖像生成高分辨率圖像 的處理。在本實施例中，超分辨率處理從多個幀圖像(運動圖像)生成靜止圖像。
圖9是用于解釋超分辨率處理的流程圖。在步驟S1002中， 獲取多個選擇的幀圖像。在本實施例中，獲取四個幀圖像。將 在步驟S1002中獲取的多個選擇的幀圖像臨時存儲在存儲器 中。
注意，每個幀圖像包括表示點矩陣形狀中的像素的色調(diào)值 (像素值)的色調(diào)數(shù)據(jù)(像素數(shù)據(jù))。每個像素數(shù)據(jù)是包括Y(亮度)、 Cb(藍(lán)色色差)和Cr(紅色色差)分量的YCbCr數(shù)據(jù)，或或是包括 R(紅色)、G(綠色)和B(藍(lán)色)分量的RGB數(shù)據(jù)等，并且依賴于攝 像元件的類型。
在本實施例中，為了明確對超分辨率處理的說明，如圖IO 和ll(后面將說明)所示，將每個幀圖像表示為只有一種顏色的 多值圖像數(shù)據(jù)。此外，代替實際運動圖像大小(例如，VGA大小)， 將圖像大小表示為8 x 8 = 64個像素的圖像數(shù)據(jù)。
在步驟S1004中，估計用于校正在步驟S1002中獲取的四個 幀圖像中的三個幀圖像的各幀的偏差(位置偏差)的校正量。在 該校正量估計中，將四個幀圖像中的一個幀圖像設(shè)置為基準(zhǔn)幀， 并將其余三個幀圖像設(shè)置為對象幀。對于各個對象幀，估計用 于校正相對于基準(zhǔn)幀的位置偏差的校正量。在本實施例中，將 在步驟S10 02中獲取的幀圖像中最早生成的幀圖像設(shè)置為基準(zhǔn) 幀，并將其余三個幀圖像設(shè)置為對象幀。
在以下的說明中，由11(11=0、 1、 2、 3)表示在步驟S1002中 獲取的四個幀的編號(幀編號)，將幀編號為n的幀表示為幀n, 并且將幀n的圖像表示為幀圖像Fn。例如，將幀編號11=0的幀表 示為幀0，并且將該幀0的圖像表示為幀圖像FO。注意，將幀0 設(shè)置為基準(zhǔn)幀，并且將幀1 3設(shè)置為對象幀。將基準(zhǔn)幀的幀圖 像FO表示為基準(zhǔn)幀圖像，并且將對象幀的幀圖像F1 F3表示對象幀圖像。
可以通過平移(橫向或縱向)的偏差和旋轉(zhuǎn)的偏差的組合來 表示圖像的位置偏差。然而，在本實施例中，將不給出對旋轉(zhuǎn) 偏差的說明和處理。
圖IO是示出超分辨率處理中使用的幀圖像和超分辨率處理 之后的圖像的圖。圖10示出被攝體以及通過攝像所獲得的基準(zhǔn) 幀圖像F0和對象幀圖像F 1~F3 。圍繞被攝體的虛線矩形表示在 拍攝基準(zhǔn)幀圖像F0時的視角，而實線矩形表示在拍攝對象幀圖 像F1 F3時的一見角。
在圖10中，設(shè)"um"為橫向平移偏差量，"vm"為縱向平 移偏差量。此外，設(shè)"umn，，和"vmn"為各對象幀圖像Fn(n二l 、 2、 3)的橫向和縱向平移偏差量。例如，如圖10所示，對象幀圖 像F1相對于基準(zhǔn)幀圖像F 0有縱向平移偏差，并且由u m 1和v m 1 表示其偏差量。
為了將基準(zhǔn)幀圖像F0與各個對象幀圖像F1 F3合成，必需 對各個對象幀圖像的各像素的位置偏差進行校正，以消除各個
對象幀圖像和基準(zhǔn)幀圖像之間的偏差。設(shè)"u"為在該校正中使 用的橫向平移校正量，"v"為縱向平移校正量。并且，設(shè)"un" 和"vn"為各對象幀圖像Fn(n^1、 2、 3)的橫向和縱向平移校正 量。例如，由ul和vl表示對象幀圖像Fl的校正量。
對各個對象幀圖像的各像素的位置偏差的校正表示將對象 幀圖像Fn(r^1、 2、 3)的各像素的位置在橫向上移動un且在縱向 上移動vn。因此，由關(guān)系un =-umn和vn =-vmn表示各對象幀圖 寸象Fn(n^1 、 2、 3)的才交正量un禾口 vn。例^口 ，由ul =國uml禾口vl =國vml 表示對象幀圖像Fl的校正量ul和vl。
這樣，通過使用校正量ul和vl校正對象幀圖像F1的各像素 的位置，能夠消除對象幀圖像F1和基準(zhǔn)幀圖像FO之間的偏差。同樣地，還使用校正量u2和v2以及校正量u3和v3對對象幀圖像 F2和F3進行校正。
注意，基于基準(zhǔn)幀圖像F0的圖像數(shù)據(jù)和對象幀圖像F1 F3 的圖像數(shù)據(jù)，計算各個對象幀圖像Fn(n-l、 2、 3)的校正量un 和vn。該計算使用例如模式匹配方法、梯度法或最小二乘法等 預(yù)定的計算方法。將所計算出的校正量un和vn作為平移校正量 數(shù)據(jù)存儲在存儲器的預(yù)定區(qū)域中。
在步驟S1006中，通過將基準(zhǔn)幀圖像F0與經(jīng)過了位置偏差 校正的對象幀圖像F1 F3進行合成，來生成高分辨率的靜止圖 像。
在本實施例中，如圖10所示，由l個像素來表示對象幀的單 位位置偏差。然而，在實際攝像中，發(fā)生一個像素間隔以下的 位置偏差，并且可以使用這種微小的位置偏差來實現(xiàn)超分辨率 處理。
因此，定義要生成的靜止圖像的像素(生成的像素)包括不 存在于基準(zhǔn)幀圖像和對象幀圖像的任何 一 個中的像素。對于這 些像素，可以使用表示各生成的像素周圍的像素的像素值的像 素數(shù)據(jù)(表示色調(diào)值的色調(diào)數(shù)據(jù))來執(zhí)行預(yù)定的插值處理。作為
插值處理，可以4吏用雙線性(bilinear)法、雙三次法和最鄰近法 等各種插值處理。
以下將參考圖ll說明使用基于雙線性法的插值處理的情
況。從基準(zhǔn)幀圖像和對象幀圖像中，選擇具有位于距離生成的
像素GIP的位置最近的位置處的最鄰近像素NIP的幀圖像。在所
選擇的幀圖像中，將圍繞生成的像素GIP的位置的三個像素確
定為周圍像素PIP廣PIP3，并且對通過對周圍像素PIP廣PIP3的數(shù)
據(jù)值加預(yù)定權(quán)重所獲得的值進行平均，以獲得生成的像素GIP 的數(shù)據(jù)值。通過對各個生成的1^象素重復(fù)這種處理，例如，如圖10所示，
可以獲得具有雙倍分辨率的超分辨率圖像。注意，分辨率不限 于雙倍分辨率，并且可以設(shè)置各種倍數(shù)。隨著插值處理中使用 的多個幀圖像的數(shù)據(jù)值的數(shù)量增加，能夠獲得具有更高分辨率 的超分辨率圖像。 第一實施例
圖1是示出作為本發(fā)明第 一 實施例的攝像設(shè)備100的結(jié)構(gòu)的 示意框圖。攝像設(shè)備100能夠同時拍攝被攝體的運動圖像和靜 止圖像，并且在本實施例中攝像設(shè)備100實現(xiàn)為數(shù)字照相機。 如圖l所示，攝像設(shè)備100包括鏡頭102、攝像元件104、 A/D 轉(zhuǎn)換器106、信號處理單元108和超分辨率處理單元110。此外， 攝像設(shè)備100還包括切換單元112、 APC校正處理單元114、壓縮 處理單元116、存儲器單元118和存儲卡120。
鏡頭102通過將來自被攝體的光投影至攝像元件104上而形 成光學(xué)圖像。
攝像元件104通過光電轉(zhuǎn)換將經(jīng)由鏡頭102形成的光學(xué)圖像 轉(zhuǎn)換成圖像信號(電信號)。
A/D轉(zhuǎn)換器106將從攝像元件104輸出的模擬圖像信號轉(zhuǎn)換
成數(shù)字圖像信號。
信號處理單元108對從A/D轉(zhuǎn)換器106輸出的圖像信號應(yīng)用
信號處理。例如，信號處理單元108應(yīng)用如下處理中的至少一個 作為信號處理圖像信號中所包括的顏色信息的同步處理、濾 波處理、用于將圖像信號分離成亮度信號和色差信號的分離處 理、伽瑪校正處理和用于增強圖像信號的邊緣的APC校正處理。 并且，信號處理單元108還可以應(yīng)用KNEE才交正處理等作為信號 處理。
超分辨率處理單元110通過對從信號處理單元108輸出的多個圖像信號進行合成來應(yīng)用用于提高分辨率的超分辨率處理。 更具體地，當(dāng)在拍攝被攝體的運動圖像期間要拍攝該被攝體的
靜止圖像時，超分辨率處理單元110從信號處理單元108接收運 動圖像的多個幀圖像。超分辨率處理單元110對這多個幀圖像應(yīng) 用超分辨率處理以生成分辨率比運動圖像的分辨率高的靜止圖 像(生成這種靜止圖像所需要的圖像信號)。由于超分辨率處理 與如上所述的(參見圖9 11)一樣，因此將不給出對其的詳細(xì)說 明。
切換單元112具有切換對APC校正處理單元114的輸入的功 能(即，選擇從信號處理單元108輸出的圖像信號或從超分辨率 處理單元110輸出的圖像信號的功能)。在本實施例中，切換單 元112根據(jù)攝像設(shè)備100是拍攝運動圖像還是拍攝靜止圖像來選 擇A側(cè)或B側(cè)路徑。更具體地，在拍攝被攝體的運動圖像時，切 換單元112選擇B側(cè)路徑，并且不通過超分辨率處理單元110而 將從信號處理單元108輸出的圖像信號輸入至APC校正處理單 元114。另一方面，當(dāng)在拍攝被攝體的運動圖像期間拍攝該被攝 體的靜止圖像時，切換單元112選擇A側(cè)路徑，并且經(jīng)由超分辨 率處理單元110將從信號處理單元108輸出的圖像信號輸入至 APC校正處理單元114。
APC校正處理單元114對從信號處理單元108輸出的圖像信 號或從超分辨率處理單元110輸出的圖像信號應(yīng)用用于增強邊 緣的APC校正處理。
注意，信號處理單元108和APC校正處理單元114相互合作 地應(yīng)用前述APC4交正處理。
壓縮處理單元116對從APC才交正處理單元114輸出的圖像信 號應(yīng)用壓縮處理。
存儲器單元118存儲從壓縮處理單元116輸出的并且經(jīng)過了壓縮處理的圖像信號。
存儲卡120記錄存儲在存儲器單元118中的圖像信號。
以下將說明攝像設(shè)備1 OO的操作。本實施例將解釋在拍攝被 攝體的運動圖像期間要拍攝該被攝體的靜止圖像的情況。因此， 假定切換單元112選擇B側(cè)路徑，并且信號處理單元108輸出運 動圖像的多個圖像信號。
當(dāng)在拍攝被攝體的運動圖像期間檢測到該被攝體的靜止圖 像的攝像指令時，切換單元112選擇A側(cè)路徑，并將從信號處理 單元108輸出的多個圖像信號輸入至超分辨率處理單元IIO。注 意，這多個圖像信號在信號處理單元108中經(jīng)過了包括APC校正 處理的信號處理。
如上所述，對輸入至超分辨率處理單元110的多個圖像信號 進行超分辨率處理以生成用于生成靜止圖像所需要的圖像信 號，并將該圖像信號輸出至APC校正處理單元114。
對輸入至APC校正處理單元114的圖像信號進行APC校正 處理。將處理后的信號存儲在存儲器單元118中，并將其記錄在 存儲卡120中。
注意，在攝像設(shè)備100中，在信號處理單元108中對圖像信 號應(yīng)用的APC校正處理與在APC校正處理單元114中對圖像信 號應(yīng)用的APC校正處理不同。更具體地，信號處理單元108為了 提高超分辨率處理單元110中配準(zhǔn)計算的計算精度而應(yīng)用最低 要求的APC校正處理。另一方面，APC校正處理單元114為了提 高圖像質(zhì)量而應(yīng)用APC校正處理。換言之，由信號處理單元108 對圖像信號應(yīng)用的APC校正處理的邊緣增強的程度比由APC校 正處理單元114對圖像信號應(yīng)用的AP C校正處理的邊緣增強的 程度弱。更具體地，信號處理單元108應(yīng)用APC校正處理以達(dá)到 即使在通過超分辨率處理合成圖像之后邊緣增強分量仍不明顯的程度，而APC校正處理單元114在超分辨率處理之后再次應(yīng)用 邊緣增強所需要的其余APC校正處理。
這樣，由于纟聶像設(shè)備100在超分辨率處理之前和之后分別應(yīng) 用APC校正處理，因此在拍攝運動圖l象和超分辨率處理時可以 共用信號處理單元108,由此抑制了電路規(guī)模的增大。因此，攝 像設(shè)備100能夠在抑制成本增加的同時在拍攝運動圖像期間拍 攝具有高圖像質(zhì)量的靜止圖像。
在本實施例中，通過使用切換單元112,在拍攝運動圖像和 通過超分辨率處理拍攝靜止圖像時共用APC校正處理單元114、 壓縮處理單元116、存儲器單元118和存儲卡120。這種結(jié)構(gòu)在靜 止圖像和運動圖像使用相同的或類似的壓縮編碼解碼器(例如， JPEG和運動JPEG)時尤其有效。
第二實施例
圖2是示出作為本發(fā)明的第二實施例的攝像設(shè)備IOOA的結(jié) 構(gòu)的示意框圖。攝像設(shè)備1 OOA能夠同時拍攝被攝體的運動圖像 和靜止圖像，并且在本實施例中攝像設(shè)備100A實現(xiàn)為數(shù)字照相機。
攝像設(shè)備10 0 A包括與攝像設(shè)備10 0的結(jié)構(gòu)類似的結(jié)構(gòu)。更 具體地，如圖2所示，攝像設(shè)備10 0 A包括鏡頭10 2 、攝像元件10 4 、 A/D轉(zhuǎn)換器106、信號處理單元108和超分辨率處理單元110。此 外，攝像設(shè)備100A還包括第一APC校正處理單元122、第二APC 校正處理單元124、第一壓縮處理單元126、第二壓縮處理單元 128、存儲器單元118和存儲卡120。
第一APC校正處理單元122對從超分辨率處理單元110輸出 的圖像信號應(yīng)用用于增強邊緣的第一 A P C校正處理。當(dāng)在拍攝 運動圖像期間拍攝靜止圖像時，第一 APC校正處理單元122經(jīng)由 超分辨率處理單元110接收從信號處理單元108輸出的圖像信號。
第二APC校正處理單元124對從信號處理單元108輸出的圖 像信號應(yīng)用用于增強邊緣的第二 A P C校正處理。在拍攝運動圖 像時，第二APC4交正處理單元124接收從信號處理單元108輸出 的圖像信號而不通過超分辨率處理單元IIO。
注意，第一 APC校正處理和第二 APC校正處理在邊緣增強 方面等同。然而，這兩個處理的不同之處在于第一APC校正 處理是對生成靜止圖像所需要的圖像信號的處理，而第二APC 校正處理是對運動圖像的圖像信號的處理。
第 一壓縮處理單元126對從第一APC4交正處理單元122輸出 的圖像信號應(yīng)用壓縮處理。將從第一壓縮處理單元126輸出的圖 像信號存儲在存儲器單元118中。
第二壓縮處理單元128對從第二APC才交正處理單元124輸出 的圖像信號應(yīng)用壓縮處理。將從第二壓縮處理單元128輸出的圖 像信號存儲在存儲器單元118中。
在攝像設(shè)備100A中，由信號處理單元108對圖像信號應(yīng)用 的APC校正處理與由第一APC校正處理單元122和第二APC校 正處理單元124對圖像信號應(yīng)用的APC校正處理不同。更具體 地，信號處理單元108為了提高超分辨率處理單元110中配準(zhǔn)計 算的計算精度而應(yīng)用最低要求的APC校正處理。另一方面，第 一APC校正處理單元122為了提高靜止圖像的圖像質(zhì)量而應(yīng)用 APC校正處理。此外，第二APC校正處理單元124為了提高運動 圖像(幀圖像)的圖像質(zhì)量而應(yīng)用APC4交正處理。換言之，由信 號處理單元108對圖像信號應(yīng)用的APC校正處理的邊緣增強的 程度比由第一APC校正處理單元122和第二APC校正處理單元 124對圖像信號應(yīng)用的APC校正處理的邊緣增強的程度弱。更具 體地，信號處理單元108應(yīng)用APC一交正處理以達(dá)到即4吏在通過超分辨率處理合成圖像之后邊緣增強分量仍不明顯的程度，且在
超分辨率處理之后第一APC校正處理單元122再次應(yīng)用邊緣增 強所需要的其余APC校正處理。同樣地，第二APC校正處理單 元124即使在未應(yīng)用超分辨率處理時也再次應(yīng)用邊緣增強所需 要的其余APC校正處理。
這樣，由于纟IH象設(shè)備100A在超分辨率處理之前和之后分別 應(yīng)用APC校正處理，因此可以在拍才聶運動圖像和超分辨率處理 時共用信號處理單元108，從而抑制了電路規(guī)模的增大。因此， 攝像設(shè)備10 0 A能夠在抑制成本增加的同時在拍攝運動圖像期 間拍攝具有高圖像質(zhì)量的靜止圖像。
注意，攝像設(shè)備100A與攝像設(shè)備100的不同之處在于將 可由相對小規(guī)模的電路配置的APC校正處理單元分割成用于靜 止圖像(超分辨率圖像)的第一APC校正處理單元122和用于運 動圖像的第二APC校正處理單元124。這種結(jié)構(gòu)在靜止圖像和運 動圖像的壓縮編碼解碼器不同(例如，JPEG和MPEG4)時是有效 的。此外，由于一個處理未被其它處理所中斷，因此與攝像設(shè) 備100相比，攝像設(shè)備100A能夠更快地處理靜止圖像和運動圖 像。這是因為，攝像設(shè)備100A包括用于靜止圖像的第一APC校 正處理單元122和第 一壓縮處理單元126以及用于運動圖像的第 二APC校正處理單元124和第二壓縮處理單元128。
第三實施例
圖3是示出作為本發(fā)明的第三實施例的攝像設(shè)備1 OOB的結(jié) 構(gòu)的示意框圖。攝像設(shè)備100B可以同時拍攝被攝體的運動圖像 和靜止圖像，并且在本實施例中，攝像設(shè)備100B實現(xiàn)為數(shù)字照相機。
攝像設(shè)備100B包括與攝像設(shè)備1 OO和1 OOA的結(jié)構(gòu)類似的結(jié) 構(gòu)。更具體地，如圖3所示，攝像設(shè)備100B包括鏡頭102、攝像元件104、 A/D轉(zhuǎn)換器106、信號處理單元108和超分辨率處理單 元IIO。此外，攝像設(shè)備100B還包括第一APC校正處理單元122、 第二APC校正處理單元124、切換單元130、壓縮處理單元116、 存儲器單元118和存儲卡120。
切換單元130具有切換對壓縮處理單元116的輸入的功能 (即，選擇從第一 APC校正處理單元122輸出的圖像信號或從第 二APC校正處理單元124輸出的圖像信號的功能)。在本實施例 中，切換單元130根據(jù)攝像設(shè)備100B是拍攝運動圖像還是拍攝 靜止圖像來選擇C側(cè)或D側(cè)路徑。更具體地，在拍攝被攝體的運 動圖像時，切換單元130選擇D側(cè)路徑，并且將從第二APC校正 處理單元124輸出的圖像信號輸入至壓縮處理單元116。另 一方 面，當(dāng)在拍攝被攝體的運動圖像期間拍攝該被攝體的靜止圖像 時，切換單元130選擇C側(cè)路徑，并將從第一APC校正處理單元 122輸出的圖像信號輸入至壓縮處理單元116。壓縮處理單元116 能夠響應(yīng)于切換單元13 0對輸入的切換來對圖像信號應(yīng)用不同 的壓縮處理。
在攝像設(shè)備100B中，由信號處理單元108對圖像信號應(yīng)用 的APC校正處理與由第一APC校正處理單元122和第二APC校 正處理單元124對圖像信號應(yīng)用的APC校正處理不同。更具體 地，信號處理單元108為了提高超分辨率處理單元110中配準(zhǔn)計 算的計算精度而應(yīng)用最低要求的APC校正處理。另一方面，第 一APC校正處理單元122為了提高靜止圖像的圖像質(zhì)量而應(yīng)用 APC校正處理。此外，第二APC校正處理單元124為了提高運動 圖像(幀圖像)的圖像質(zhì)量而應(yīng)用APC校正處理。換言之，由信 號處理單元108對圖像信號應(yīng)用的APC校正處理的邊緣增強的 程度比由第一APC校正處理單元122和第二APC校正處理單元 124對圖像信號應(yīng)用的APC校正處理的邊緣增強的程度弱。更具體地，信號處理單元108應(yīng)用APC才交正處理以達(dá)到即-使在通過超 分辨率處理合成圖像之后邊緣增強分量仍不明顯的程度，并且 在超分辨率處理之后第一APC校正處理單元122再次應(yīng)用邊緣 增強所需要的其余APC校正處理。同樣地，第二APC校正處理 單元124即使在未應(yīng)用超分辨率處理時也再次應(yīng)用邊緣增強所 需要的其余APC校正處理。
這樣，由于攝像設(shè)備100B在超分辨率處理之前和之后分別 應(yīng)用APC校正處理，因此可以在拍攝運動圖1"象和超分辨率處理 時共用信號處理單元108，從而抑制了電路規(guī)模的增大。因此， 攝像設(shè)備100B能夠在抑制成本增加的同時在拍攝運動圖像期 間拍攝具有高圖像質(zhì)量的靜止圖像。
攝像設(shè)備10 0 B與攝像設(shè)備10 0的不同之處在于獨立地布 置了對來自超分辨率處理單元110的圖像信號應(yīng)用APC校正處 理的第一APC才交正處理單元以及對來自信號處理單元108的圖 像信號應(yīng)用APC校正處理的第二APC校正處理單元。結(jié)果，即 使在第一APC校正處理單元122對來自超分辨率處理單元110的 圖像信號應(yīng)用APC校正處理時，第二 APC校正處理單元124也能 夠?qū)σ愿叩膸l從信號處理單元108輸出的圖像信號應(yīng)用APC 校正處理。因此，與攝像設(shè)備100相比，攝像設(shè)備100B能夠更 快地處理靜止圖像和運動圖像。
此外，攝像設(shè)備100B與攝像設(shè)備100A的不同之處在于共 用的壓縮處理單元用于對乂人第一APC才交正處理單元122輸出的 圖像信號應(yīng)用壓縮處理，并對從第二APC4交正處理單元124輸出 的圖像信號應(yīng)用壓縮處理。這種結(jié)構(gòu)在靜止圖像和運動圖像使 用相同的或類似的壓縮編碼解碼器(例如，JPEG或運動JPEG) 時尤其有效。
在本發(fā)明中，可以獲得以下變形例。即，照相才幾工作直到執(zhí)行了攝像功能為止，并將所拍攝的圖像提供給經(jīng)由通信單元
連接至該照相機并執(zhí)行后續(xù)的信號處理的個人計算機(P c)。在
這種情況下，照相機將攝像元件的驅(qū)動模式切換信息提供給
PC。在該PC中，代替4吏用專用硬件，其主CPU通過軟件處理可 以實現(xiàn)前述超分辨率處理和APC處理?？梢詮腃D-ROM等記錄 介質(zhì)提供在這種情況下使用的軟件，或者可以通過從經(jīng)由網(wǎng)絡(luò) 等連接的服務(wù)器進行下載來提供在這種情況下使用的軟件。
盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解， 本發(fā)明不限于所公開的典型實施例。所附權(quán)利要求書的范圍符 合最寬的解釋，以包含所有這類修改以及等同結(jié)構(gòu)和功能。
權(quán)利要求
1. 一種用于拍攝被攝體的圖像的攝像設(shè)備，所述攝像設(shè)備包括攝像元件，用于將經(jīng)由鏡頭形成的光學(xué)圖像轉(zhuǎn)換成圖像信號；信號處理單元，用于對所述圖像信號應(yīng)用信號處理并輸出處理后的圖像信號；超分辨率處理單元，用于當(dāng)在拍攝所述被攝體的運動圖像期間要拍攝所述被攝體的靜止圖像時，通過對從所述信號處理單元輸出的多個圖像信號進行合成來應(yīng)用用于提高分辨率的超分辨率處理，并輸出生成所述被攝體的靜止圖像所需要的圖像信號；以及APC校正單元，用于對從所述信號處理單元輸出的圖像信號和從所述超分辨率處理單元輸出的圖像信號均應(yīng)用用于增強邊緣的APC校正處理，并輸出處理后的圖像信號。
2. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，還包括 切換單元，所述切換單元用于切換對所述APC校正單元的輸入， 從而當(dāng)要拍攝所述被攝體的運動圖像時，不通過所述超分辨率 處理單元而將從所述信號處理單元輸出的圖像信號輸入至所述 A P C校正單元，并且當(dāng)在拍攝所述被攝體的運動圖像期間要拍 攝所述被攝體的靜止圖像時，經(jīng)由所述超分辨率處理單元將從 所述信號處理單元輸出的圖像信號輸入至所述APC校正單元，其中，所述APC校正單元對經(jīng)由所述超分辨率處理單元輸 入至所述APC校正單元的圖像信號應(yīng)用用于增強邊緣的第一 APC校正處理，并對不通過所述超分辨率處理單元而輸入至所 述APC校正單元的圖像信號應(yīng)用與所述第一 APC校正處理不同 的第二APC校正處理。
3. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，所述APC校正單元包括第一APC校正單元，用于對從所述超分辨率處理單元輸出 的圖像信號應(yīng)用用于增強邊緣的第一APC校正處理，并輸出處 理后的圖像信號；以及第二APC校正單元，用于對從所述信號處理單元輸出的圖 像信號應(yīng)用與所述第一APC校正處理不同的第二APC校正處 理，并輸出處理后的圖像信號。
4. 根據(jù)權(quán)利要求3所述的攝像設(shè)備，其特征在于，還包括 第一壓縮處理單元，用于對從所述第一APC校正單元輸出的圖像信號應(yīng)用壓縮處理，并輸出處理后的圖像信號；以及第二壓縮處理單元，用于對從所述第二APC校正單元輸出 的圖像信號應(yīng)用壓縮處理，并輸出處理后的圖像信號。
5. 根據(jù)權(quán)利要求3所述的攝像設(shè)備，其特征在于，還包括 壓縮處理單元，用于對從所述第一APC4交正單元和所述第二APC校正單元中的每一個輸出的圖^f象信號應(yīng)用壓縮處理；以 及切換單元，用于切換對所述壓縮處理單元的輸入，從而當(dāng) 要拍攝所述被攝體的運動圖像時，將從所述第二 A P C校正單元 輸出的圖像信號輸入至所述壓縮處理單元，并且當(dāng)在拍攝所述 被攝體的運動圖像期間要拍攝所述被攝體的靜止圖像時，將從 所述第一APC校正單元輸出的圖像信號輸入至所述壓縮處理單 元。
6. 根據(jù)權(quán)利要求l所述的攝像設(shè)備，其特征在于，所述信 號處理包括如下處理中的至少 一 個圖 <象信號中所包括的顏色 信息的同步處理、濾波處理、用于將圖像信號分離成亮度信號 和色差信號的分離處理、伽瑪4交正處理以及A P C 4交正處理。
7. 根據(jù)權(quán)利要求6所述的攝像設(shè)備，其特征在于，由所述信號處理單元對圖像信號應(yīng)用的A P C校正處理的邊緣增強的程 度比由所述APC校正單元對圖像信號應(yīng)用的APC校正處理的邊 緣增強的程度弱。
8. 根據(jù)權(quán)利要求3所述的攝像設(shè)備，其特征在于，所述信 號處理包括如下處理中的至少一個圖像信號中所包括的顏色 信息的同步處理、濾波處理、用于將圖像信號分離成亮度信號 和色差信號的分離處理、伽瑪校正處理以及A P C校正處理。
9. 根據(jù)權(quán)利要求8所述的攝像設(shè)備，其特征在于，由所述 信號處理單元對圖像信號應(yīng)用的所述APC校正處理的邊緣增強 的程度比由所述第一APC校正單元對圖像信號應(yīng)用的所述第一 APC校正處理和由所述第二 APC校正單元對圖像信號應(yīng)用的所 述第二 APC校正處理中的每 一 個APC校正處理的邊緣增強的程 度弱。
全文摘要
本發(fā)明提供一種攝像設(shè)備，該攝像設(shè)備包括攝像元件，用于將光學(xué)圖像轉(zhuǎn)換成圖像信號；信號處理單元，用于對所述圖像信號應(yīng)用信號處理并輸出處理后的圖像信號；超分辨率處理單元，用于當(dāng)在拍攝被攝體的運動圖像期間要拍攝所述被攝體的靜止圖像時，通過合成從所述信號處理單元輸出的多個圖像信號而應(yīng)用于提高分辨率的超分辨率處理，并輸出生成被攝體的靜止圖像所需要的圖像信號；以及APC校正單元，用于對從所述信號處理單元輸出的圖像信號和從所述超分辨率處理單元輸出的圖像信號均應(yīng)用于增強邊緣的APC校正處理，并輸出處理后的圖像信號。
文檔編號H04N5/225GK101521751SQ20091012630
公開日2009年9月2日 申請日期2009年2月26日 優(yōu)先權(quán)日2008年2月26日
發(fā)明者原貴幸 申請人:佳能株式會社