專利名稱：圖像處理裝置、圖像拍攝裝置以及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于處理圖像信號(hào)的圖像處理裝置、一種包括該圖像處理裝置的圖像拍攝裝置、以及一種圖像處理方法，更具體來說，涉及能夠處理具有多種不同畫面率的圖像信號(hào)的圖像處理裝置、圖像拍攝裝置、以及圖像處理方法。
背景技術(shù)：
近年來，隨著以數(shù)碼相機(jī)為代表的圖像拍攝裝置的競爭激化，對消費(fèi)型圖像拍攝裝置的圖像質(zhì)量、電路集成以及功能的要求越來越高。因此，到目前為止限于專業(yè)用途的特殊功能開始在消費(fèi)型裝置中普及。這些特殊功能中的一個(gè)典型例子是高速圖像拍攝功能，該功能以高于普通圖像拍攝速度的畫面率執(zhí)行圖像拍攝。如果要實(shí)現(xiàn)高速圖像拍攝功能，這種圖像拍攝裝置的內(nèi)部運(yùn)算速度就需要提高。
有一種相關(guān)技術(shù)的圖像拍攝裝置，它利用與裝置相連的外部記錄設(shè)備(例如外存儲(chǔ)器或硬盤驅(qū)動(dòng)器)來實(shí)現(xiàn)高速圖像拍攝(例如參考日本專利申請出版號(hào)hei9-186964(段落號(hào)0004～0005以及圖1))。還有一種相關(guān)技術(shù)的圖像拍攝裝置，該裝置通過采用并行處理來自傳感器的數(shù)據(jù)的電路，增加每單位時(shí)間圖像數(shù)據(jù)的處理能力，從而實(shí)現(xiàn)高速圖像拍攝(例如參考日本專利申請出版號(hào)hei9-251492(段落號(hào)0018～0027以及圖1))。

發(fā)明內(nèi)容
然而，在每一篇上面引用的專利文獻(xiàn)所批露的圖像拍攝裝置中，如果通過增加內(nèi)部運(yùn)算速度來實(shí)現(xiàn)高速圖像拍攝功能，則存在運(yùn)算電路的制造成本和電路規(guī)模以及功耗增加的問題。
考慮到上面提到的問題，特提出本發(fā)明。根據(jù)本發(fā)明的一個(gè)實(shí)施例，提供了一種便宜的圖像處理裝置，能夠以低功耗處理具有多種不同畫面率(picture rate)的圖像信號(hào)。
此外，根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像拍攝裝置，能夠以低成本和低功耗拍攝具有多種不同畫面率的圖像。
進(jìn)一步，根據(jù)本發(fā)明的另一實(shí)施例，提供了一種圖像處理方法，能夠以低成本和低功耗處理具有多種不同畫面率的圖像信號(hào)。
因此，提供了一種用于處理圖像信號(hào)的圖像處理裝置，包括運(yùn)算處理裝置、鎖存信號(hào)生成裝置、鎖存信號(hào)選擇裝置、以及鎖存信號(hào)選擇指示裝置。運(yùn)算處理裝置根據(jù)圖像信號(hào)的檢測值執(zhí)行運(yùn)算。鎖存信號(hào)生成裝置生成多個(gè)鎖存信號(hào)，這些鎖存信號(hào)指示運(yùn)算處理裝置的處理定時(shí)，并基于應(yīng)用于圖像信號(hào)的多種不同的畫面率。鎖存信號(hào)選擇裝置選擇從鎖存信號(hào)生成裝置輸入的多個(gè)鎖存信號(hào)中的一個(gè)，并將所選擇的鎖存信號(hào)輸出給運(yùn)算處理裝置。鎖存信號(hào)選擇指示裝置向鎖存信號(hào)選擇裝置指示將從多個(gè)鎖存信號(hào)中選出的鎖存信號(hào)。
在該圖像處理裝置中，鎖存信號(hào)生成裝置基于應(yīng)用于圖像信號(hào)的多種不同的畫面率生成多個(gè)鎖存信號(hào)，鎖存信號(hào)選擇裝置根據(jù)從鎖存信號(hào)選擇指示裝置輸入的指示來選擇多個(gè)鎖存信號(hào)中的一個(gè)，并將所選擇的鎖存信號(hào)輸出到運(yùn)算處理裝置。因此，在執(zhí)行基于高畫面率的圖像信號(hào)的運(yùn)算期間，運(yùn)算處理裝置可在必要時(shí)選擇基于低畫面率的鎖存信號(hào)，并基于該鎖存信號(hào)輸出運(yùn)算結(jié)果。
根據(jù)本發(fā)明的實(shí)施例的圖像處理裝置，當(dāng)運(yùn)算處理裝置基于高畫面率的圖像信號(hào)執(zhí)行運(yùn)算時(shí)，如有必要，可選擇基于低畫面率的鎖存信號(hào)，運(yùn)算處理裝置可以基于該鎖存信號(hào)執(zhí)行運(yùn)算，從而可以減小運(yùn)算處理裝置的處理負(fù)荷并可以減小裝置的制造成本和功耗。


通過以下結(jié)合附圖對本發(fā)明的實(shí)施例和示例的詳細(xì)描述，本發(fā)明將更容易理解，其中圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像拍攝裝置的功能框圖；圖2示出了同步信號(hào)輸出部的功能框圖；圖3示出了控制運(yùn)算處理部的功能框圖；圖4示出了以模塊為單位在多個(gè)鎖存信號(hào)之間實(shí)現(xiàn)切換的鎖存信號(hào)輸出部的功能框圖；圖5示出了根據(jù)本發(fā)明的第一實(shí)施例的信號(hào)處理部的處理的時(shí)間圖；
圖6示出了以場為單位在多個(gè)鎖存信號(hào)之間實(shí)現(xiàn)切換的鎖存信號(hào)輸出部的功能框圖；圖7示出了根據(jù)本發(fā)明的第二實(shí)施例的信號(hào)處理部的處理的時(shí)間圖；以及圖8示出了以寄存器為單位在多個(gè)鎖存信號(hào)之間實(shí)現(xiàn)切換的AE運(yùn)算處理部的功能框圖。
具體實(shí)施例方式
下面將參考附圖詳細(xì)描述本發(fā)明的實(shí)施例。圖1示出了根據(jù)本發(fā)明的一個(gè)實(shí)施例的圖像拍攝裝置的功能框圖。如圖1所示，圖像拍攝裝置100包括透鏡110、光圈120、圖像拾取器件130、F/E(前端)140、信號(hào)處理部150、以及系統(tǒng)控制部160。F/E 140包括AGC(自動(dòng)增益控制)141和ADC(模數(shù)轉(zhuǎn)換器)142。信號(hào)處理部150還包括同步信號(hào)輸出部151、像機(jī)信號(hào)處理部152、以及控制運(yùn)算處理部153。
透鏡110用于將來自對象的光線聚焦至圖像拾取器件130上，它由多個(gè)透鏡元件組成，并通過基于從系統(tǒng)控制部160輸出的控制信號(hào)移動(dòng)它們的位置來執(zhí)行調(diào)焦和變焦。光圈120是調(diào)整通過透鏡110從對象進(jìn)入的光量的裝置。
圖像拾取器件130基于從系統(tǒng)控制部160輸出的控制信號(hào)來驅(qū)動(dòng)，并通過光電轉(zhuǎn)換將從對象進(jìn)入的光線轉(zhuǎn)換為電信號(hào)。在本實(shí)施例中，使用CMOS(互補(bǔ)金屬氧化物半導(dǎo)體)型圖像拾取器件作為例子。圖像拾取器件130也包括用于通過CDS(相關(guān)雙重采樣)處理恰當(dāng)?shù)乇３制銼/N(信號(hào)/噪聲)比的內(nèi)置采樣保持功能。
圖像拾取器件130能夠以不低于NTSC規(guī)范所定義的60fps(場/秒)速度的高速讀取信號(hào)。在本實(shí)施例中，假定當(dāng)圖像拾取器件130轉(zhuǎn)換到能夠高速讀取信號(hào)的高速模式時(shí)，圖像拾取器件130以等于標(biāo)準(zhǔn)速度四倍的240fps的速度輸出讀取的信號(hào)。
圖像拾取器件130配備有縮小功能，在輸出例如一行像素信號(hào)期間，通過將相鄰的相同顏色像素的信號(hào)相加到像素信號(hào)上并同時(shí)輸出一行像素信號(hào)和相鄰的相同顏色像素的信號(hào)，能夠在不改變場角(field angle)的情況下減小圖像尺寸。這種像素相加使得能在不增加像素信號(hào)的讀取頻率下增加圖片切換速度。此外，圖像拾取器件130還能夠通過調(diào)整要相加的像素?cái)?shù)量，以任意的畫面率輸出讀取信號(hào)。另外，圖像拾取器件130還可以使用MOS類型或CCD(電荷耦合器件)類型的圖像拾取器件。如果圖像拾取器件130是CCD類型的圖像拾取器件，那么也能夠在F/E 140中提供CDS處理功能。
F/E 140通過AGC141中的處理來控制從圖像拾取器件130中輸出的圖像信號(hào)的增益，并通過ADC142中的處理執(zhí)行圖像信號(hào)的A/D(模/數(shù))轉(zhuǎn)換，從而輸出數(shù)字圖像信號(hào)。
信號(hào)處理部150是對從F/E 140輸出的RGB(紅、綠、藍(lán))信號(hào)執(zhí)行各種類型的像機(jī)信號(hào)處理、并輸出亮度(Y)信號(hào)和色差(C)信號(hào)的模塊，其作為例如一個(gè)半導(dǎo)體集成電路來實(shí)現(xiàn)。信號(hào)處理部150包括同步信號(hào)輸出部151、像機(jī)信號(hào)處理部152以及控制運(yùn)算處理部153。
同步信號(hào)輸出部151輸出用于使像機(jī)信號(hào)處理部152、控制運(yùn)算處理部153和系統(tǒng)控制部160之間的信號(hào)傳輸和接收等的處理定時(shí)同步的各種信號(hào)。稍后會(huì)提到，例如，根據(jù)從同步信號(hào)輸出部151中輸出的鎖存信號(hào)，控制運(yùn)算處理部153控制從系統(tǒng)控制部160接收控制信號(hào)的接收定時(shí)、由控制運(yùn)算處理部153獲得的運(yùn)算結(jié)果的輸出定時(shí)等。
像機(jī)信號(hào)處理部152是對從F/E 140輸出的RGB信號(hào)執(zhí)行處理等的模塊，包括例如WB(白平衡)放大器、數(shù)字鉗位部、以及用于像素缺陷校正的像素信號(hào)替換部?？刂七\(yùn)算處理部153基于來自F/E 140的圖像信號(hào)的檢測值和來自系統(tǒng)控制部160的信號(hào)，執(zhí)行像機(jī)信號(hào)處理(例如WB調(diào)節(jié)處理、顏色校正處理、AF(自動(dòng)聚焦)處理和AE(自動(dòng)曝光)處理)必要的運(yùn)算。
系統(tǒng)控制部160是總體控制整個(gè)圖像拍攝裝置100的模塊，被實(shí)現(xiàn)為包括例如CPU的微控制器。在像機(jī)信號(hào)處理過程中，系統(tǒng)控制部160根據(jù)水平和垂直同步信號(hào)，從信號(hào)處理部150中請求用于控制的必要信息，使用響應(yīng)于該請求接收到的值來執(zhí)行運(yùn)算，并對圖像拍攝裝置100中的每個(gè)部分輸出控制信號(hào)。例如，系統(tǒng)控制部160根據(jù)AF運(yùn)算的結(jié)果控制透鏡110的位置，還根據(jù)AE運(yùn)算的結(jié)果控制光圈120的開口度和快門速度，以及圖像拾取器件130的電子快門速度。此外，系統(tǒng)控制部160輸出用于AGC141的增益控制信號(hào)到F/E 140，以及輸出WB增益控制信號(hào)等到信號(hào)處理部150。
圖2示出了同步信號(hào)輸出部151的功能框圖。如圖2所示，同步信號(hào)輸出部151包括同步信號(hào)生成部20、啟用信號(hào)(enablesignal)生成部21、以及鎖存信號(hào)輸出部22。同步信號(hào)生成部20生成各種定時(shí)信號(hào)，例如針對像機(jī)信號(hào)處理部152和控制運(yùn)算處理部153的水平同步信號(hào)和垂直同步信號(hào)。啟用信號(hào)生成部21生成啟用信號(hào)，該啟用信號(hào)指示從圖像拾取器件130輸入的每一個(gè)信號(hào)是有效還是無效的，并將啟用信號(hào)輸出給像機(jī)信號(hào)處理部152和控制運(yùn)算處理部153。鎖存信號(hào)輸出部22輸出用于鎖存從系統(tǒng)控制部160輸出的控制信號(hào)、由信號(hào)處理部150獲得的運(yùn)算結(jié)果等的鎖存信號(hào)。
圖3示出了控制運(yùn)算處理部153的功能框圖。如圖3所示，控制運(yùn)算處理部153包括控制運(yùn)算預(yù)處理部30、AF運(yùn)算處理部31、AE運(yùn)算處理部32、以及AWB運(yùn)算處理部33，各模塊，即，AF運(yùn)算處理部31、AE運(yùn)算處理部32、以及AWB運(yùn)算處理部33并行地與控制運(yùn)算預(yù)處理部30連接。
控制運(yùn)算預(yù)處理部30基于從同步信號(hào)輸出部151輸出的同步信號(hào)和啟用信號(hào)，執(zhí)行控制視頻信號(hào)輸入到后級(jí)(也就是AF運(yùn)算處理部31、AE運(yùn)算處理部32、以及AWB運(yùn)算處理部33)，計(jì)算在水平和垂直方向的地址，生成指示控制目標(biāo)區(qū)域有效還是無效的定時(shí)信號(hào)，等等?？刂七\(yùn)算預(yù)處理部30還將鎖存信號(hào)從同步信號(hào)輸出部151輸出至后級(jí)的各個(gè)部分31、32和33。稍后將會(huì)提到，如果多個(gè)鎖存信號(hào)輸入到控制運(yùn)算處理部153，則這些鎖存信號(hào)將通過控制運(yùn)算預(yù)處理部30分別地提供給預(yù)定的運(yùn)算處理部。
AF運(yùn)算處理部31執(zhí)行用于AF處理(自動(dòng)測距處理)的各種運(yùn)算處理，以根據(jù)對象的距離自動(dòng)驅(qū)動(dòng)和控制透鏡110。AE運(yùn)算處理部32執(zhí)行用于AE處理(自動(dòng)測光處理)的各種運(yùn)算處理，以根據(jù)對象的照度，通過計(jì)算快門速度和光圈值來自動(dòng)確定曝光條件。AWB運(yùn)算處理部33執(zhí)行用于AWB處理(自動(dòng)測色處理)的各種運(yùn)算處理，以測量對象或光源的色溫，并確定各顏色(R、G和B)的增益，從而自動(dòng)執(zhí)行最優(yōu)的顏色再現(xiàn)處理。
AF運(yùn)算處理部31、AE運(yùn)算處理部32、和AWB運(yùn)算處理部33中的每一個(gè)都基于從系統(tǒng)控制部160輸出的控制信號(hào)，執(zhí)行這樣的各種運(yùn)算，并且如果需要的話，將運(yùn)算結(jié)果輸出給系統(tǒng)控制部160。在此期間，每一個(gè)運(yùn)算處理部中的運(yùn)算結(jié)果的鎖存定時(shí)和從系統(tǒng)控制部160輸出的控制信號(hào)的接收定時(shí)由從同步信號(hào)生成部20中輸出的鎖存信號(hào)控制。
下面將具體描述本發(fā)明的實(shí)施例。
第一實(shí)施例圖4示出了以模塊為單位(本實(shí)施例中，針對圖3中示出的每一個(gè)運(yùn)算處理單元)在多個(gè)鎖存信號(hào)之間實(shí)現(xiàn)切換的鎖存信號(hào)輸出部22的功能框圖。在第一實(shí)施例的描述中，為了舉例，將會(huì)參考鎖存信號(hào)輸出部22將鎖存信號(hào)提供給AWB運(yùn)算處理部33。
如圖4所示，鎖存信號(hào)輸出部22包括鎖存信號(hào)生成部23和選擇部50。鎖存信號(hào)生成部23基于具有不同畫面率的垂直同步信號(hào)，生成兩種鎖存信號(hào)，普通圖像拍攝速度(60fps)的鎖存信號(hào)和高圖像拍攝速度(240fps)的鎖存信號(hào)。
選擇部50基于從系統(tǒng)控制部160輸出的鎖存選擇信號(hào)，在從鎖存信號(hào)生成部23中接收到的兩個(gè)鎖存信號(hào)中選擇一個(gè)鎖存信號(hào)，并將選擇的鎖存信號(hào)輸出到，例如，AWB運(yùn)算處理部33。AWB運(yùn)算處理部33基于從選擇部50輸出的鎖存信號(hào)，對從系統(tǒng)控制部160輸出的控制信號(hào)和AWB運(yùn)算處理部33的運(yùn)算結(jié)果執(zhí)行鎖存。更具體而言，如果選擇了高圖像拍攝速度的鎖存信號(hào)，則AWB運(yùn)算處理部33以高圖像拍攝速度執(zhí)行鎖存，反之，如果選擇了普通圖像拍攝速度的鎖存信號(hào)，則AWB運(yùn)算處理部33以普通圖像拍攝速度執(zhí)行鎖存。
AWB運(yùn)算處理部33部分地執(zhí)行，例如，對象或光源的色溫測定和各顏色的增益的計(jì)算。如果在高速圖像拍攝期間，被拍攝對象的光源和色溫變化很大，則選擇部50選擇240fps的鎖存信號(hào)，從而以高圖像拍攝速度控制AWB運(yùn)算處理部33。相反，如果即使在高速圖像拍攝期間，被拍攝對象的光源和色溫變化不大，則為了減少系統(tǒng)控制部160的控制負(fù)荷和通信的數(shù)據(jù)量，選擇部50選擇60fps的鎖存信號(hào)，從而不以高圖像拍攝速度控制AWB運(yùn)算處理部33。
另外，鎖存信號(hào)輸出部22也可根據(jù)圖像拍攝場景以及響應(yīng)于用戶的操作輸入，在鎖存信號(hào)之間實(shí)現(xiàn)切換。例如，當(dāng)圖像是在圖像拍攝裝置100固定的時(shí)候拍攝，則鎖存信號(hào)輸出部22選擇60fps的鎖存信號(hào)，這是因?yàn)閳D片不會(huì)出現(xiàn)大的變化，相反，如果圖像是在圖像拍攝裝置100移動(dòng)的時(shí)候拍攝或當(dāng)拍攝移動(dòng)對象的圖像時(shí)，則鎖存信號(hào)輸出部22選擇240fps的鎖存信號(hào)，這樣，圖像拍攝裝置100可以獲得高得多的圖像質(zhì)量的視頻圖像。
通過這種方式，鎖存信號(hào)輸出部22可在針對相應(yīng)于整個(gè)AWB運(yùn)算處理部33的一個(gè)模塊在鎖存信號(hào)之間實(shí)現(xiàn)切換的同時(shí)執(zhí)行控制。鎖存信號(hào)輸出部22還可被構(gòu)造成，使得選擇部50不僅能實(shí)現(xiàn)針對AWB運(yùn)算處理部33在鎖存信號(hào)之間的切換，而且能實(shí)現(xiàn)針對AF運(yùn)算處理部31在鎖存信號(hào)之間的切換和針對AE運(yùn)算處理部32在鎖存信號(hào)之間的切換。此外，鎖存信號(hào)輸出部22還可被構(gòu)造成，使只有某一恒定速度的鎖存信號(hào)從鎖存信號(hào)生成部23輸出到除了AWB運(yùn)算處理部33之外的每個(gè)模塊，而不經(jīng)過選擇部50。此外，鎖存信號(hào)輸出部22也可設(shè)置多個(gè)選擇部，兩種鎖存信號(hào)可從鎖存信號(hào)生成部23并行地輸入到其中的每一個(gè)上，從而使鎖存選擇信號(hào)可輸出至這些選擇部中的每一個(gè)，以選擇鎖存信號(hào)中的任意一個(gè)。
圖5的時(shí)間圖中示出了在上述鎖存信號(hào)之間的選擇方式。
圖5是示出根據(jù)本發(fā)明的第一實(shí)施例的信號(hào)處理部150的處理的時(shí)間圖。如圖5所示，為了舉例，假定普通圖像拍攝速度(60fps)的垂直同步定時(shí)分別出現(xiàn)在時(shí)間T1、T5和T9，高圖像拍攝速度(240fps)的垂直同步定時(shí)分別出現(xiàn)在時(shí)間T1～T9。
在高速圖像拍攝期間，場與高速圖像拍攝速度的同步信號(hào)同步地切換。例如，AWB運(yùn)算處理部33對圖像信號(hào)的檢測(例如積分)也與高圖像拍攝速度的同步信號(hào)同步地以場為單位執(zhí)行。此時(shí)，當(dāng)選擇部50選擇了高圖像拍攝速度的鎖存信號(hào)并輸出給AWB運(yùn)算處理部33時(shí)，圖像信號(hào)的檢測值與高圖像拍攝速度的鎖存信號(hào)同步鎖存，并加載到系統(tǒng)控制部160中，然后系統(tǒng)控制部160對WB放大器的增益執(zhí)行控制值運(yùn)算。例如，AWB運(yùn)算處理部33在時(shí)間T2檢測到在時(shí)間T1和時(shí)間T2之間通過曝光獲得的圖像信號(hào)，并在時(shí)間T3鎖存檢測值，然后基于檢測值，在時(shí)間T3和時(shí)間T4之間，由系統(tǒng)控制部160對WB放大器的增益執(zhí)行運(yùn)算。隨后，在每一時(shí)間，順序地檢測和鎖存圖像信號(hào)，以及計(jì)算WB放大器的增益。
另一方面，在高速圖像拍攝期間，當(dāng)選擇部50選擇了普通圖像拍攝速度的鎖存信號(hào)并輸出給AWB運(yùn)算處理部33時(shí)，AWB運(yùn)算處理部33在240fps的每一個(gè)垂直同步定時(shí)執(zhí)行對圖像信號(hào)的檢測，但是如圖5所示，只在時(shí)間T1、T5和T9與60fps的鎖存信號(hào)同步執(zhí)行對檢測值的鎖存。例如，基于在時(shí)間T5鎖存的檢測值，通過系統(tǒng)控制部160，在時(shí)間T5和T6之間對WB放大器的增益執(zhí)行運(yùn)算。
更具體地，如果在高速圖像拍攝期間選擇了普通圖像拍攝速度的鎖存信號(hào)，那么與選擇高圖像拍攝速度的鎖存信號(hào)時(shí)相比，傳遞給系統(tǒng)控制部160的數(shù)據(jù)量減少到1/4，并且加到系統(tǒng)控制部160上的運(yùn)算負(fù)荷也減小到1/4。在上述的過程中，被控制的是AWB運(yùn)算處理部33算出的值的鎖存定時(shí)，但也可以通過普通圖像拍攝速度的鎖存信號(hào)控制AWB運(yùn)算處理部33中來自系統(tǒng)控制部160的控制信號(hào)的鎖存定時(shí)，并且AWB運(yùn)算處理部33可根據(jù)控制信號(hào)來開始運(yùn)算。在此情況下，加到AWB運(yùn)算處理部33上的運(yùn)算負(fù)荷也減小。
如上所述，根據(jù)第一實(shí)施例的圖像處理裝置被構(gòu)造為能夠以模塊為單位，從多個(gè)鎖存信號(hào)中選擇具有這些模塊中的一個(gè)模塊執(zhí)行處理所必需的最小速度的鎖存信號(hào)，從而當(dāng)在高速圖像拍攝期間系統(tǒng)控制部160不需要來自于AWB運(yùn)算處理部33在高圖像拍攝速度下的運(yùn)算結(jié)果時(shí)，可以選擇并切換普通圖像拍攝速度的鎖存信號(hào)，以減小控制處理的負(fù)荷和控制處理時(shí)的通信數(shù)據(jù)量。因此，即使在高速圖像拍攝期間，第一實(shí)施例也能夠生成調(diào)節(jié)了色調(diào)的對象視頻信號(hào)，同時(shí)減少制造成本和功耗。
第二實(shí)施例下面將描述本發(fā)明的第二實(shí)施例。根據(jù)第二實(shí)施例的圖像處理裝置除了鎖存信號(hào)是以場為單位切換以外，具有與在第一實(shí)施例中使用的圖像處理裝置類似的結(jié)構(gòu)。下面，用相同的參考標(biāo)號(hào)表示與在第一實(shí)施例中使用的對應(yīng)部件基本相同的組成部件，其描述將適當(dāng)?shù)厥÷浴?br> 圖6示出了以場為單位在多個(gè)鎖存信號(hào)之間實(shí)現(xiàn)切換的鎖存信號(hào)輸出部的功能框圖。在第二實(shí)施例的描述中，作為舉例，將會(huì)參考鎖存信號(hào)輸出部22a將鎖存信號(hào)提供給AF運(yùn)算處理部31。如圖6所示，鎖存信號(hào)輸出部22a包括鎖存信號(hào)生成部23、選擇部60、以及邏輯運(yùn)算部61。
與第一實(shí)施例中的鎖存信號(hào)生成部23類似，鎖存信號(hào)輸出部23生成兩種鎖存信號(hào)，普通圖像拍攝速度(60fps)的鎖存信號(hào)和高圖像拍攝速度(240fps)的鎖存信號(hào)。
邏輯運(yùn)算部61對在高速圖像拍攝期間輸入的場計(jì)數(shù)信號(hào)和任意設(shè)置的場選擇信號(hào)執(zhí)行“與”運(yùn)算，僅當(dāng)兩個(gè)信號(hào)彼此一致時(shí)，邏輯運(yùn)算部61輸出從鎖存信號(hào)生成部23接收到的鎖存信號(hào)。否則，邏輯運(yùn)算部61屏蔽該鎖存信號(hào)(在第二實(shí)施例中，鎖存信號(hào)固定為L電平)。場計(jì)數(shù)信號(hào)是由例如系統(tǒng)控制部160與垂直同步信號(hào)同步進(jìn)行計(jì)數(shù)的信號(hào)。在第二實(shí)施例中，由于高圖像拍攝速度是普通圖像拍攝速度的四倍，所以系統(tǒng)控制部160重復(fù)地從0到3計(jì)數(shù)。場選擇信號(hào)是由系統(tǒng)控制部160指定的0～3的任意信號(hào)。基于場計(jì)數(shù)信號(hào)的計(jì)數(shù)循環(huán)與至少一個(gè)場選擇信號(hào)的指定的結(jié)合，鎖存信號(hào)輸出部22a能夠生成各種場選擇規(guī)則和在任意場期間輸出鎖存定時(shí)。
選擇部60基于來自系統(tǒng)控制部160的鎖存選擇信號(hào)，在從邏輯運(yùn)算部61接收到的鎖存信號(hào)和普通圖像拍攝速度的鎖存信號(hào)中選擇一個(gè)鎖存信號(hào)，并將選擇的鎖存信號(hào)輸出到AF運(yùn)算處理部31。
AF運(yùn)算處理部31基于從選擇部60輸出的鎖存信號(hào)，對從系統(tǒng)控制部160輸出的控制信號(hào)和AF運(yùn)算處理部31的運(yùn)算結(jié)果執(zhí)行鎖存。更具體地，如果選擇了來自邏輯運(yùn)算部61的鎖存信號(hào)，則AF運(yùn)算處理部31對任意場執(zhí)行鎖存，反之，如果選擇了普通圖像拍攝速度的鎖存信號(hào)，則AF運(yùn)算處理部31以模塊為單位，以普通圖像拍攝速度執(zhí)行鎖存。
一般說來，當(dāng)在信號(hào)處理部150中處理圖像信號(hào)時(shí)，圖像信號(hào)首先要焦點(diǎn)對準(zhǔn)，這樣，系統(tǒng)控制部160在控制其他模塊之前，需要對AF運(yùn)算處理部31執(zhí)行控制處理。如果必要，鎖存信號(hào)輸出部22a能夠改變以輸出到AF運(yùn)算處理部31的鎖存信號(hào)進(jìn)行控制的目標(biāo)場，從而AF運(yùn)算處理部31能夠在高速圖像拍攝期間相對于對其他模塊的控制，優(yōu)先執(zhí)行聚焦控制。尤其當(dāng)對象在高速圖像拍攝期間進(jìn)行主動(dòng)移動(dòng)時(shí)，AF運(yùn)算處理部31能夠在控制其他模塊之前執(zhí)行調(diào)焦，從而進(jìn)一步改善圖像質(zhì)量，例如，系統(tǒng)控制部160計(jì)算AF關(guān)于相鄰的幀或場的距離測量結(jié)果之間的差值，如果這個(gè)差值比預(yù)設(shè)值小，則系統(tǒng)控制部160使選擇部60選擇60fps的鎖存信號(hào)。如果這個(gè)差值不小于預(yù)設(shè)值，則系統(tǒng)控制部160使選擇部60在控制其他模塊(例如AWB運(yùn)算處理部33)之前先執(zhí)行調(diào)焦。
此外，鎖存信號(hào)輸出部22a可被構(gòu)造成，響應(yīng)于用戶的操作輸入和根據(jù)圖像拍攝場景，例如，根據(jù)圖像是否是在圖像拍攝裝置100固定或移動(dòng)時(shí)拍攝，或根據(jù)對象的移動(dòng)的存在或不存在，來實(shí)現(xiàn)鎖存信號(hào)之間的切換。
圖7中的時(shí)間圖示出了在上述鎖存信號(hào)之間選擇的方式。圖7示出了根據(jù)第二實(shí)施例的信號(hào)處理部150的處理的時(shí)間圖。如圖7所示，作為舉例，假定針對AF運(yùn)算處理部31，場選擇信號(hào)設(shè)為“1”，并選擇從邏輯運(yùn)算部61輸出的鎖存信號(hào)，同時(shí)將60fps的鎖存信號(hào)提供給AWB運(yùn)算處理部33。
在高速圖像拍攝期間，在時(shí)間T11到時(shí)間T19，AF運(yùn)算處理部31對距離測量的檢測和AWB運(yùn)算處理部33對色溫測量的檢測以場為單位執(zhí)行。在此情況下，當(dāng)選擇了邏輯運(yùn)算部61中的鎖存信號(hào)時(shí)，邏輯運(yùn)算部61中的鎖存信號(hào)在隨著60fps的鎖存信號(hào)的輸出定時(shí)之后的垂直同步定時(shí)輸出。
例如，在時(shí)間T15，AF運(yùn)算處理部31基于在時(shí)間T14和T15之間通過曝光獲得的圖像信號(hào)執(zhí)行檢測，在時(shí)間T16時(shí)鎖存檢測結(jié)果，然后通過使用鎖存的檢測結(jié)果，系統(tǒng)控制部160執(zhí)行AF控制。當(dāng)處于由AF控制得到的焦點(diǎn)對準(zhǔn)期間，在時(shí)間T17和時(shí)間T18之間執(zhí)行曝光，由AWB運(yùn)算處理部33在時(shí)間T18檢測通過曝光獲得的圖像信號(hào)。然后，在時(shí)間T19鎖存檢測結(jié)果，并由系統(tǒng)控制部160計(jì)算WB增益的控制值。
如上所述，在第二實(shí)施例中，將240fps的鎖存信號(hào)取樣并提供給AF運(yùn)算處理部31，從而與選擇高圖像拍攝速度的鎖存信號(hào)時(shí)相比，傳送給系統(tǒng)控制部60的數(shù)據(jù)量減少到1/4，以及加到系統(tǒng)控制部60的運(yùn)算負(fù)荷也減少到1/4。此外，鎖存信號(hào)輸出部22a能夠與任意場同步地取樣(decimate)和輸出鎖存信號(hào)，因此，在高速圖像拍攝期間，系統(tǒng)控制部160能夠獲得AF運(yùn)算處理部31對任意場的運(yùn)算結(jié)果(估計(jì)值)。因此，第二實(shí)施例能夠在運(yùn)算負(fù)荷減小、功耗降低以及制造成本縮減的情況下生成適當(dāng)?shù)膶ο笠曨l信號(hào)。
在上述的第一和第二實(shí)施例中，參考了當(dāng)必要時(shí)在圖像拍攝期間在多個(gè)鎖存信號(hào)之間切換的例子。然而，例如，在開發(fā)階段，在根據(jù)第一和第二實(shí)施例的各個(gè)信號(hào)處理部150中可以共享的方式提供上述的鎖存信號(hào)切換功能，從而，根據(jù)設(shè)置在后級(jí)中的控制運(yùn)算處理部153的每個(gè)運(yùn)算處理部的規(guī)范的改變，在選擇了預(yù)設(shè)的一個(gè)鎖存信號(hào)之后，所選狀態(tài)可進(jìn)行固定。例如，可對選擇部進(jìn)行設(shè)置，使高圖像拍攝速度的鎖存信號(hào)僅提供給要求以高圖像拍攝速度處理的模塊，同時(shí)低圖像拍攝速度的鎖存信號(hào)提供給不要求這樣處理的其他模塊。因此，可以通用地給定信號(hào)處理部150的電路結(jié)構(gòu)，從而能夠減少開發(fā)成本。
第三實(shí)施例下面將描述本發(fā)明的第三實(shí)施例。除了在信號(hào)處理部150中鎖存信號(hào)是基于寄存器或基于寄存器組來切換以外，根據(jù)第三實(shí)施例的圖像處理裝置具有與第一實(shí)施例中使用的圖像處理裝置類似的結(jié)構(gòu)。下面，用相同的參考標(biāo)號(hào)表示與在第一實(shí)施例中使用的對應(yīng)部件基本相同的組成部件，其描述將適當(dāng)?shù)厥÷浴?br> 圖8示出了針對各個(gè)寄存器在鎖存信號(hào)之間實(shí)現(xiàn)切換的AE運(yùn)算處理部的功能的框圖。在第三實(shí)施例的描述中，作為舉例，參考在AE運(yùn)算處理部32b中以寄存器為單位切換鎖存信號(hào)的情況。如圖8所示，鎖存信號(hào)輸出部22b輸出高圖像拍攝速度(240fps)的鎖存信號(hào)和低圖像拍攝速度(60fps)的鎖存信號(hào)給AE運(yùn)算處理部32b。此外，來自系統(tǒng)控制部160的兩個(gè)選擇信號(hào)通過鎖存信號(hào)輸出部22b輸出給AE運(yùn)算處理部32b。AE運(yùn)算處理部32b包括選擇部70和71以及寄存器80和82。
選擇部70和71中的每個(gè)從鎖存信號(hào)輸出部22b中接收兩種鎖存信號(hào)和一個(gè)鎖存選擇信號(hào)。選擇部70和71基于接收到的一個(gè)鎖存選擇信號(hào)選擇鎖存信號(hào)中的任意一個(gè)，并將選擇的鎖存信號(hào)輸出給寄存器80和81中相應(yīng)的一個(gè)。
寄存器80和81臨時(shí)存儲(chǔ)從系統(tǒng)控制部160中輸出的控制信號(hào)等以及在AE運(yùn)算處理部32b中獲得的運(yùn)算結(jié)果。在高速圖像拍攝期間，用于控制存儲(chǔ)在寄存器80和81中的鎖存定時(shí)的鎖存信號(hào)能夠由選擇部70和71中對應(yīng)的一個(gè)分別選擇。此外，AE運(yùn)算處理部32b也被構(gòu)造成，將來自選擇部70和71的鎖存信號(hào)提供給多個(gè)寄存器。
例如，AE運(yùn)算處理部32b根據(jù)對象的照度計(jì)算快門速度和光圈值。存在一種情況，如果亮度變化很大，則必要的處理速度將根據(jù)AE運(yùn)算處理部32b的內(nèi)部運(yùn)算結(jié)果而改變。更具體來說，在高速圖像拍攝期間，對于固定的場，以高圖像拍攝速度控制的寄存器(或寄存器組)和以普通圖像拍攝速度控制的寄存器(或寄存器組)共存于AE運(yùn)算處理部32b中。相反，如果亮度的變化不大，則對于固定的場僅在普通圖像拍攝速度下控制寄存器(或寄存器組)。
系統(tǒng)控制部160能夠從任意寄存器中獲得通過AE運(yùn)算處理部32b計(jì)算出的運(yùn)算結(jié)果(估計(jì)值)，因此，在高速圖像拍攝期間，圖像處理裝置能夠持續(xù)地生成經(jīng)過曝光調(diào)節(jié)的對象視頻信號(hào)。
如上面所提到的，根據(jù)第三實(shí)施例的圖像處理裝置被構(gòu)造為，能夠基于寄存器選擇多個(gè)鎖存信號(hào)中的一個(gè)，從而，AE運(yùn)算處理部32b能夠通過基于寄存器切換鎖存，來選擇具有必要的最小速度的鎖存信號(hào)，并且，即使在高速圖像拍攝期間也能夠持續(xù)地生成合適的對象視頻信號(hào)。此外，能夠減少加在系統(tǒng)控制部160上的運(yùn)算負(fù)荷和通過系統(tǒng)控制部160通信的數(shù)據(jù)量，并且也能夠?qū)崿F(xiàn)成本和裝置功耗的減少。
依照根據(jù)第一到第三實(shí)施例中的每個(gè)實(shí)施例的圖像拍攝裝置，根據(jù)圖像拍攝速度，通過三種切換方法(即，以模塊為單位、以場為單位和以寄存器為單位)的任意一種，在從同步信號(hào)輸出部151中的鎖存信號(hào)輸出部輸出到像機(jī)信號(hào)處理部152和控制運(yùn)算處理部153的鎖存信號(hào)之間進(jìn)行切換。因此，在高速圖像拍攝期間，能夠減少加在系統(tǒng)控制部160和信號(hào)處理部150上的處理負(fù)荷以及通過系統(tǒng)控制部160和信號(hào)處理部150通信的數(shù)據(jù)量，從而，可以實(shí)現(xiàn)成本和裝置功耗的降低。
上述第一到第三實(shí)施例分別參考AWB運(yùn)算處理部、AF運(yùn)算處理部和AE運(yùn)算處理部的結(jié)構(gòu)示例。然而，每一種上述的切換方法能夠應(yīng)用于任一種上述的運(yùn)算處理部，在此情況下，也能獲得與第一到第三實(shí)施例的運(yùn)算處理部相似的優(yōu)點(diǎn)。此外，三種切換方法(即，以模塊為單位、以場為單位、和以寄存器為單位)也能夠結(jié)合使用。另外，在第一到第三實(shí)施例的每一個(gè)實(shí)施例中，高圖像拍攝速度設(shè)置為240fps，普通圖像拍攝速度設(shè)置為60fps，但是這兩個(gè)圖像拍攝速度也能設(shè)置為其他的圖像拍攝速度。
在第一到第三實(shí)施例的每一個(gè)實(shí)施例中，在高速模式期間，由于圖像拾取器件130中的圖像信號(hào)的分辨率低于標(biāo)準(zhǔn)速度模式，所以信號(hào)處理部150能夠在不增加操作頻率的情況下處理圖像信號(hào)。然而，如果通過增加圖像拾取器件130的輸出信號(hào)頻率來實(shí)現(xiàn)高速圖像拍攝，那么，如有必要，通過將基于很低的畫面率的鎖存信號(hào)提供給信號(hào)處理部150，就可以減少信號(hào)處理部150的內(nèi)部操作頻率，從而，可以進(jìn)一步減少制造成本和功耗。
在上述的第一到第三實(shí)施例的任意一個(gè)實(shí)施例中，所參考的是信號(hào)處理部150構(gòu)造為集成電路(硬件)的例子。然而，通過使用計(jì)算機(jī)等，整個(gè)或部分該模塊可以基于軟件實(shí)現(xiàn)，在此情況下，能夠獲得與第一到第三實(shí)施例相同的優(yōu)點(diǎn)。此外，本發(fā)明不僅可以應(yīng)用于具有圖像拍攝功能的裝置，也能夠應(yīng)用于響應(yīng)于拍攝到的圖像信號(hào)的輸入執(zhí)行各種圖像處理的裝置。在這種情況下，可以基于軟件實(shí)現(xiàn)整個(gè)或部分功能。
本領(lǐng)域的技術(shù)人員應(yīng)該理解，根據(jù)設(shè)計(jì)要求和其他因素，可以有多種修改、組合、再組合和改進(jìn)，均應(yīng)包含在本發(fā)明的權(quán)利要求或等同物的范圍之內(nèi)。
權(quán)利要求
1.一種用于處理圖像信號(hào)的圖像處理裝置，包括運(yùn)算處理裝置，用于根據(jù)圖像信號(hào)的檢測值執(zhí)行運(yùn)算；鎖存信號(hào)生成裝置，用于生成多個(gè)鎖存信號(hào)，所述鎖存信號(hào)指示用于所述運(yùn)算處理裝置的處理定時(shí)，并且所述鎖存信號(hào)基于應(yīng)用于所述圖像信號(hào)的多種不同的畫面率；鎖存信號(hào)選擇裝置，用于從所述鎖存信號(hào)生成裝置輸入的所述多個(gè)鎖存信號(hào)中選擇一個(gè)鎖存信號(hào)，并將所選擇的鎖存信號(hào)輸出給所述運(yùn)算處理裝置；以及鎖存信號(hào)選擇指示裝置，用于向所述鎖存信號(hào)選擇裝置指示將要從所述多個(gè)鎖存信號(hào)中選出的鎖存信號(hào)。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述鎖存信號(hào)生成裝置向所述鎖存信號(hào)選擇裝置輸出第一鎖存信號(hào)和第二鎖存信號(hào)，所述第一鎖存信號(hào)基于與第一畫面率相對應(yīng)的圖像的同步信號(hào)生成，所述第二鎖存信號(hào)基于與高于所述第一畫面率的第二畫面率相對應(yīng)的圖像的同步信號(hào)生成。
3.根據(jù)權(quán)利要求2所述的圖像處理裝置，還包括輸出控制裝置，如果所述圖像信號(hào)具有所述第二畫面率，則根據(jù)預(yù)定規(guī)則對所述第二鎖存信號(hào)取樣，并將經(jīng)過取樣的第二鎖存信號(hào)輸出給所述鎖存信號(hào)選擇裝置。
4.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述鎖存信號(hào)選擇裝置針對設(shè)置在所述運(yùn)算處理裝置中的各個(gè)寄存器或寄存器組單獨(dú)設(shè)置。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述運(yùn)算處理裝置設(shè)置有多個(gè)，所述鎖存信號(hào)從所述鎖存信號(hào)選擇裝置輸出到多個(gè)所述運(yùn)算處理裝置中的至少一個(gè)。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述運(yùn)算處理裝置設(shè)置有多個(gè)，所述鎖存信號(hào)選擇裝置設(shè)置在多個(gè)所述運(yùn)算處理裝置的每一個(gè)中，以及鎖存信號(hào)從每一個(gè)所述鎖存信號(hào)選擇裝置中輸出到多個(gè)所述運(yùn)算處理裝置中相應(yīng)的一個(gè)。
7.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述鎖存信號(hào)是指示由所述運(yùn)算處理裝置獲得的運(yùn)算結(jié)果的鎖存定時(shí)和輸入到所述運(yùn)算處理裝置用于控制所述運(yùn)算處理裝置的運(yùn)算處理的控制信號(hào)的鎖存定時(shí)中的至少一個(gè)的信號(hào)。
8.一種用于拍攝圖像的圖像拍攝裝置，包括固態(tài)圖像拾取器件，用于以多種不同的畫面率拍攝圖像；運(yùn)算處理裝置，用于根據(jù)通過圖像拍攝獲得的圖像信號(hào)的檢測值執(zhí)行運(yùn)算；鎖存信號(hào)生成裝置，用于生成多個(gè)鎖存信號(hào)，所述鎖存信號(hào)指示用于所述運(yùn)算處理裝置的處理定時(shí)，并且所述鎖存信號(hào)基于所述多種不同的畫面率；鎖存信號(hào)選擇裝置，用于根據(jù)選擇指示，從所述鎖存信號(hào)生成裝置輸入的所述多個(gè)鎖存信號(hào)中選擇一個(gè)，并將所選擇的鎖存信號(hào)輸出給所述運(yùn)算處理裝置；以及鎖存信號(hào)選擇指示裝置，用于向所述鎖存信號(hào)選擇裝置指示將要從所述多個(gè)鎖存信號(hào)中選擇的鎖存信號(hào)。
9.一種用于處理圖像信號(hào)的圖像處理方法，包括以下步驟通過鎖存信號(hào)生成裝置生成多個(gè)鎖存信號(hào)，所述鎖存信號(hào)指示用于運(yùn)算處理裝置的處理定時(shí)，且基于多種不同的畫面率；通過鎖存信號(hào)選擇裝置，將根據(jù)選擇指示從所述鎖存信號(hào)生成裝置輸入的多個(gè)鎖存信號(hào)中選擇的一個(gè)輸出給所述運(yùn)算處理裝置，并輸出所選擇的鎖存信號(hào)；以及通過所述運(yùn)算處理裝置，基于所選擇的鎖存信號(hào)，根據(jù)圖像信號(hào)的檢測值執(zhí)行運(yùn)算。
10.一種用于處理圖像信號(hào)的圖像處理裝置，包括運(yùn)算處理部，用于根據(jù)所述圖像信號(hào)的檢測值執(zhí)行運(yùn)算；鎖存信號(hào)生成部，用于生成多個(gè)鎖存信號(hào)，所述鎖存信號(hào)指示用于所述運(yùn)算處理部的處理定時(shí)，且基于施加于所述圖像信號(hào)的多種不同的畫面率；鎖存信號(hào)選擇部，用于從所述鎖存信號(hào)生成部輸入的所述多個(gè)鎖存信號(hào)中選擇一個(gè)，并將所選擇的鎖存信號(hào)輸出給所述運(yùn)算處理部；以及鎖存信號(hào)選擇指示部，用于向所述鎖存信號(hào)選擇部指示將要從所述多個(gè)鎖存信號(hào)中選擇的鎖存信號(hào)。
全文摘要
本發(fā)明提供了一種用于處理圖像信號(hào)的圖像處理裝置，包括運(yùn)算處理部，用于根據(jù)圖像信號(hào)的檢測值執(zhí)行運(yùn)算；鎖存信號(hào)生成部，用于生成多個(gè)鎖存信號(hào)，其指示用于運(yùn)算處理部的處理定時(shí)，且基于應(yīng)用于圖像信號(hào)的多種不同的畫面率；鎖存信號(hào)選擇部，用于從鎖存信號(hào)生成部輸入的多個(gè)鎖存信號(hào)中選擇一個(gè)，并將所選擇的鎖存信號(hào)輸出給運(yùn)算處理部；以及鎖存信號(hào)選擇指示部，用于向鎖存信號(hào)選擇部指示將從多個(gè)鎖存信號(hào)中選擇的鎖存信號(hào)。
文檔編號(hào)H04N5/232GK1870726SQ200610078288
公開日2006年11月29日 申請日期2006年5月22日 優(yōu)先權(quán)日2005年5月23日
發(fā)明者張婷, 大槻博樹 申請人:索尼公司