圖像捕獲設(shè)備、圖像捕獲設(shè)備控制方法和程序的制作方法
【專利摘要】本發(fā)明公開了圖像捕獲設(shè)備、圖像捕獲設(shè)備控制方法和程序。通過基于來自圖像捕獲部的輸入圖像信息來執(zhí)行運動對象區(qū)域判定，運動對象檢測圖被生成，并且，其被用于設(shè)定運動對象檢測像素區(qū)域的曝光模式。該曝光模式是利用多個不同曝光時間循環(huán)地布置的。根據(jù)對象的亮度來設(shè)定靜止對象區(qū)域的曝光。關(guān)于基于曝光時間控制所捕獲的圖像，通過如下操作來生成輸出圖像：利用使用已設(shè)定了多個不同曝光時間的像素的像素值的像素值組合處理來計算運動對象區(qū)域的像素值，并且，通過根據(jù)曝光時間來乘以增益來計算針對靜止對象區(qū)域的像素值。這實現(xiàn)了動態(tài)范圍圖像的獲取，同時保持分辨率的劣化最小。
【專利說明】圖像捕獲設(shè)備、圖像捕獲設(shè)備控制方法和程序
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及圖像捕獲設(shè)備、圖像捕獲設(shè)備控制方法和程序。具體地，本公開涉及生成帶有寬的動態(tài)范圍的圖像的圖像捕獲設(shè)備、圖像捕獲設(shè)備控制方法和程序。
【背景技術(shù)】
[0002]諸如CXD圖像傳感器或互補金屬氧化物半導體(CMOS)圖像傳感器之類的使用在攝像機或數(shù)字靜止相機中的固態(tài)圖像捕獲元件聚積對應(yīng)于發(fā)射光量的電荷，并且，執(zhí)行光電轉(zhuǎn)換，該光電轉(zhuǎn)換輸出對應(yīng)于所聚積的電荷的電信號。但是，存在聚積在光電轉(zhuǎn)換兀件中的電荷量的上限，并且，當接收到多于固定光量時，所聚積的電荷量達到飽和水平，使得設(shè)定在飽和亮度水平的所謂的過飽和高亮(blown out highlights)出現(xiàn)在其亮度高于固定值的光電對象的區(qū)域中。
[0003]為了防止發(fā)生這種現(xiàn)象，處理被執(zhí)行，其通過根據(jù)外部光等的變化來控制電荷被在光電轉(zhuǎn)換元件中聚積的時段來調(diào)整曝光時間，并且，還調(diào)整對最佳值的敏感度。例如，針對亮的對象，通過利用更快的快門速度來縮短曝光時間，其縮短了電荷被在光電轉(zhuǎn)換元件中聚積的時段，并且，在所聚積的電荷量達到飽和水平之前，電信號被輸出。這種處理使得可以輸出準確地再現(xiàn)了對象的灰度(gray-scale)水平的圖像。
[0004]但是，在捕獲具有亮區(qū)域和暗區(qū)域的混合的對象的圖像時，利用快的快門速度意味著針對暗區(qū)域而言曝光時間將是不夠的，因此，信噪比變壞，并且，圖像質(zhì)量劣化。為了準確地再現(xiàn)具有亮區(qū)域和暗區(qū)域的混合的對象的所捕獲的圖像中的亮區(qū)域和暗區(qū)域的亮度水平，必須執(zhí)行處理，使得針對入射光量低的圖像傳感器像素而言，增加曝光時間并獲得高的信噪比，并且，避免入射光量高的像素中的飽和。
[0005]作為用于實現(xiàn)這種處理的技術(shù)，已知一種技術(shù)，其用不同的曝光時間來順序捕獲并組合多個圖像。具體地，帶有長曝光時間的圖像和帶有短曝光時間的圖像被依次分別捕獲。該技術(shù)通過執(zhí)行組合處理來生成單個圖像，該組合處理針對暗圖像區(qū)域使用長曝光時間，而針對亮圖像區(qū)域使用短曝光時間，在該亮圖像區(qū)域中，高亮在長曝光時間圖像中過飽和。通過這種方式組合帶有不同曝光的多個圖像使得可以產(chǎn)生帶有寬的動態(tài)范圍的圖像，并且其中，不存在過飽和，即，寬的動態(tài)范圍圖像(高動態(tài)范圍(HDR)圖像)。
[0006]例如，日本專利申請公開N0.JP-A2008-99158公開了一種配置，該配置通過組合帶有不同曝光量的多個圖像來產(chǎn)生寬的動態(tài)范圍圖像。將參照圖1來說明該處理。例如，在捕獲運動圖像中，圖像捕獲元件輸出在視頻速率(30到60fps)中的針對兩個不同曝光時間的圖像數(shù)據(jù)。在捕獲靜止圖像中，針對兩個不同的曝光時間，也生成并輸出圖像數(shù)據(jù)。圖1是說明了圖像捕獲元件所生成的并具有兩個不同的曝光時間的圖像(長曝光時間圖像，短曝光時間圖像)的特點。水平軸是時間(t)，而垂直軸是配置了光電轉(zhuǎn)換元件的光接收光電二極管(PD)中所聚積的電荷(e)，該光電轉(zhuǎn)換元件對應(yīng)于固態(tài)圖像捕獲元件的一個像素。
[0007]例如，如在圖1中所示的高亮度區(qū)域11中所示的，在光接收光電二極管(PD)所接收的光量大的情形中，即，其對應(yīng)于亮的對象，隨著時間的流逝，所聚積的電荷急劇增加。相反地，如在圖1中所示的低亮度區(qū)域12中所示的，在光接收光電二極管(PD)所接收的光量小的情形中，即，其對應(yīng)于暗的對象，隨著時間的流逝，所聚積的電荷緩慢增加。
[0008]從t0到t3的時間等同于用于獲取長曝光時間圖像的曝光時間TL。在低亮度區(qū)域12中所示的線示出了，即便在作為長曝光時間TL的時間t3處所聚積的電荷也未達到飽和水平(未飽和點Py)，并且，可根據(jù)像素的灰度水平來產(chǎn)生準確的灰度表示，利用機遇所聚積的電荷(Sa)所產(chǎn)生的電信號，該像素被設(shè)定。
[0009]但是，在高亮度區(qū)域11中所示的線清楚地指示，在所聚積的電荷達到時間t3之前，其已經(jīng)達到飽和水平(飽和點Px)。因此，在高亮度區(qū)域11中，僅有對應(yīng)于在飽和水平處的電信號的像素值被從長曝光時間圖像中產(chǎn)生，其導致像素過飽和。
[0010]因此，在高亮度區(qū)域11中，在達到時間t3之前(例如，在圖1中所示的時間tl處(電荷清除開始點Pl))，所聚積的電荷被一次性地從光接收光電二極管(PD)中清除。電荷清除并不清除光接收光電二極管(PD)中所聚積的所有電荷，而是其清除到由光電二極管(PD)所控制的中間電壓保持水平。在電荷清除處理之后，針對被定義為曝光時間TS(從t2到t3)的短時間，光接收光電二極管(PD)被再次曝光。即，針對從短曝光時間開始點P2到短曝光時間結(jié)束點P3的時段，做出短時間曝光，該短曝光時間開始點和短曝光時間結(jié)束點二者均在圖1中示出。通過短時間曝光，所聚積的電荷(Sb)被產(chǎn)生，并且，利用基于所聚積的電荷(Sb)所產(chǎn)生的電信號，像素的灰度被設(shè)定。
[0011]注意，在利用基于通過在低亮度區(qū)域12中的長曝光時間所產(chǎn)生的所聚積的電荷(Sa)的電信號并利用基于通過在高亮度區(qū)域11中的短曝光時間所產(chǎn)生的所聚積的電荷(Sb)的電信號來設(shè)定像素值的過程中，針對兩個區(qū)域中的曝光時間相同的情形，所估計的聚積電荷被計算，對應(yīng)于所估計的聚積電荷的電信號輸出值被計算，并且，基于計算的結(jié)果，像素值被設(shè)定。
[0012]通過這種方式組合短曝光時間圖像和長曝光時間圖像使得可以產(chǎn)生不具有過飽和聞売并具有寬的動態(tài)范圍的圖像。
[0013]另外，針對捕獲寬的動態(tài)范圍圖像的圖像捕獲設(shè)備，基于高級圖像捕獲信息針對各自像素執(zhí)行曝光控制的方法、組合圖像同時空間地變化曝光的方法等是已知的。
[0014]例如，日本專利申請公開N0.JP-A2001-358989和日本專利申請公開N0.JP-A2010-136205公開了控制曝光和獲得寬的動態(tài)范圍圖像捕獲的配置，其通過基于初始捕獲的圖像的亮度信息來存儲曝光控制信息并隨后將該信息作為參數(shù)融合(如果存在下一圖像捕獲的話)來保持高分辨率。
[0015]但是，如參照圖1所已經(jīng)描述的，通過利用多個已捕獲的圖像的方法和執(zhí)行基于高級圖像捕獲信息的對曝光的控制的處理的配置，在對象運動的情形中，像素值中出現(xiàn)波動。因此，如參照圖1所已經(jīng)說明的，通過利用多個已捕獲的圖像的方法，當生成組合圖像時，錯誤的像素值被設(shè)定。
[0016]另外，通過執(zhí)行基于初始捕獲的圖像的亮度信息的曝光控制的方法，針對各自像素所預(yù)先設(shè)定的曝光控制信息變?yōu)殄e誤信息，并且，變得不能獲得最佳控制。
[0017]因此，在如下情形中顯現(xiàn)問題:當像素已從暗變亮時，曝光比所預(yù)期的大得多，因此，像素變得飽和，并且，當像素已從亮變暗時，曝光比所預(yù)期的小得多，因此，例如信噪比下降。
[0018]另外，在日本專利申請公開N0.JP-A2010-110004中，通過提供帶有不同敏感度的多個傳感器，將其布置在固定模式中并在各自像素中內(nèi)插低曝光和高曝光，寬的動態(tài)范圍被獲得。
[0019]通過該方法，不管時間，每個像素的曝光是固定的，因此，該方法對抗于運動對象的效果。但是，由于低敏感度傳感器和高敏感度傳感器被布置在固定模式中，抽樣敏感度范圍比已知的RGB傳感器寬，因此，出現(xiàn)如下問題:圖像分辨率降低。

【發(fā)明內(nèi)容】

[0020]鑒于上述問題，本公開例如提供了圖像捕獲設(shè)備、圖像捕獲設(shè)備控制方法和程序，其生成帶有寬的動態(tài)范圍的圖像，并且其中，由于運動對象所導致的圖像質(zhì)量的降低是有限的。
[0021]根據(jù)本公開的一個方面，提供了一種圖像捕獲設(shè)備，包括:圖像捕獲部；曝光控制部，該曝光控制部執(zhí)行對所述圖像捕獲部的曝光時間的控制，使得所述曝光時間針對不同像素區(qū)域是不同的；以及輸出圖像生成部，該輸出圖像生成部通過在所述圖像捕獲部已經(jīng)輸出的當前圖像上執(zhí)行信號處理來生成輸出圖像。所述曝光控制部包括運動對象檢測部，該運動對象檢測部生成運動對象檢測圖，該運動對象檢測圖包括所述圖像捕獲部已經(jīng)輸出的所述當前圖像的運動對象區(qū)域識別信息，以及合適的曝光值計算部，該合適的曝光值計算部生成曝光控制圖，并且輸出基于所生成的曝光控制圖的曝光控制信號，所述曝光控制圖是通過參照所述運動對象檢測圖來生成的，并且具有將多個不同曝光時間循環(huán)地應(yīng)用于運動對象區(qū)域的曝光模式，并且，所述曝光控制信號被輸出到所述圖像捕獲部，其中針對每個像素區(qū)域輸出一個信號。所述輸出圖像生成部通過組合從所述運動對象區(qū)域得到的、已經(jīng)設(shè)定了多個不同曝光時間的多個像素的多個像素值信息項目來計算輸出圖像像素值。
[0022]另外，根據(jù)本公開的圖像捕獲設(shè)備的實施例，所述合適的曝光值計算部可生成所述曝光控制圖，并且輸出基于所生成的曝光控制圖的曝光控制信號，所述曝光控制圖是通過參照所述運動對象檢測圖并根據(jù)對象的亮度來設(shè)定靜止對象區(qū)域的曝光時間來生成的，并且，所述曝光控制信號被輸出到所述圖像捕獲部，其中針對每個像素區(qū)域輸出一個信號。
[0023]另外，根據(jù)本公開的圖像捕獲設(shè)備的實施例，所述合適的曝光值計算部可生成所述曝光控制圖，以定義針對所述運動對象區(qū)域所設(shè)定的曝光模式，使得鄰近像素不被設(shè)定相同的曝光時間。
[0024]另外，根據(jù)本公開的圖像捕獲設(shè)備的實施例，所述輸出圖像生成部可包括運動對象像素信號處理部，該運動對象像素信號處理部通過組合從所述運動對象區(qū)域得到的、已經(jīng)設(shè)定了多個不同曝光時間的多個像素的多個像素值信息項目來計算所述輸出圖像像素值，使得所述輸出圖像像素值具有比已經(jīng)由所述圖像捕獲部所輸出的各個像素的像素值更寬的動態(tài)范圍。
[0025]另外，根據(jù)本公開的圖像捕獲設(shè)備的實施例，所述輸出圖像生成部可包括靜止對象像素信號處理部，該靜止對象像素信號處理部執(zhí)行處理，該處理通過針對曝光時間短的像素乘以大增益而針對曝光時間長的像素乘以小增益來計算所述輸出圖像像素值。
[0026]另外，根據(jù)本公開的圖像捕獲設(shè)備的實施例，圖像捕獲設(shè)備可包括已減少的圖像生成部，該已減少的圖像生成部減少所述圖像捕獲部已經(jīng)輸出的所述當前圖像。所述曝光控制部可輸入已經(jīng)由所述已減少的圖像生成部生成的已減少的圖像，并且，基于所述已減少的圖像，生成所述運動對象檢測圖、所述曝光控制圖和所述曝光控制信號。
[0027]另外，根據(jù)本公開的圖像捕獲設(shè)備的實施例，圖像捕獲設(shè)備可包括貯存部，該貯存部存儲已經(jīng)由所述圖像捕獲部輸出的當前圖像。所述運動對象檢測部可通過利用所述圖像捕獲部已經(jīng)輸出的當前圖像和存儲在所述貯存部中的過去圖像來生成所述運動對象檢測圖。
[0028]另外，根據(jù)本公開的第二方面，提供了一種實現(xiàn)在圖像捕獲設(shè)備中的圖像捕獲設(shè)備控制方法，該方法包括如下步驟:由圖像捕獲部執(zhí)行圖像捕獲；由曝光控制部執(zhí)行對所述圖像捕獲部的曝光時間的控制，使得所述曝光時間針對不同像素區(qū)域是不同的；以及由輸出圖像生成部通過在所述圖像捕獲部已經(jīng)輸出的當前圖像上執(zhí)行信號處理來生成輸出圖像。執(zhí)行對所述曝光時間的控制可包括如下步驟:生成運動對象檢測圖，該運動對象檢測圖包括所述圖像捕獲部已經(jīng)輸出的所述當前圖像的運動對象區(qū)域識別信息，以及生成曝光控制圖，并且輸出基于所生成的曝光控制圖的曝光控制信號，所述曝光控制圖是通過參照所述運動對象檢測圖來生成的，并且具有將多個不同曝光時間循環(huán)地應(yīng)用于運動對象區(qū)域的曝光模式，并且，所述曝光控制信號被輸出到所述圖像捕獲部，其中針對每個像素區(qū)域輸出一個信號。生成所述輸出圖像可包括如下步驟:通過組合從所述運動對象區(qū)域得到的、已經(jīng)設(shè)定了多個不同曝光時間的多個像素的多個像素值信息項目來計算輸出圖像像素值。
[0029]另外，根據(jù)本公開的第三方面，提供了一種致使圖像捕獲設(shè)備控制處理在圖像捕獲設(shè)備中被執(zhí)行的程序，所述程序包括如下步驟:致使圖像捕獲部執(zhí)行圖像捕獲；致使曝光控制部執(zhí)行對所述圖像捕獲部的曝光時間的控制，使得所述曝光時間針對不同像素區(qū)域是不同的；以及致使輸出圖像生成部通過在所述圖像捕獲部已經(jīng)輸出的當前圖像上執(zhí)行信號處理來生成輸出圖像。執(zhí)行對所述曝光時間的控制可包括如下步驟:生成運動對象檢測圖，該運動對象檢測圖包括所述圖像捕獲部已經(jīng)輸出的所述當前圖像的運動對象區(qū)域識別信息，以及生成曝光控制圖，并且輸出基于所生成的曝光控制圖的曝光控制信號，所述曝光控制圖是通過參照所述運動對象檢測圖來生成的，并且具有將多個不同曝光時間循環(huán)地應(yīng)用于運動對象區(qū)域的曝光模式，并且，所述曝光控制信號被輸出到所述圖像捕獲部，其中針對每個像素區(qū)域輸出一個信號。生成所述輸出圖像可包括如下步驟:通過組合從所述運動對象區(qū)域得到的、已經(jīng)設(shè)定了多個不同曝光時間的多個像素的多個像素值信息項目來計算輸出圖像像素值。
[0030]注意，根據(jù)本公開的程序例如可被設(shè)置在存儲介質(zhì)中，或以計算機可讀形式設(shè)置在信息處理設(shè)備或能夠執(zhí)行各種類型的程序代碼的計算機系統(tǒng)中的通信介質(zhì)中。以計算機可讀的形式提供這種程序使得可以根據(jù)信息處理設(shè)備或計算機系統(tǒng)中的程序來實現(xiàn)處理。
[0031]通過基于本公開和附圖的實施例的更加詳細的說明，稍后將更加明了本公開的目的、特征和優(yōu)點。
[0032]根據(jù)本公開的示例中的一個的配置，基于來自圖像捕獲部的輸入圖像信息來執(zhí)行對運動對象區(qū)域的判定，運動對象檢測圖被生成，并且，所生成的運動對象檢測圖被用于設(shè)定運動對象檢測像素區(qū)域的曝光模式，該曝光模式是其中循環(huán)地布置了多個不同曝光時間的模式。針對靜止的對象區(qū)域，根據(jù)對象的亮度來執(zhí)行對曝光時間的設(shè)定。[0033]關(guān)于基于這種曝光時間控制所捕獲的圖像，通過如下處理來生成輸出圖像:通過利用使用已經(jīng)設(shè)定了多個不同曝光時間的像素的像素值的像素值組合處理來針對運動對象區(qū)域計算帶有寬的動態(tài)范圍的像素值，并且，通過根據(jù)曝光時間來將增益相乘來針對靜止對象區(qū)域計算帶有寬的動態(tài)范圍的像素值。該處理獲得了對跨越所有區(qū)域的寬的動態(tài)范圍圖像的獲取，同時將分辨率的劣化保持為最小。
【專利附圖】

【附圖說明】
[0034]圖1是說明了通過組合帶有不同曝光量的多個圖像來產(chǎn)生帶有寬的動態(tài)范圍的圖像的處理的不圖；
[0035]圖2是示出了根據(jù)本公開的圖像捕獲設(shè)備的配置示例的示圖；
[0036]圖3是示出了根據(jù)本公開的圖像捕獲設(shè)備中的曝光控制部的配置示例的示圖；
[0037]圖4是說明了根據(jù)本公開的圖像捕獲設(shè)備中的輸出圖像生成部的配置示例的示圖；
[0038]圖5是示出了作為函數(shù)q (L)的由圖像捕獲部根據(jù)光量L而輸出的像素值的變化的示圖；
[0039]圖6是不出了作為函數(shù)q(L, t)的由圖像捕獲部根據(jù)光量L和曝光時間t所輸出的像素值中的變化的示圖；
[0040]圖7是示出了運動對象的像素的曝光控制模式的示例的示圖，該模式是固定模式，其中，空間中的值循環(huán)地變化；
[0041]圖8是說明了根據(jù)本公開的圖像捕獲設(shè)備中的曝光控制示例的示圖；
[0042]圖9是說明了計算在保持了 N種類型的曝光時間的單個信道中的鄰近像素的值的和qsum(L)的處理的示圖；
[0043]圖10是說明了將保持了 N種類型的曝光時間的單個信道中的鄰近像素的值的和qsum(L)轉(zhuǎn)換成作為輸出像素值的已校正的像素值Q(L)的處理的示圖；
[0044]圖11是說明了入射光量L和已校正的像素值Q(L)之間的對應(yīng)的示圖；
[0045]圖12是說明了由運動對象檢測部132所執(zhí)行的運動對象檢測的流程的示圖；
[0046]圖13是說明了由運動對象檢測部132所執(zhí)行的運動對象檢測的流程的示圖；
[0047]圖14是說明了由運動對象檢測部132所執(zhí)行的運動對象檢測的具體示例的示圖；
[0048]圖15是說明了運動向量方向上的長度I和針對該運動向量的方向的已檢測值β (I)之間的對應(yīng)關(guān)系的不圖；
[0049]圖16是說明了運動向量(中心(x,y),運動(u,v))和在垂直于坐標k(xk,yk)處的運動向量的向量的方向上的長度mk之間的關(guān)系的示圖；
[0050]圖17是說明了當在運動向量方向上的長度是I時的在法向量的方向上的長度m和已檢測值ct (m, I)之間的對應(yīng)關(guān)系的不圖；
[0051]圖18是說明了根據(jù)第二實施例的圖像捕獲設(shè)備的配置示例的示圖；
[0052]圖19是說明了由根據(jù)第二實施例的圖像捕獲設(shè)備的運動對象檢測部所執(zhí)行的運動對象檢測的流程的示圖；
[0053]圖20是說明了根據(jù)第三實施例的圖像捕獲設(shè)備的配置示例的示圖；[0054]圖21是說明了根據(jù)第三實施例的圖像捕獲設(shè)備的曝光控制部621的配置和處理的示圖。
【具體實施方式】
[0055]以下，將參照附圖來詳細描述本公開的優(yōu)選實施例。注意，在本說明書和附圖中，用相同的參考標號來表示具有本質(zhì)上相同的功能和結(jié)構(gòu)的結(jié)構(gòu)元件，并且，省略了對這些結(jié)構(gòu)元件的重復(fù)說明。
[0056]以下，將參照圖來說明根據(jù)本公開的圖像捕獲設(shè)備、圖像捕獲控制方法和程序。說明將按次序覆蓋以下的項目。
[0057]1.圖像捕獲設(shè)備的第一示例的配置和處理
[0058]2.圖像捕獲設(shè)備的第二示例的配置和處理
[0059]3.圖像捕獲設(shè)備的第三示例的配置和處理
[0060]4.圖像捕獲設(shè)備的第四示例的配置和處理
[0061]5.對本公開的配置的總結(jié)
[0062]1.圖像捕獲設(shè)備的第一示例的配置和處理
[0063]首先，將說明根據(jù)本公開的圖像捕獲設(shè)備的第一示例。
[0064]圖2是示出了根據(jù)本公開的第一示例的圖像捕獲設(shè)備的配置示例的框圖。根據(jù)本實施例的圖像捕獲設(shè)備包括圖像捕獲部101、用作圖像信號處理部的數(shù)字信號處理器(DSP) 102和存儲部103。
[0065]DSP102包括曝光控制部121和輸出圖像生成部122。
[0066]注意，除了圖2中所示的結(jié)構(gòu)元件以外，圖像捕獲設(shè)備還設(shè)置有用于執(zhí)行相機功能的結(jié)構(gòu)元件，諸如，執(zhí)行對各種結(jié)構(gòu)部的控制的控制部，具體地，設(shè)置有CPU或具有用于執(zhí)行程序的功能的控制部、存儲由控制部所執(zhí)行的程序等的存儲器(貯存部)、由用戶操作的快門等的操作部、從LCD等配置的并執(zhí)行對圖像的輸出的顯示部，等等。
[0067]圖像捕獲部101將入射光作為輸入，并且，產(chǎn)生由光電轉(zhuǎn)換所生成的圖像來作為輸出。例如，圖像捕獲部101從光學透鏡和CMOS圖像傳感器等配置。
[0068]曝光控制部121執(zhí)行對圖像捕獲部101的曝光時間的控制。根據(jù)本公開的圖像捕獲設(shè)備在各自像素的水平和像素區(qū)域的水平之一處執(zhí)行曝光時間控制。
[0069]如在圖3中所示，曝光控制部121包括運動對象檢測部132和合適的曝光值計算部 131。
[0070]如圖2和圖3中所示，當前圖像(已經(jīng)由圖像捕獲設(shè)備101產(chǎn)生的最近捕獲的圖像)被輸出到曝光控制部121，并且，還被存儲在貯存部103。
[0071]除了輸入當前圖像(來自圖像捕獲部101的最近輸入圖像)以外，曝光控制部121輸入過去的圖像(在比當前圖像更早的時間處輸入并存儲在貯存部103中的圖像)和曝光控制圖。曝光控制部121輸出已更新的曝光控制圖和運動對象檢測圖。
[0072]注意，曝光控制圖是這樣一種圖，其中，針對圖像捕獲部101的圖像捕獲元件中的每個各自像素，最佳曝光時間被設(shè)定。
[0073]運動對象檢測圖是這樣一種圖，其中，已經(jīng)基于來自圖像捕獲部101的輸入圖像所檢測到的運動對象區(qū)域和靜止對象區(qū)域可在各自像素水平處被識別。[0074]在每次圖像幀被捕獲和每次預(yù)定數(shù)量的幀已被捕獲中之一處，曝光控制圖和運動對象檢測圖被更新。
[0075]通過拍攝當前圖像(其為已經(jīng)由圖像捕獲部101所產(chǎn)生的輸入圖像)并將其與存儲在貯存部103中的過去的圖像相比較，運動對象檢測部132判定運動對象區(qū)域。然后，運動對象檢測部132更新運動對象檢測圖、將其存儲在貯存部103中，并且，將其輸出到合適的曝光值計算部131。
[0076]合適的曝光值計算部131通過如下操作來執(zhí)行對曝光控制圖的更新:輸入當前圖像(其為已經(jīng)由圖像捕獲部101所產(chǎn)生的輸入圖像)、從貯存部103獲取已經(jīng)基于過去幀所生成的曝光控制圖，以及從運動對象檢測部132輸入已更新的運動對象檢測圖。基于已更新的曝光控制圖，在圖像捕獲部101的圖像捕獲元件中的各自像素水平處，曝光時間控制被執(zhí)行。
[0077]然后，已更新的曝光控制圖被存儲在貯存部103中。
[0078]如將稍后詳細描述的，針對靜止對象捕獲像素區(qū)域，其中，基于運動對象檢測圖，已經(jīng)判定已經(jīng)捕獲了靜止對象的圖像，曝光控制圖被創(chuàng)建為這樣一種圖，其中，已經(jīng)根據(jù)對象的亮度設(shè)定了曝光時間。
[0079]相反地，針對基于運動對象檢測圖已經(jīng)被判定為其中已經(jīng)捕獲了運動對象的圖像的運動對象捕獲像素區(qū)域的區(qū)域，曝光控制圖被創(chuàng)建為這樣一種圖，其中，曝光模式被設(shè)定，其包括已經(jīng)預(yù)先設(shè)定的不同曝光時間的組合。
[0080]在稍后階段將說明曝光控制圖的具體示例。
[0081]基于已更新的曝光控制圖，曝光控制部121為設(shè)置在圖像捕獲部101中的圖像捕獲元件的各自像素或不同像素區(qū)域執(zhí)行曝光控制。曝光控制部121中的已更新的曝光控制圖和運動對象檢測圖被存儲在貯存部103中，并且隨后，被用于已捕獲幀的曝光控制。
[0082]如在圖4中所示，輸出圖像生成部122包括運動對象像素信號處理部141、靜止對象像素信號處理部142、輸出選擇部143和信號處理部144。
[0083]輸出圖像生成部122輸入由圖像捕獲部101所產(chǎn)生的當前圖像以及存儲在貯存部103中的曝光控制圖和運動對象檢測圖，并且，輸出作為最終結(jié)果所產(chǎn)生的圖像。
[0084]關(guān)于由圖像捕獲部101所產(chǎn)生的當前圖像，運動對象像素信號處理部141執(zhí)行信號處理，該信號處理已經(jīng)被預(yù)先設(shè)定并適于運動對象。
[0085]關(guān)于由圖像捕獲部101所產(chǎn)生的當前圖像，靜止對象像素信號處理部142執(zhí)行信號處理，該信號處理已被預(yù)先設(shè)定并適于靜止對象。
[0086]注意，通過將曝光控制信息應(yīng)用于當前圖像并考慮各自像素的曝光時間，針對運動對象和靜止對象二者的信號處理被執(zhí)行。
[0087]輸出選擇部143分別從運動對象像素信號處理部141和靜止對象像素信號處理部142輸入信號處理結(jié)果，并且，還從貯存部103輸入運動對象檢測圖。基于所輸入的圖，通過從運動對象區(qū)域的運動對象像素信號處理部141選擇信號處理結(jié)果并從靜止對象區(qū)域的靜止對象像素信號處理部142選擇信號處理結(jié)構(gòu)，輸出選擇部143創(chuàng)建中間輸出圖像。中間輸出圖像被輸出到信號處理部144。
[0088]信號處理部144執(zhí)行各種類型的信號處理，諸如，白平衡調(diào)節(jié)、顏色校正、噪聲減少、灰度校正、伽瑪校正、去馬賽克等，然后，生成并輸出作為最終結(jié)果的輸出圖像105。[0089]接下來，將參照圖3詳細說明根據(jù)本示例的圖像捕獲設(shè)備中的曝光控制部121的配置和處理。
[0090]入射光經(jīng)歷圖像捕獲部101的光電轉(zhuǎn)換，并且，當前圖像(其為最近的輸入圖像)被輸入到曝光控制部121的合適的曝光值計算部131和運動對象檢測部132。如果給定像素的入射光量被定義為L，曝光時間t，光圈值被定義為F，并且，依賴于敏感度的常量被定義為k，則像素值q由以下的方程表示。
【權(quán)利要求】
1.一種圖像捕獲設(shè)備，包括: 圖像捕獲部； 曝光控制部，該曝光控制部執(zhí)行對所述圖像捕獲部的曝光時間的控制，使得所述曝光時間針對不同像素區(qū)域不同；以及 輸出圖像生成部，該輸出圖像生成部通過在所述圖像捕獲部已經(jīng)輸出的當前圖像上執(zhí)行信號處理來生成輸出圖像， 其中，所述曝光控制部包括 運動對象檢測部，該運動對象檢測部生成運動對象檢測圖，該運動對象檢測圖包括針對所述圖像捕獲部已經(jīng)輸出的所述當前圖像的運動對象區(qū)域識別信息，以及 合適的曝光值計算部，該合適的曝光值計算部生成曝光控制圖，并且輸出基于所生成的曝光控制圖的曝光控制信號，所述曝光控制圖是通過參照所述運動對象檢測圖來生成的，并且具有將多個不同曝光時間循環(huán)地應(yīng)用于運動對象區(qū)域的曝光模式，并且，所述曝光控制信號被輸出到所述圖像捕獲部，其中針對每個像素區(qū)域輸出一個信號， 并且 所述輸出圖像生成部通過組合從所述運動對象區(qū)域得到的、已經(jīng)設(shè)定了多個不同曝光時間的多個像素的多個像素值信息項目來計算輸出圖像像素值。
2.根據(jù)權(quán)利要求1所述的圖像捕獲設(shè)備， 其中，所述合適的曝光值計算部生成所述曝光控制圖，并且，輸出基于所生成的曝光控制圖的曝光控制信號，所述曝光控制圖是通過參照所述運動對象檢測圖并根據(jù)對象的亮度來設(shè)定靜止對象區(qū)域的曝光時間來生成的，并且，所述曝光控制信號被輸出到所述圖像捕獲部，其中針對每個像素區(qū)域輸出一個信號。
3.根據(jù)權(quán)利要求1所述的圖像捕獲設(shè)備， 其中，所述合適的曝光值計算部生成所述曝光控制圖，以定義針對所述運動對象區(qū)域所設(shè)定的曝光模式，使得鄰近像素不被設(shè)定相同的曝光時間。
4.根據(jù)權(quán)利要求1所述的圖像捕獲設(shè)備， 其中，所述輸出圖像生成部包括運動對象像素信號處理部，該運動對象像素信號處理部通過組合從所述運動對象區(qū)域得到的、已經(jīng)設(shè)定了多個不同曝光時間的多個像素的多個像素值信息項目來計算所述輸出圖像像素值，使得所述輸出圖像像素值具有比已經(jīng)由所述圖像捕獲部所輸出的各個像素的像素值更寬的動態(tài)范圍。
5.根據(jù)權(quán)利要求1所述的圖像捕獲設(shè)備， 其中，所述輸出圖像生成部包括靜止對象像素信號處理部，該靜止對象像素信號處理部執(zhí)行處理，該處理通過針對曝光時間短的像素乘以大增益而針對曝光時間長的像素乘以小增益來計算各個像素的輸出圖像像素值。
6.根據(jù)權(quán)利要求1所述的圖像捕獲設(shè)備，還包括: 已減少的圖像生成部，該已減少的圖像生成部減少所述圖像捕獲部已經(jīng)輸出的所述當前圖像， 其中，所述曝光控制部輸入已經(jīng)由所述已減少的圖像生成部生成的已減少的圖像，并且，基于所述已減少的圖像，生成所述運動對象檢測圖、所述曝光控制圖和所述曝光控制信號。
7.根據(jù)權(quán)利要求1所述的圖像捕獲設(shè)備，還包括: 貯存部，該貯存部存儲所述圖像捕獲部已經(jīng)輸出的所述當前圖像， 其中，所述運動對象檢測部通過利用所述圖像捕獲部已經(jīng)輸出的當前圖像和存儲在所述貯存部中的過去圖像來生成所述運動對象檢測圖。
8.一種實現(xiàn)在圖像捕獲設(shè)備中的圖像捕獲設(shè)備控制方法，該方法包括如下步驟: 由圖像捕獲部執(zhí)行圖像捕獲； 由曝光控制部執(zhí)行對所述圖像捕獲部的曝光時間的控制，使得所述曝光時間針對不同像素區(qū)域是不同的；以及 由輸出圖像生成部通過在所述圖像捕獲部已經(jīng)輸出的當前圖像上執(zhí)行信號處理來生成輸出圖像， 其中，執(zhí)行對所述曝光時間的控制包括如下步驟 生成運動對象檢測圖，該運動對象檢測圖包括針對所述圖像捕獲部已經(jīng)輸出的所述當前圖像的運動對象區(qū)域識別信息，以及 生成曝光控制圖，并且輸出基于所生成的曝光控制圖的曝光控制信號，所述曝光控制圖是通過參照所述運動對象檢測圖來生成的，并且具有將多個不同曝光時間循環(huán)地應(yīng)用于運動對象區(qū)域的曝光模式，并且，所述曝光控制信號被輸出到所述圖像捕獲部，其中針對每個像素區(qū)域輸出一個信號， 并且，生成所述輸出圖像包括如下步驟 通過組合從所述運動對象區(qū)域得到的、已經(jīng)設(shè)定了多個不同曝光時間的多個像素的多個像素值信息項目來計算輸出圖像像素值。
9.一種致使圖像捕獲設(shè)備控制處理在圖像捕獲設(shè)備中被執(zhí)行的程序，所述程序包括如下步驟: 致使圖像捕獲部執(zhí)行圖像捕獲； 致使曝光控制部執(zhí)行對所述圖像捕獲部的曝光時間的控制，使得所述曝光時間針對不同像素區(qū)域是不同的；以及 致使輸出圖像生成部通過在所述圖像捕獲部已經(jīng)輸出的當前圖像上執(zhí)行信號處理來生成輸出圖像， 其中，執(zhí)行對所述曝光時間的控制包括如下步驟 生成運動對象檢測圖，該運動對象檢測圖包括針對所述圖像捕獲部已經(jīng)輸出的所述當前圖像的運動對象區(qū)域識別信息，以及 生成曝光控制圖，并且輸出基于所生成的曝光控制圖的曝光控制信號，所述曝光控制圖是通過參照所述運動對象檢測圖來生成的，并且具有將多個不同曝光時間循環(huán)地應(yīng)用于運動對象區(qū)域的曝光模式，并且，所述曝光控制信號被輸出到所述圖像捕獲部，其中針對每個像素區(qū)域輸出一個信號， 并且，生成所述輸出圖像包括如下步驟 通過組合從所述運動對象區(qū)域得到的、已經(jīng)設(shè)定了多個不同曝光時間的多個像素的多個像素值信息項目來計算輸出圖像像素值。
【文檔編號】H04N5/235GK103581563SQ201210254450
【公開日】2014年2月12日 申請日期:2012年7月18日 優(yōu)先權(quán)日:2012年7月18日
【發(fā)明者】栗田哲平, 光永知生, 城堅誠, 海津俊 申請人:索尼公司