攝像裝置及其控制方法
【專(zhuān)利摘要】本發(fā)明公開(kāi)了一種攝像裝置及其控制方法。所述攝像裝置能夠利用疊加有由顯示設(shè)備顯示的信息的圖像執(zhí)行處理，并降低所述圖像中包括的疊加信息的影響。獲取在光學(xué)取景器上疊加有由顯示設(shè)備顯示的信息的第一圖像。然后，利用第二圖像執(zhí)行預(yù)定圖像處理，所述第二圖像從所述第一圖像中包括的像素中排除了具有所述信息的顯示色的像素的數(shù)據(jù)。
【專(zhuān)利說(shuō)明】攝像裝置及其控制方法

【技術(shù)領(lǐng)域】
[0001 ] 本發(fā)明涉及一種攝像裝置及其控制方法。

【背景技術(shù)】
[0002]在例如具有光學(xué)取景器的照相機(jī)中，為了便于拍攝，一些照相機(jī)將各種類(lèi)型的信息(例如，自動(dòng)聚焦(下文簡(jiǎn)稱“AF”)的對(duì)焦位置)疊加顯示在光學(xué)取景器圖像上。
[0003]另一方面，一些照相機(jī)從光學(xué)取景器圖像中獲取用于自動(dòng)曝光控制(下文簡(jiǎn)稱“AE”)的數(shù)據(jù)。日本特開(kāi)平第8-240835號(hào)公報(bào)(專(zhuān)利文獻(xiàn)I)公開(kāi)了如下照相機(jī):基于利用接收光學(xué)取景器圖像的光的AE傳感器(測(cè)光傳感器)獲得的光學(xué)取景器圖像的各區(qū)域的光電轉(zhuǎn)換輸出來(lái)確定曝光。
[0004]專(zhuān)利文獻(xiàn)I還公開(kāi)了如下情況:在光學(xué)取景器圖像上疊加諸如聚焦框的附加的信息，接收光學(xué)取景器圖像的光的AE傳感器的測(cè)光結(jié)果受到該疊加的信息的影響。因此，在專(zhuān)利文獻(xiàn)I中，通過(guò)根據(jù)以疊加方式顯示的聚焦框的位置校正由AE傳感器獲得的各區(qū)域的測(cè)光結(jié)果來(lái)校正重疊的聚焦框?qū)y(cè)光結(jié)果的影響。
[0005]通過(guò)利用二維配置有多個(gè)像素的圖像傳感器作為AE傳感器，能夠提高要測(cè)光的區(qū)域的位置、尺寸以及形狀的自由度，能夠?qū)⑴臄z圖像用于被攝體檢測(cè)或追蹤等、測(cè)光之外的目的。例如，通過(guò)檢測(cè)主被攝體區(qū)域，能夠容易地確定考慮到主被攝體的區(qū)域的曝光量。然而，當(dāng)由AE傳感器獲得的拍攝圖像包括疊加在光學(xué)取景器圖像上的信息時(shí)，由于疊加的信息遮擋的部分處缺乏數(shù)據(jù)或者受到疊加的信息的影響，因此從拍攝圖像獲取的數(shù)據(jù)的精度可能會(huì)降低。
[0006]專(zhuān)利文獻(xiàn)I的技術(shù)能夠校正顯示的聚焦框?qū)Ω鲄^(qū)域的亮度的影響，但不能校正顯示的聚焦框?qū)靡韵袼貫閱挝坏臄?shù)據(jù)的處理(例如，被攝體檢測(cè)或者被攝體追蹤)的影響。


【發(fā)明內(nèi)容】

[0007]鑒于這些傳統(tǒng)問(wèn)題而作出本發(fā)明，本發(fā)明提供了一種能夠利用在光學(xué)取景器圖像上疊加了由顯示設(shè)備顯示的信息的圖像執(zhí)行處理的攝像裝置及其控制方法，其中，可以降低該圖像中包括的疊加信息的影響。
[0008]根據(jù)本發(fā)明的一個(gè)方面，提供了一種攝像裝置，所述攝像裝置包括:獲取單元，其用于獲取疊加有由所述顯示設(shè)備顯示的信息的第一圖像；以及處理單元，其用于利用第二圖像執(zhí)行預(yù)定圖像處理，所述第二圖像從所述第一圖像中包括的像素中排除了具有所述信息的顯示色的像素的數(shù)據(jù)。
[0009]根據(jù)本發(fā)明的另一個(gè)方面，提供了一種攝像裝置的控制方法，所述控制方法包括以下步驟:獲取疊加有由所述顯示設(shè)備顯示的信息的第一圖像；以及利用第二圖像執(zhí)行預(yù)定圖像處理，所述第二圖像從所述第一圖像中包括的像素中排除具有所述信息的顯示色的像素的數(shù)據(jù)。
[0010]通過(guò)以下參照附圖對(duì)示例性實(shí)施例的描述，本發(fā)明的其他特征將變得清楚。

【專(zhuān)利附圖】

【附圖說(shuō)明】
[0011]圖1是示出根據(jù)實(shí)施例作為攝像裝置的示例的數(shù)字單反照相機(jī)的側(cè)視圖。
[0012]圖2是示出根據(jù)實(shí)施例的數(shù)字單反照相機(jī)的功能配置的示例的框圖。
[0013]圖3是示出根據(jù)實(shí)施例的數(shù)字單反照相機(jī)的聚焦點(diǎn)配置和攝像范圍的示例的圖。
[0014]圖4A和圖4B是示出圖2的AF控制單元、系統(tǒng)控制單元以及AE控制單元的處理過(guò)程及其關(guān)系的圖。
[0015]圖5A是示出根據(jù)實(shí)施例的數(shù)字單反照相機(jī)的模板圖像生成處理的過(guò)程的流程圖。
[0016]圖5B是示出根據(jù)實(shí)施例的數(shù)字單反照相機(jī)的被攝體追蹤處理的過(guò)程的流程圖。
[0017]圖6A是示意性示出根據(jù)實(shí)施例在追蹤對(duì)象的特征色的提取中使用的RGB顏色空間的圖。
[0018]圖6B是示出根據(jù)實(shí)施例在查詢表中登記的特征色塊和排除塊的示例的圖。

【具體實(shí)施方式】
[0019]現(xiàn)在，將參照附圖詳細(xì)描述本發(fā)明的示例性實(shí)施例。
[0020]圖1是示出用作根據(jù)本發(fā)明實(shí)施例的攝像裝置的示例的數(shù)字單反照相機(jī)(DSLR，Digital Single-lens Reflex camera)的主要組成部件的布置的示例的側(cè)視圖。DSLR包括主體201以及安裝在主體201的前面上的攝像透鏡202。攝像透鏡202是可更換的，主體201和攝像透鏡202通過(guò)透鏡支座(未示出)機(jī)械地和電氣地相互連接。攝像透鏡202包括聚焦透鏡213和光圈214。聚焦透鏡213和光圈214經(jīng)由透鏡支座接觸組215根據(jù)主體201的電力控制來(lái)操作，并調(diào)節(jié)攝像透鏡202的聚焦或者從攝像透鏡202入射的光量。
[0021]主鏡203是半反射鏡，并且在主鏡203的后表面上具有副鏡204。在示出的非鏡向上狀態(tài)下，主鏡203從攝像透鏡202反射一些光束，使得光束入射在上方配設(shè)的取景器光學(xué)系統(tǒng)上，主鏡203還利用副鏡204反射透射光，使得透射光入射在下方配設(shè)的AF單元205上。在諸如曝光時(shí)的鏡向上狀態(tài)下，鏡繞開(kāi)光路。
[0022]AF單元205是相差檢測(cè)方法的AF傳感器。通過(guò)在AF單元205中包括的焦點(diǎn)檢測(cè)線傳感器(line sensor)上形成攝像透鏡202的二次成像面來(lái)檢測(cè)攝像透鏡202的散焦量和焦點(diǎn)方向，并且基于檢測(cè)結(jié)果驅(qū)動(dòng)聚焦透鏡213，從而執(zhí)行自動(dòng)聚焦調(diào)節(jié)。因?yàn)橥ㄟ^(guò)相差檢測(cè)方法進(jìn)行聚焦控制是公知的，并且公知的配置適用于AF單元205，因此省略AF單元205的配置和聚焦控制的詳細(xì)描述。在根據(jù)本實(shí)施例的AF單元205中，如圖3所示，布置了61個(gè)聚焦點(diǎn)(也稱為焦點(diǎn)檢測(cè)區(qū)域或AF框)。
[0023]聚焦板206是布置在用作取景器光學(xué)系統(tǒng)的攝像透鏡202的預(yù)測(cè)成像面上的半透明板狀部件。另外，取景器顯示設(shè)備220布置在攝像透鏡202的預(yù)測(cè)成像面上或其附近。例如，取景器顯示設(shè)備220是透射式液晶顯示器并且顯示諸如圖3所示的聚焦點(diǎn)的框的信息。通過(guò)用于改變?nèi)【捌鞴饴返奈謇忡R207從目鏡209監(jiān)控聚焦板206，用戶能夠看到如下圖像:由取景器顯示設(shè)備220顯示的攝像信息疊加在要被拍攝的視場(chǎng)中的光學(xué)圖像上。注意，取景器顯示設(shè)備220可以是其他方法的顯示設(shè)備(例如，發(fā)光二極管(LED)、有機(jī)發(fā)光二極管(OLED)、或有機(jī)EL顯示器)，或可以是多個(gè)顯示設(shè)備。另外，可以根據(jù)顯示內(nèi)容使用不同方法的顯示設(shè)備。
[0024]為了觀察被攝體的亮度，AE單元208將光學(xué)取景器圖像轉(zhuǎn)換為用于利用具有多個(gè)像素的AE傳感器測(cè)光的圖像數(shù)據(jù)。這里，AE傳感器在被示為圖3中的攝像范圍的光學(xué)取景器圖像的范圍中拍攝圖像。將諸如由取景器顯示設(shè)備220顯示的聚焦點(diǎn)的框的信息疊加在該光學(xué)取景器圖像上。除了像素?cái)?shù)量，AE傳感器可以具有與圖像傳感器211相同的配置，但其被稱為“AE傳感器”的原因在于其主要用于檢測(cè)被攝體的亮度。用于測(cè)光的圖像數(shù)據(jù)包括R、G以及B分量。在本實(shí)施例中，AE單元208利用生成的用于測(cè)光的圖像數(shù)據(jù)來(lái)執(zhí)行被攝體亮度檢測(cè)、曝光計(jì)算、被攝體檢測(cè)以及被攝體追蹤等。注意，也能夠根據(jù)需要通過(guò)對(duì)用于測(cè)光的多個(gè)圖像數(shù)據(jù)求和來(lái)擴(kuò)展用于測(cè)光的圖像數(shù)據(jù)的動(dòng)態(tài)范圍。
[0025]圖像傳感器211是排列有各自具有光電轉(zhuǎn)換器件的多個(gè)像素的CMOS圖像傳感器或CXD圖像傳感器等。通過(guò)移動(dòng)主鏡203和副鏡204以繞開(kāi)攝像光路并且打開(kāi)焦平面快門(mén)210，曝光圖像傳感器211并且拍攝被攝體的光學(xué)圖像。
[0026]例如，顯示器212是液晶顯示器(IXD)，通過(guò)顯示實(shí)時(shí)取景圖像被用作電子取景器，并且用于顯示各種類(lèi)型的設(shè)置值、攝像信息、裝置信息、⑶I畫(huà)面以及拍攝圖像等。
[0027]圖2是示出本實(shí)施例的DSLR的功能配置的示例的框圖。注意，對(duì)與圖1相同的組成部件給出相同的附圖標(biāo)記。
[0028]操作單元301檢測(cè)用戶經(jīng)由配設(shè)在主體201或攝像透鏡202上的按鈕、開(kāi)關(guān)、刻度盤(pán)、連接器件等執(zhí)行的操作，并將對(duì)應(yīng)于該操作內(nèi)容的信號(hào)輸出到系統(tǒng)控制單元306。操作單元301還根據(jù)釋放按鈕的按壓量發(fā)送SWl信號(hào)或SW2信號(hào)。具體地，當(dāng)釋放按鈕被按下約一半時(shí)，將SWl信號(hào)輸出到系統(tǒng)控制單元306，而當(dāng)釋放按鈕被進(jìn)一步按下到預(yù)定程度時(shí)，將SW2信號(hào)輸出到系統(tǒng)控制單元306。注意，當(dāng)輸出SWl信號(hào)時(shí)的釋放開(kāi)關(guān)的按壓狀態(tài)被稱為“半按壓”狀態(tài)，而當(dāng)輸出SW2信號(hào)時(shí)的釋放開(kāi)關(guān)的按壓狀態(tài)被稱為“全按壓”狀態(tài)。另外，維持釋放開(kāi)關(guān)半按壓狀態(tài)的狀態(tài)被稱為“SW1保持狀態(tài)”，而維持釋放開(kāi)關(guān)全按壓狀態(tài)的狀態(tài)被稱為“SW2保持狀態(tài)”。另外，當(dāng)釋放開(kāi)關(guān)的按壓量小于發(fā)送SWl信號(hào)的值時(shí)，操作單元301將SWl取消信號(hào)輸出到系統(tǒng)控制單元306，而當(dāng)釋放開(kāi)關(guān)的按壓量小于發(fā)送SW2信號(hào)的值時(shí)，操作單元301將SW2取消信號(hào)輸出到系統(tǒng)控制單元306。
[0029]如上所述，AF單元205基于相差檢測(cè)方法的自動(dòng)焦點(diǎn)檢測(cè)和焦點(diǎn)檢測(cè)結(jié)果將聚焦透鏡213驅(qū)動(dòng)到對(duì)焦位置(自動(dòng)聚焦調(diào)節(jié))。AF單元205由AF控制單元304和聚焦傳感器305構(gòu)成。聚焦傳感器305由分別對(duì)應(yīng)于例如圖3所不的61個(gè)聚焦點(diǎn)的多個(gè)線傳感器構(gòu)成，并且將經(jīng)由副鏡204入射的光轉(zhuǎn)換為電信號(hào)，以及針對(duì)各聚焦點(diǎn)將一對(duì)圖像信號(hào)輸出到AF控制單元304。AF控制單元304基于從聚焦傳感器305輸出的一對(duì)圖像信號(hào)之間的相差來(lái)計(jì)算圖3所示的聚焦點(diǎn)的散焦量，并且選擇一個(gè)要被聚焦的聚焦點(diǎn)。然后，AF控制單元304將具有各聚焦點(diǎn)的散焦量作為數(shù)據(jù)的散焦地圖和所選擇的聚焦點(diǎn)的位置數(shù)據(jù)輸出到系統(tǒng)控制單元306。系統(tǒng)控制單元306基于所選擇的焦點(diǎn)位置和散焦地圖執(zhí)行焦點(diǎn)調(diào)節(jié)計(jì)算，并且控制聚焦透鏡213的位置，從而使聚焦透鏡213在所選擇的聚焦點(diǎn)上聚焦。
[0030]AE單元208執(zhí)行自動(dòng)曝光計(jì)算和被攝體追蹤。AE單元208由AE控制單元302和測(cè)光傳感器303構(gòu)成。AE控制單元302基于從測(cè)光傳感器303讀出的用于測(cè)光的圖像數(shù)據(jù)執(zhí)行自動(dòng)曝光計(jì)算，并將計(jì)算結(jié)果輸出到系統(tǒng)控制單元306?；趶腁E控制單元302輸出的自動(dòng)曝光計(jì)算的結(jié)果，系統(tǒng)控制單元306控制光圈214的孔徑(開(kāi)口尺寸)以調(diào)節(jié)入射在主體201上的光量。
[0031]另外，在SWl保持狀態(tài)以及連續(xù)拍攝期間，AE控制單元302通過(guò)利用測(cè)光傳感器303連續(xù)拍攝而順序地獲得的用于測(cè)光的圖像數(shù)據(jù)順序地檢測(cè)被攝體來(lái)追蹤被攝體，并將檢測(cè)到的被攝體的位置信息輸出到系統(tǒng)控制單元306。稍后將詳細(xì)描述被攝體檢測(cè)處理和被攝體追蹤處理。系統(tǒng)控制單元306將由AE控制單元302輸出的被攝體的位置信息輸出到AF控制單元304。
[0032]AF控制單元304計(jì)算由系統(tǒng)控制單元306輸出的被攝體的位置處或其附近的聚焦點(diǎn)的散焦量，并且將計(jì)算結(jié)果與預(yù)先設(shè)置的閾值比較。如果比較結(jié)果顯示散焦量小于閾值，則AF控制單元304更新要被輸出到系統(tǒng)控制單元306的所選擇的聚焦點(diǎn)的位置數(shù)據(jù)，從而由AF控制單元304基于各聚焦點(diǎn)的散焦量而選擇的聚焦點(diǎn)被更新為被攝體處或其附近的聚焦點(diǎn)。
[0033]當(dāng)從操作單元301輸出SW2信號(hào)時(shí)，系統(tǒng)控制單元306使主鏡203 (以及副鏡204)處于上方位置以繞開(kāi)光路。然后，驅(qū)動(dòng)焦平面快門(mén)210，使圖像傳感器211在與自動(dòng)曝光計(jì)算的結(jié)果相對(duì)應(yīng)的時(shí)間段期間曝光。當(dāng)經(jīng)過(guò)了該曝光時(shí)間時(shí)，系統(tǒng)控制單元306使主鏡203 (以及副鏡204)處于下方位置。
[0034]圖像傳感器211將在曝光時(shí)間內(nèi)經(jīng)由攝像透鏡202入射的光轉(zhuǎn)換為針對(duì)各像素的電信號(hào)以生成圖像數(shù)據(jù)，并將生成的圖像數(shù)據(jù)輸出到系統(tǒng)控制單元306。系統(tǒng)控制單元306對(duì)從圖像傳感器211輸出的圖像數(shù)據(jù)應(yīng)用預(yù)定圖像處理，并且將處理過(guò)的圖像數(shù)據(jù)顯示在顯示器212上或者將其寫(xiě)入圖像存儲(chǔ)單元307。
[0035]下文將描述根據(jù)本實(shí)施例的DSLR的操作。
[0036]圖4A和圖4B是示出AF控制單元304、系統(tǒng)控制單元306以及AE控制單元302的操作規(guī)程的圖，前一半規(guī)程示出了 SWl保持狀態(tài)的操作規(guī)程，后一半規(guī)程示出了 SW2保持狀態(tài)的操作規(guī)程。注意，圖4A和圖4B旨在示出各控制單元的處理過(guò)程和操作時(shí)機(jī)，并且不僅對(duì)于不同的控制單元，即使是對(duì)于相同的控制單元，處理塊的大小(高度)和處理時(shí)間的長(zhǎng)度也不存在任何關(guān)聯(lián)。
[0037]步驟S401示出了釋放按鈕被半按下并且將SWl信號(hào)從操作單元301輸出到系統(tǒng)控制單元306的時(shí)機(jī)。接收到SWl信號(hào)的輸入的系統(tǒng)控制單元306開(kāi)始AF/AE操作，并且將AF開(kāi)始信號(hào)DOl輸出到AF控制單元304，然后AF控制單元304開(kāi)始操作。
[0038]在步驟S403中，AF控制單元304使聚焦傳感器305執(zhí)行累積(accumulat1n)。
[0039]在步驟S404中，AF控制單元304從聚焦傳感器305讀出圖像信號(hào)。
[0040]在步驟S405中,AF控制單元304針對(duì)用戶任意選擇的聚焦點(diǎn)執(zhí)行焦點(diǎn)檢測(cè)計(jì)算，該計(jì)算基于讀出的圖像信號(hào)?？蛇x地，AF控制單元304通過(guò)基于讀出的圖像信號(hào)獲取多個(gè)聚焦點(diǎn)與被攝體之間的距離的數(shù)據(jù)并且選擇獲取最短距離的數(shù)據(jù)的聚焦點(diǎn)來(lái)執(zhí)行焦點(diǎn)檢測(cè)計(jì)算。AF控制單元304將包括散焦地圖和所選擇的聚焦點(diǎn)的位置數(shù)據(jù)的焦點(diǎn)計(jì)算結(jié)果信號(hào)D02輸出到系統(tǒng)控制單元306。
[0041 ] 系統(tǒng)控制單元306根據(jù)焦點(diǎn)計(jì)算結(jié)果信號(hào)D02驅(qū)動(dòng)聚焦透鏡213，從而使聚焦透鏡213在所選擇的聚焦點(diǎn)上聚焦，并且執(zhí)行聚焦調(diào)節(jié)。當(dāng)完成聚焦調(diào)節(jié)時(shí)，系統(tǒng)控制單元306將AF開(kāi)始信號(hào)D03輸出到AF控制單元304，并將AE開(kāi)始信號(hào)D04輸出到AE控制單元302。
[0042]在步驟S406中，一旦接收到AE開(kāi)始信號(hào)D04，AE控制單元302就通過(guò)測(cè)光傳感器303開(kāi)始累積操作(8卩，攝像)。因?yàn)榻邮盏紸F開(kāi)始信號(hào)D03的AF控制單元304也通過(guò)聚焦傳感器305開(kāi)始累積操作，所以通過(guò)聚焦傳感器305和測(cè)光傳感器303的累積操作在同一時(shí)間開(kāi)始。這樣，從聚焦傳感器305和測(cè)光傳感器303獲得在同一時(shí)間拍攝的相同場(chǎng)景的圖像信號(hào)(圖像)。
[0043]在步驟S407中，AE控制單元302從測(cè)光傳感器303讀出用于測(cè)光的圖像數(shù)據(jù)。
[0044]在步驟S408中，AE控制單元302執(zhí)行被攝體追蹤處理。AE控制單元302將預(yù)先執(zhí)行的追蹤模板生成處理(S413)中生成的模板圖像設(shè)置為追蹤對(duì)象圖像，并且執(zhí)行在步驟S407中生成的圖像數(shù)據(jù)和模板圖像之間的模板匹配。然后，AE控制單元302檢測(cè)生成的圖像中的追蹤對(duì)象的位置(被攝體的坐標(biāo))作為被攝體追蹤結(jié)果。
[0045]系統(tǒng)控制單元306中繼由AE控制單元302檢測(cè)到的被攝體追蹤結(jié)果D05，并且將其作為被攝體追蹤結(jié)果D06通知給AF控制單元304。應(yīng)注意，當(dāng)沒(méi)有生成模板圖像時(shí)，省略步驟S408中的被攝體追蹤處理。
[0046]在步驟S409中，AE控制單元302基于在步驟S407中讀出的用于測(cè)光的圖像數(shù)據(jù)來(lái)執(zhí)行曝光計(jì)算，并且將曝光計(jì)算結(jié)果D08輸出到系統(tǒng)控制單元306。
[0047]另一方面，如上所述，接收了與AE開(kāi)始信號(hào)D04同時(shí)由系統(tǒng)控制單元306輸出的AF開(kāi)始信號(hào)D03的AF控制單元304執(zhí)行從步驟S403到S404的過(guò)程以及步驟S410中的焦點(diǎn)檢測(cè)(與步驟S405中相同的過(guò)程)。
[0048]在步驟S411中，AF控制單元304經(jīng)由系統(tǒng)控制單元306接收被攝體追蹤結(jié)果D06，并且確定是要使用最接近的聚焦點(diǎn)還是在步驟S410中選擇的聚焦點(diǎn)。然后，AF控制單元304將包括散焦地圖和所選擇的聚焦點(diǎn)的位置數(shù)據(jù)的焦點(diǎn)計(jì)算結(jié)果信號(hào)D07輸出到系統(tǒng)控制單元306。注意，所選擇的聚焦點(diǎn)位置可以是表示聚焦點(diǎn)的具體位置的數(shù)據(jù)，但在各聚焦點(diǎn)的位置數(shù)據(jù)可單獨(dú)獲得時(shí)，也可以是用來(lái)識(shí)別聚焦點(diǎn)的數(shù)據(jù)(例如聚焦點(diǎn)數(shù)量)。
[0049]系統(tǒng)控制單元306基于焦點(diǎn)計(jì)算結(jié)果信號(hào)D07中包括的所選擇的聚焦點(diǎn)的位置數(shù)據(jù)和散焦地圖來(lái)執(zhí)行聚焦調(diào)節(jié)。另外，系統(tǒng)控制單元306基于焦點(diǎn)計(jì)算結(jié)果信號(hào)D07中包括的所選擇的聚焦點(diǎn)的位置數(shù)據(jù)和之前的所選擇的聚焦點(diǎn)的位置數(shù)據(jù)來(lái)確定所選擇的聚焦點(diǎn)是否被改變。如果所選擇的聚焦點(diǎn)被改變(重選)，則系統(tǒng)控制單元306將聚焦點(diǎn)重選標(biāo)記設(shè)置為“真”，而如果所選擇的聚焦點(diǎn)沒(méi)有被改變(重選)，則系統(tǒng)控制單元306將聚焦點(diǎn)重選標(biāo)記設(shè)置為“假”。系統(tǒng)控制單元306將焦點(diǎn)計(jì)算結(jié)果信號(hào)D07中包括的所選擇的聚焦點(diǎn)的位置數(shù)據(jù)以及聚焦點(diǎn)重選標(biāo)記作為數(shù)據(jù)DlO通知給AE控制單元302。
[0050]在步驟S413中，AE控制單元302基于數(shù)據(jù)DlO生成追蹤模板。稍后將描述該處理的詳情。這里生成的追蹤模板用于之后的幀中的被攝體追蹤處理。
[0051]一旦在步驟S501中開(kāi)始輸出SW2信號(hào)，則在AE控制單元302在重復(fù)處理中的步驟S409中執(zhí)行曝光計(jì)算(以及根據(jù)需要，步驟S413中追蹤模板的生成)之后，系統(tǒng)控制單元306開(kāi)始主攝像處理。注意，也可以在曝光計(jì)算完成時(shí)開(kāi)始主攝像處理，并且在背景處理中執(zhí)行追蹤模板的生成。
[0052]在主攝像處理中，在步驟S502中，系統(tǒng)控制單元306使主鏡203 (以及副鏡204)處于上方位置以繞開(kāi)光路，并且開(kāi)始AF/AE操作。另外，基于緊接之前獲得的曝光計(jì)算結(jié)果和所選擇的聚集點(diǎn)的散焦量來(lái)執(zhí)行聚焦透鏡213的驅(qū)動(dòng)以及光圈214和焦平面快門(mén)210的控制，并且在步驟S503中執(zhí)行主攝像。此后，在步驟S504中，系統(tǒng)控制單元306使主鏡203 (以及副鏡204)位于下方位置。
[0053]另外，一旦開(kāi)始輸出SW2信號(hào)，系統(tǒng)控制單元306就將釋放開(kāi)始信號(hào)Dl I輸出到AF控制單元304，并將釋放開(kāi)始信號(hào)D12輸出到AE控制單元302。接收了釋放開(kāi)始信號(hào)Dll和D12的AF控制單元304和AE控制單元302停止當(dāng)時(shí)正在執(zhí)行的處理。然后，如果當(dāng)鏡向下操作S504完成時(shí)輸出SW2信號(hào)，則系統(tǒng)控制單元306將AF開(kāi)始信號(hào)D03輸出到AF控制單元304，并將AE開(kāi)始信號(hào)D04輸出到AE控制單元302。然后，開(kāi)始連續(xù)拍攝的第二幀的主拍攝處理。從以后的第二幀開(kāi)始，處理從步驟S403和S406開(kāi)始。如果在第二幀中的處理中在步驟S411中改變了聚焦點(diǎn)，則在步驟S503中執(zhí)行主攝像，然后通過(guò)AE控制單元302執(zhí)行用于下一幀的新的追蹤模板的生成(S413)。
[0054]下文將參照?qǐng)D5A和圖5B的流程圖描述步驟S408中的被攝體追蹤處理和步驟S413中的模板圖像生成處理。
[0055]首先，將參照?qǐng)D5A示出的流程圖描述步驟S413中的模板圖像生成處理。
[0056]在步驟SlOl中，AE控制單元302基于數(shù)據(jù)DlO根據(jù)步驟S407中生成的用于測(cè)光的圖像數(shù)據(jù)來(lái)確定要被提取為模板的區(qū)域。如果聚焦點(diǎn)重選標(biāo)記為“真”，則基于緊接之前執(zhí)行的步驟S408中的被攝體追蹤處理的檢測(cè)結(jié)果選擇了聚焦點(diǎn)。因此，AE控制單元302將具有預(yù)定尺寸和形狀并且位于被攝體追蹤處理中獲得的位置的中心的區(qū)域設(shè)置為模板區(qū)域(預(yù)定區(qū)域)。另一方面，如果聚焦點(diǎn)重選標(biāo)記為“假”，則AE控制單元302將具有預(yù)定尺寸和形狀并且位于數(shù)據(jù)DlO中包括的所選擇的聚焦點(diǎn)的位置的中心的區(qū)域設(shè)置為模板區(qū)域(預(yù)定區(qū)域)。
[0057]如果在聚焦點(diǎn)的選擇中未采用被攝體追蹤處理的結(jié)果，則意味著用于追蹤的模板圖像不合適，因此執(zhí)行這種分支處理。
[0058]在步驟S102中，AE控制單元302計(jì)算模板區(qū)域(預(yù)定區(qū)域)中的像素的顏色分布，并檢測(cè)追蹤對(duì)象的特征色。例如，能夠以下面的方式執(zhí)行特征色的檢測(cè)。首先，針對(duì)R信號(hào)、G信號(hào)以及B信號(hào)的強(qiáng)度將RGB顏色空間分為O至7的八個(gè)等級(jí)。這樣，RGB顏色空間被劃分為512個(gè)塊(8X8X8)(坐標(biāo))。然后，將模板區(qū)域的各像素的顏色信號(hào)轉(zhuǎn)換為RGB顏色數(shù)據(jù)，并基于R信號(hào)、G信號(hào)以及B信號(hào)的強(qiáng)度將該數(shù)據(jù)歸類(lèi)為RGB顏色空間的相應(yīng)的塊(坐標(biāo))。針對(duì)模板區(qū)域中的所有像素執(zhí)行該過(guò)程，并且在512個(gè)塊中與歸類(lèi)了最多像素的塊相對(duì)應(yīng)的顏色(RGB)被設(shè)置為追蹤對(duì)象的特征色。
[0059]注意，如果存在歸類(lèi)了最多像素的多個(gè)塊，則對(duì)應(yīng)于這些多個(gè)塊的顏色被設(shè)置為追蹤對(duì)象的特征色。另外，也能夠利用歸類(lèi)了預(yù)定數(shù)量像素或更多像素的一個(gè)或多個(gè)塊或者歸類(lèi)了較高排名數(shù)量的像素的預(yù)定數(shù)量的塊取代歸類(lèi)了最多像素的塊，來(lái)設(shè)置追蹤對(duì)象的特征色。另外，當(dāng)歸類(lèi)為歸類(lèi)了最多像素的塊的像素?cái)?shù)量為預(yù)定的閾值或更大時(shí)，或者當(dāng)歸類(lèi)為歸類(lèi)了最多像素的塊的像素?cái)?shù)量與歸類(lèi)為歸類(lèi)了第二多的像素的塊的像素?cái)?shù)量之間的差為預(yù)定閾值或更大時(shí)，也能夠?qū)H對(duì)應(yīng)于歸類(lèi)了最多像素的塊的顏色設(shè)置為特征色。
[0060]在步驟S107中，AE控制單元302從測(cè)光圖像中切出模板區(qū)域，并生成模板區(qū)域圖像。
[0061]在步驟S108中，AE控制單元302生成三維查詢表，該查詢表將特定的顏色轉(zhuǎn)換為高亮度顏色，并將其他顏色轉(zhuǎn)換為低亮度顏色。具體地，生成查詢表，該查詢表將追蹤對(duì)象的特征色轉(zhuǎn)換為高亮度顏色，將其他顏色轉(zhuǎn)換為低亮度顏色，并且對(duì)于用于以疊加在光學(xué)取景器圖像上的方式顯示信息顏色，即使該顏色包括在追蹤對(duì)象的特征色中，也將其轉(zhuǎn)換為低亮度顏色。在最簡(jiǎn)單的情況下，查詢表可以是將圖像轉(zhuǎn)換為低亮度為0(黑)并且高亮度為1(白)的二值圖像的表。
[0062]圖6B是示意性示出了查詢表中登記的圖6A所示的RGB顏色空間示出的特征色塊和排除塊的示例的圖。這樣，以RGB塊為單位登記要被轉(zhuǎn)換為高亮度顏色的顏色。圖6B示出了如下示例:步驟S102中確定的追蹤對(duì)象的特征色對(duì)應(yīng)于(分布在)多個(gè)塊(R，G，B)=(2,6,0)到(4，7，2)。
[0063]另外，排除塊501被示為取景器顯示設(shè)備220為紅LED，排除塊501的坐標(biāo)為(R，G，B) = (6,0,0)到(7，1，1)的示例。沒(méi)有登記對(duì)應(yīng)于排除塊501的特征色塊，因此，在應(yīng)用查詢表之后，轉(zhuǎn)換排除塊501以具有低亮度。
[0064]如果預(yù)先確定了用于取景器顯示設(shè)備220以疊加方式顯示信息的顏色，則能夠準(zhǔn)備用于指定對(duì)應(yīng)于該顏色的直方圖空間中的塊(排除塊)的數(shù)據(jù)(例如，塊的RGB坐標(biāo))。然后，當(dāng)根據(jù)追蹤對(duì)象的特征色在步驟S108中主動(dòng)生成查詢表時(shí)，AE控制單元302能夠參照這些排除塊的數(shù)據(jù)，從而防止在查詢表中登記的與排除塊的顏色相同的特征色的塊。
[0065]另外，在步驟S108中生成查詢表之前，AE控制單元302可以根據(jù)需要執(zhí)行用于檢測(cè)用來(lái)在取景器顯示設(shè)備220上顯示的顏色的處理(S110)。盡管在圖5A中的步驟S107和S108之間指示了該處理，但可以在其他時(shí)機(jī)(例如步驟SlOl之前)執(zhí)行該處理。另外，AE控制單元302從排除塊的數(shù)據(jù)中刪除對(duì)應(yīng)于當(dāng)時(shí)未用于顯示的顏色的塊的數(shù)據(jù)，然后生成查詢表。這樣，能夠登記與查詢表中實(shí)際上未使用的信息顯示色相同的特征色，從而提高了被攝體追蹤的精度。
[0066]注意，步驟SllO中的處理可以是顯示的信息的類(lèi)型的檢測(cè)，而不是顯示色的檢測(cè)。在這種情況下，可以基于預(yù)定的信息和顯示的顏色之間的對(duì)應(yīng)關(guān)系執(zhí)行顯示色的檢測(cè)。另外，如果取代檢測(cè)顯示色，排除塊的數(shù)據(jù)具有信息類(lèi)型和用于指定排除塊的數(shù)據(jù)是相互關(guān)聯(lián)的格式，則能夠從顯示的信息的類(lèi)型的檢測(cè)結(jié)果中刪除排除塊的相應(yīng)數(shù)據(jù)。注意，如果根據(jù)值以不同顏色顯示相同類(lèi)型的信息，則將多個(gè)排除塊與一種類(lèi)型的顯示信息相關(guān)聯(lián)即可。
[0067]另外，AE控制單元302也能夠檢測(cè)顯示信息的預(yù)定位置與在步驟SlOl中設(shè)置的模板區(qū)域的位置之間的差(例如，位置中心之間的距離或者位置間的最短距離)(在步驟Slll中)，并且考慮到該差而生成查詢表。例如，如果確定模板區(qū)域的位置與顯示信息的位置之間的差是預(yù)定值或更大的值，并且彼此分開(kāi)至足以可區(qū)分的程度，則不需要從排除塊中刪除該信息的顯示色。特別地，當(dāng)追蹤對(duì)象的特征色的范圍較小，并且特征色塊屬于排除塊時(shí)，被轉(zhuǎn)換為高亮度顏色的追蹤對(duì)象的特征色的量可能降低，并且追蹤的精度可能劣化。然而，當(dāng)模板區(qū)域和顯示位置彼此分離時(shí)，盡管顏色相似，但信息顯示被誤識(shí)別為追蹤對(duì)象的可能性較低，因此能夠通過(guò)從排除塊中刪除顯示色來(lái)提高追蹤精度。
[0068]另一方面，如果確定模板區(qū)域的位置和顯示信息的位置之間的差小于預(yù)定值，并且其相互接近或者相互重疊，則AE控制單元302可以將其通知給系統(tǒng)控制單元306，系統(tǒng)控制單元306可以暫時(shí)停止顯示。注意，當(dāng)存在多個(gè)顯示位置時(shí)，可以對(duì)這些顯示位置中的各個(gè)執(zhí)行這種控制。
[0069]另外，因?yàn)樾畔@示色是單色，并且本來(lái)對(duì)應(yīng)于RGB顏色空間的一對(duì)坐標(biāo)，所以原則上僅排除該顯示色即可。然而，從由測(cè)光傳感器303拍攝的用于測(cè)光的圖像數(shù)據(jù)中檢測(cè)到的信息顯示色不必與設(shè)置的顯示色相同。因此，在本實(shí)施例中，為了不僅排除顯示色本身，還排除相似的顏色，使用排除塊。然而，如果能夠排除顯示色，則排除塊的大小可以小于特征色塊的大小。換句話說(shuō)，與顯示色相似的顏色的范圍可以被設(shè)置為小于特征色的范圍的單位。
[0070]注意，可以執(zhí)行步驟SllO和Slll 二者，并且在這種情況下，AE控制單元302能夠生成僅考慮到實(shí)際顯示的信息中與顯示位置接近模板區(qū)域的塊相對(duì)應(yīng)的排除塊的查詢表。
[0071]在步驟S109中，AE控制單元302對(duì)模板區(qū)域圖像的各像素應(yīng)用在步驟S108中生成的查詢表，并且生成用作最終模板圖像的亮度圖像，在該亮度圖像中，具有特征色的像素被轉(zhuǎn)換以具有高亮度，而具有其他顏色的像素被轉(zhuǎn)換以具有低亮度。
[0072]在步驟S408中的被攝體追蹤處理中，利用該模板圖像執(zhí)行模板匹配。這樣，能夠利用強(qiáng)調(diào)追蹤對(duì)象的特征色的亮度圖像執(zhí)行模板匹配，所以與僅利用顏色圖像的模板匹配相比，能夠降低計(jì)算負(fù)載。
[0073]下文將參照?qǐng)D5B所示的流程圖描述步驟S408中的被攝體追蹤處理(被攝體檢測(cè)處理)。
[0074]在步驟S121中，AE控制單元302對(duì)步驟S407中從測(cè)光傳感器303獲得的測(cè)光圖像的各像素應(yīng)用在步驟S108中生成的查詢表。即，生成了顏色轉(zhuǎn)換圖像(亮度圖像)，其中具有在對(duì)由測(cè)光傳感器303拍攝的運(yùn)動(dòng)圖像之前的最后一幀執(zhí)行的模板生成處理(S413)中提取的特征色的像素被轉(zhuǎn)換以具有高亮度，而具有其他顏色的像素被轉(zhuǎn)換以具有低亮度。由于上述查詢表的特征，具有與取景器顯示設(shè)備220的顯示色(或顯示色與類(lèi)似色)相對(duì)應(yīng)的顏色的像素原則上被轉(zhuǎn)換以具有低亮度。
[0075]在步驟S122，AE控制單元302通過(guò)利用對(duì)上一幀執(zhí)行的模板生成處理(S413)中生成的模板圖像執(zhí)行模板匹配來(lái)檢測(cè)與模板圖像具有最高關(guān)聯(lián)度的顏色轉(zhuǎn)換圖像的區(qū)域作為檢測(cè)對(duì)象。
[0076]因?yàn)槔脠?zhí)行了顏色轉(zhuǎn)換的圖像的模板匹配能夠利用亮度圖像進(jìn)行處理，而不丟失追蹤對(duì)象的特征色的數(shù)據(jù)，所以與僅利用顏色圖像的模板匹配相比，能夠降低計(jì)算負(fù)載。
[0077]AE控制單元302將檢測(cè)到的追蹤對(duì)象的位置添加到被攝體追蹤結(jié)果D05，并將其輸出到系統(tǒng)控制單元306。系統(tǒng)控制單元306將追蹤對(duì)象的位置作為被攝體追蹤結(jié)果D06輸出到AF控制單元304。
[0078]在步驟S411中的聚焦點(diǎn)重選處理中，AF控制單元304搜索包括與被攝體追蹤結(jié)果D06 —起通知的追蹤對(duì)象的位置的聚焦點(diǎn)，或其附近的聚焦點(diǎn)(預(yù)定范圍內(nèi))。如果存在相應(yīng)的聚焦點(diǎn)，則將執(zhí)行用于將該聚焦點(diǎn)設(shè)置為新選擇的聚焦點(diǎn)的重選處理。
[0079]如上所述，根據(jù)本實(shí)施例，例如，當(dāng)利用在光學(xué)取景器圖像上疊加了由顯示設(shè)備顯示的信息的圖像作為例如用于測(cè)光的圖像執(zhí)行處理時(shí)，可以避免利用圖像中包括的具有與以疊加方式顯示的顏色相同或相似的顏色的像素的數(shù)據(jù)。這樣，能夠降低以疊加方式顯示的信息對(duì)圖像處理的影響，并且提高利用例如用于測(cè)光的圖像的被攝體檢測(cè)處理或者被攝體追蹤處理的精度。
[0080]其他實(shí)施例
[0081]盡管描述了本發(fā)明的示例性實(shí)施例，但是本發(fā)明不限于這些實(shí)施例，可以在本發(fā)明的精神的范圍內(nèi)進(jìn)行各種變型和改變。
[0082]例如，針對(duì)被攝體位置的識(shí)別方法，不僅可以使用利用模板匹配的被攝體追蹤方法，還可以使用利用顏色數(shù)據(jù)的被攝體追蹤方法。此外，可以使用利用光流法的動(dòng)態(tài)分析或者通過(guò)邊緣檢測(cè)的場(chǎng)景識(shí)別技術(shù)。
[0083]另外，可以通過(guò)讀出并執(zhí)行記錄在存儲(chǔ)介質(zhì)(例如，非臨時(shí)性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì))上的計(jì)算機(jī)可執(zhí)行指令以執(zhí)行本發(fā)明的上述實(shí)施例中的一個(gè)或更多實(shí)施例的功能的系統(tǒng)或裝置的計(jì)算機(jī)，來(lái)實(shí)現(xiàn)本發(fā)明的各實(shí)施例，并且可以利用由通過(guò)例如讀出并執(zhí)行來(lái)自存儲(chǔ)介質(zhì)的計(jì)算機(jī)可執(zhí)行指令以執(zhí)行上述實(shí)施例中的一個(gè)或更多實(shí)施例的功能的系統(tǒng)或裝置的計(jì)算機(jī)來(lái)執(zhí)行的方法，來(lái)實(shí)現(xiàn)本發(fā)明的各實(shí)施例。計(jì)算機(jī)可以包括中央處理單元(CPU)、微處理單元(MPU)或其他電路中的一個(gè)或更多個(gè)，并且可以包括獨(dú)立的計(jì)算機(jī)或獨(dú)立的計(jì)算機(jī)處理器的網(wǎng)絡(luò)。計(jì)算機(jī)可執(zhí)行指令可以例如從網(wǎng)絡(luò)或存儲(chǔ)介質(zhì)被提供給計(jì)算機(jī)。存儲(chǔ)介質(zhì)可以包括例如硬盤(pán)、隨機(jī)存取存儲(chǔ)器(RAM)、只讀存儲(chǔ)器(ROM)、分布式計(jì)算系統(tǒng)的存儲(chǔ)器、光盤(pán)(諸如壓縮光盤(pán)(CD)、數(shù)字通用光盤(pán)(DVD)或藍(lán)光光盤(pán)(BD) TM)、閃存設(shè)備、存儲(chǔ)卡等中的一個(gè)或更多個(gè)。
[0084]雖然參照示例性實(shí)施例對(duì)本發(fā)明進(jìn)行了描述，但是應(yīng)當(dāng)理解，本發(fā)明不局限于所公開(kāi)的示例性實(shí)施例。應(yīng)當(dāng)對(duì)所附權(quán)利要求的范圍給予最寬的解釋?zhuān)允顾龇秶w所有的此類(lèi)變型以及等同結(jié)構(gòu)和功能。
【權(quán)利要求】
1.一種攝像裝置，所述攝像裝置包括: 獲取單元，其用于獲取疊加有由顯示設(shè)備顯示的信息的第一圖像；以及 處理單元，其用于利用第二圖像執(zhí)行預(yù)定圖像處理，所述第二圖像從所述第一圖像中包括的像素中排除了具有所述信息的顯示色的像素的數(shù)據(jù)。
2.根據(jù)權(quán)利要求1所述的攝像裝置，其中，所述預(yù)定圖像處理是利用所述第二圖像的預(yù)定區(qū)域中包括的像素的特征色的被攝體檢測(cè)處理或被攝體追蹤處理。
3.根據(jù)權(quán)利要求2所述的攝像裝置，所述攝像裝置還包括: 轉(zhuǎn)換單元，其用于將所述第一圖像轉(zhuǎn)換為二值圖像，在所述二值圖像中，以不同的值來(lái)顯示具有所述特征色當(dāng)中的、與所述顯示色不同的顏色的像素以及具有其他顏色的像素， 其中，所述處理單元利用所述二值圖像作為所述第二圖像來(lái)執(zhí)行所述被攝體檢測(cè)處理或所述被攝體追蹤處理。
4.根據(jù)權(quán)利要求2所述的攝像裝置，其中，在顏色空間被劃分為多個(gè)塊并且所述預(yù)定區(qū)域中包括的各像素基于其顏色被分配給所述多個(gè)塊中的一個(gè)的情況下，所述特征色是與所述多個(gè)塊中、分配了最多數(shù)量的像素的塊相對(duì)應(yīng)的顏色。
5.根據(jù)權(quán)利要求4所述的攝像裝置，其中，所述處理單元利用排除了具有與所述多個(gè)塊中的、包括所述顯示色的塊相對(duì)應(yīng)的顏色的像素的數(shù)據(jù)的圖像作為所述第二圖像，來(lái)執(zhí)行所述預(yù)定圖像處理。
6.根據(jù)權(quán)利要求2至5中任一項(xiàng)所述的攝像裝置， 其中，在所述預(yù)定區(qū)域的位置與所述第一圖像中疊加所述信息的位置之差是預(yù)定值以上的情況下，所述處理單元利用未排除具有所述信息的顯示色的像素的數(shù)據(jù)的圖像執(zhí)行所述預(yù)定圖像處理。
7.根據(jù)權(quán)利要求1所述的攝像裝置，其中，所述獲取單元利用測(cè)光傳感器獲取所述第一圖像。
8.根據(jù)權(quán)利要求1所述的攝像裝置，其中，所述處理單元利用排除以下像素的數(shù)據(jù)的圖像作為所述第二圖像，來(lái)執(zhí)行所述預(yù)定圖像處理，所述像素具有所述顯示設(shè)備能夠使用的顯示色當(dāng)中的、實(shí)際用于顯示所述信息的顯示色。
9.一種攝像裝置的控制方法，所述控制方法包括以下步驟: 獲取疊加有由顯示設(shè)備顯示的信息的第一圖像；以及 利用第二圖像執(zhí)行預(yù)定圖像處理，所述第二圖像從所述第一圖像中包括的像素中排除具有所述信息的顯示色的像素的數(shù)據(jù)。
【文檔編號(hào)】H04N9/04GK104427248SQ201410424075
【公開(kāi)日】2015年3月18日 申請(qǐng)日期:2014年8月25日 優(yōu)先權(quán)日:2013年8月28日
【發(fā)明者】長(zhǎng)谷川玲治 申請(qǐng)人:佳能株式會(huì)社