快門機構。通過這個光學系統(tǒng)11，來自被攝體的光被收集在成像器12中。
[0103]成像器12例如具有CCD (電荷耦合設備)類型或CMOS (互補金屬氧化物半導體)類型的圖像傳感器。
[0104]成像器12例如對通過圖像傳感器中的光電轉換獲得的電信號執(zhí)行CDS (相關雙采樣)處理、AGC(自動增益控制)處理等，并且還執(zhí)行A-D(模擬-數(shù)字)轉換處理。然后，成像器12將作為數(shù)字數(shù)據(jù)的成像信號輸出到后段的數(shù)字信號處理單元20。
[0105]光學系統(tǒng)驅動單元13驅動光學系統(tǒng)11的對焦透鏡，并且在控制單元30的控制下執(zhí)行對焦操作。此外，光學系統(tǒng)驅動單元13驅動光學系統(tǒng)11的快門機構，并且在控制單元30的控制下執(zhí)行曝光調整。而且，光學系統(tǒng)驅動單元13驅動光學系統(tǒng)11的變焦透鏡，并且在控制單元30的控制下執(zhí)行變焦操作。
[0106]數(shù)字信號處理單元20例如通過DSP等被配置為圖像處理器。數(shù)字信號處理單元20對來自成像器12的數(shù)字信號(捕獲圖像信號)執(zhí)行各種類型的信號處理。
[0107]例如，數(shù)字信號處理單元20包括:預處理單元21、同步單元22、YC產生單元23、分辨率轉換單元24、編解碼器單元25以及候選檢測單元27。
[0108]預處理單元21關于來自成像器12的捕獲圖像信號執(zhí)行將R、G和B的黑電平鉗制到預定電平的鉗制處理，或者執(zhí)行在R、G和B的顏色通道之間的校正處理。
[0109]同步單元22執(zhí)行去馬賽克處理，使得針對每個像素的圖像數(shù)據(jù)具有所有R、G和B的顏色分量。
[0110]YC產生單元23從R、G和B的圖像數(shù)據(jù)生成(分離)亮度⑴信號和顏色(C)信號。
[0111]分辨率轉換單元24對圖像數(shù)據(jù)執(zhí)行分辨率轉換處理，其中已經對該圖像數(shù)據(jù)執(zhí)行了各種類型的信號處理。
[0112]編解碼器單元25例如關于圖像數(shù)據(jù)執(zhí)行用于記錄或通信的編碼處理，其中已經對該圖像數(shù)據(jù)執(zhí)行了分辨率轉換。
[0113]候選檢測單元27以幀為單位(或者以每間歇幀)對通過例如YC產生單元23獲得的捕獲圖像信號(亮度信號和顏色信號)執(zhí)行圖像分析處理，然后提取候選圖像。換句話說，對在時間軸上連續(xù)輸入的圖像數(shù)據(jù)執(zhí)行面部圖像檢測、人身體檢測等，然后提取充當主要被攝體的候選的圖像。
[0114]應當指出，可以利用在關于捕獲圖像數(shù)據(jù)執(zhí)行的圖像分析中的模式匹配等技術來執(zhí)行面部檢測、人身體檢測等，但是，只要替換用于模式匹配中的詞典，則原則上也可以實現(xiàn)其它檢測器。例如，可以提取用于(某一品種的)狗檢測、貓檢測等的主要被攝體的候選圖像。
[0115]此外，例如，也可以考慮利用基于幀差的移動身體檢測技術來檢測移動身體和將移動身體設定為候選圖像，并且可以使用提取被稱為顯著性(saliency)的感興趣區(qū)域的技術。
[0116]考慮提取和選擇候選圖像的各種技術。
[0117]例如，候選檢測單元27檢測面部圖像，并且該面部圖像所存在的區(qū)域被提取為候選圖像框。
[0118]關于提取的候選圖像，候選圖像框的位置信息(畫面上的X和y坐標值、被攝體距離的信息等)或者尺寸信息(例如，候選圖像框的寬度、高度和像素個數(shù)等)作為候選圖像信息被傳送到控制單元30。應當指出，這里，由于候選圖像信息是指示充當候選圖像的圖像區(qū)域的框的信息，因此術語“候選圖像信息”也被稱為“候選圖像框信息”。
[0119]此外，候選檢測單元27可以對圖像執(zhí)行平滑處理、異常值(outlier)去除處理等，以生成候選圖像框信息。
[0120]候選檢測單元27在數(shù)字信號處理單元20中實現(xiàn)的功能配置是在圖3的例子中設定的，但這是一個例子，并且控制單元30可以執(zhí)行候選檢測單元27的處理。
[0121]控制單元30由具有CPU、R0M(只讀存儲器)、RAM(隨機存取存儲器)、閃速存儲器等的微型計算機(運算處理設備)配置。
[0122]通過執(zhí)行存儲在R0M、閃速存儲器等中的程序，CPU綜合控制整個成像裝置10。
[0123]在CPU執(zhí)行各種數(shù)據(jù)處理時充當工作區(qū)的RAM用于暫時存儲數(shù)據(jù)、程序等。
[0124]ROM和閃速存儲器(非易失性存儲器)用于存儲由CPU控制每個單元所需的OS (操作系統(tǒng))、諸如圖像文件的內容文件、用于各種操作的應用程序、固件等。例如，用于執(zhí)行隨后將在本例中描述的主要被攝體確定處理的程序，以及使用主要被攝體確定結果的另外的應用程序等存儲在ROM和閃速存儲器中。
[0125]上述控制單元30控制必要單元的操作，該操作與如下操作有關:數(shù)字信號處理單元20中各種信號處理的指令，根據(jù)用戶操控的成像操作和記錄操作，記錄圖像文件的再現(xiàn)操作，諸如變焦、對焦和曝光調整的照相機操作，用戶界面操作等。
[0126]在該實施例的情況下，控制單元30具有主要被攝體確定單元30a和距離變化計算單元30b的功能，并執(zhí)行在以下要描述的第一至第四實施例中所描述的接近確定(或遠離確定)和主要被攝體確定處理。
[0127]在圖3中的配置的情況下，距離變化計算單元30b計算在候選檢測單元27中設定的候選圖像的圖像尺寸，以每個單位時間計算圖像尺寸的變化，并根據(jù)計算結果確定接近或遠離趨勢。
[0128]主要被攝體確定單元30a基于距離變化計算單元30b的確定結果來執(zhí)行設定候選圖像中的主要被攝體的處理。
[0129]用戶接口 33執(zhí)行向用戶的顯示輸出和音頻輸出，并接收用戶操控的輸入。為此，用戶接口具有顯示設備、操控設備、揚聲器設備、麥克風設備等。在本文中，示出了顯示單元34和操控單元35。
[0130]顯示單元34是為用戶(拍攝者等)執(zhí)行各種類型顯示的顯示單元，并且例如是利用形成在成像裝置10的殼體上的、諸如LCD (液晶顯示器)或有機EL(電致發(fā)光)顯示器的顯示設備而形成的。此外，可以以所謂的取景器形式利用LCD或有機EL顯示器來形成顯示單元。
[0131]該顯示單元34包括顯示設備和允許顯示設備執(zhí)行顯示的顯示驅動器。顯示驅動器基于控制單元30的指令允許在顯示設備上執(zhí)行各種類型的顯示。例如，顯示驅動器再現(xiàn)并顯示被捕獲并記錄在記錄介質中的靜止圖像或動態(tài)圖像，或者在顯示設備的畫面上顯示基于每幀的捕獲圖像數(shù)據(jù)的作為動態(tài)圖像的直通圖像(被攝體監(jiān)視圖像)，其中每幀的捕獲圖像數(shù)據(jù)是在釋放(快門操控)待機期間被捕獲的。此外，顯示驅動器允許各種操控菜單、圖標、消息等，即GUI(圖形用戶界面)在畫面上顯示。在本實施例的情況下，例如，還執(zhí)行在直通圖像或再現(xiàn)圖像上幫助用戶明確從主要被攝體確定而獲得的確定結果的顯示。
[0132]操控單元35具有接收用戶操控的輸入功能，并將與該輸入操控對應的信號發(fā)送到控制單元30。
[0133]操控單元35例如是通過在成像裝置10的殼體上設置的各種操控器、在顯示單元34上形成的觸摸面板等實現(xiàn)的。
[0134]作為殼體上的操控器，設置再現(xiàn)菜單開始按鈕、決定按鈕、箭頭鍵、取消按鈕、變焦鍵、滑動鍵、快門按鈕(釋放按鈕)等。
[0135]此外，通過利用在觸摸面板和顯示單元34上顯示的圖標和菜單的觸摸面板操控，可以進行各種操控。
[0136]用戶接口 33的顯示單元34等的操作是由UI控制器32根據(jù)控制單元30的指令來控制的。此外，操控單元35的操控信息通過Π控制器32發(fā)送到控制單元30。
[0137]記錄單元15包括例如非易失性存儲器，并且充當用于存儲諸如靜止圖像數(shù)據(jù)或動態(tài)圖像數(shù)據(jù)的圖像文件(內容文件)、圖像文件的屬性信息、縮略圖像等的存儲區(qū)域。
[0138]圖像文件以例如JPEG(聯(lián)合圖片專家組)、TIFF(標記圖像文件格式)、GIF(圖形交換格式)等形式存儲。
[0139]可以以各種方式考慮記錄單元15的實際形式。例如，記錄單元15可以是嵌入在成像裝置10中的閃速存儲器，或者可以具有基于可附連到成像裝置10并且可從成像裝置10拆卸的存儲卡(例如，便攜式閃速存儲器)以及對該存儲卡執(zhí)行記錄和再現(xiàn)訪問的卡記錄和再現(xiàn)單元的形式。此外，記錄單元可以以嵌入在成像裝置10中的HDD(硬盤驅動器)等形式實現(xiàn)。
[0140]此外，在本例中，用于執(zhí)行將隨后描述的接近確定(或遠離確定)和主要被攝體確定處理的程序可以存儲在記錄單元15中。
[0141]通信單元16以有線或無線方式執(zhí)行與外部設備的數(shù)據(jù)通信或網絡通信。
[0142]例如，通信單元與外部顯示裝置、記錄裝置、再現(xiàn)裝置等執(zhí)行捕獲圖像數(shù)據(jù)(靜止圖像文件或動態(tài)圖像文件)的通信。
[0143]此外，作為網絡通信單元，通信單元可以通過各種網絡(例如因特網、家庭網絡或LAN(局域網))執(zhí)行通信，或者利用網絡上的服務器、終端等執(zhí)行各種類型的數(shù)據(jù)發(fā)送和接收。
[0144]傳感器單元14綜合代表各種傳感器。例如，設置了用于檢測諸如照相機抖動、成像裝置10的姿勢和移動(平搖移動、俯仰移動等)的成像裝置10的整體運動的陀螺儀傳感器(角速度傳感器)、加速度傳感器等。
[0145]此外，可以設置檢測用于曝光調整等的外部亮度的亮度傳感器和測量被攝體距離的距離測量傳感器。
[0146]此外，存在檢測光學系統(tǒng)11中的變焦透鏡的位置的變焦透鏡位置傳感器和檢測對焦透鏡的位置的對焦透鏡位置傳感器被設置為傳感器單元14的情況。
[0147]此外，存在檢測機械光圈(光圈機構)的打開量的傳感器被設置為傳感器單元14的情況。
[0148]傳感器單元14的各種傳感器各自都將檢測的信息發(fā)送到控制單元30?？刂茊卧?0可以利用由傳感器單元14檢測的信息來執(zhí)行各種控制。
[0149]在成像裝置10中，圖1中描述的圖像處理設備I的配置部分如下。
[0150]圖1中圖像處理設備I中的與主要被攝體確定單元2對應的配置通過軟件實現(xiàn)為在成像裝置10的控制單元30中的主要被攝體確定單元30a。與被攝體距離變化確定單元3對應的配置通過軟件實現(xiàn)為成像裝置10的候選檢測單元27和控制單元30中的距離變化計算單元30b。
[0151]通過執(zhí)行基于權利要求書中描述的程序的處理，控制單元30控制作為在權利要求書中描述的圖像處理方法的操作的執(zhí)行。
[0152]<3.主要被攝體確定的機會和目的等>
[0153]在本實施例中，主要被攝體確定處理是如在隨后要描述的第一至第四實施例中所描述的那樣執(zhí)行的，并且將描述在成像裝置10中執(zhí)行主要被攝體確定的機會、目的等。
[0154]首先，將描述利用主要被攝體確定結果的例子。
[0155]主要被攝體確定是當例如用戶(拍攝者)瞄準快門定時(釋放定時)時執(zhí)行的，但是控制單元30可以在自動確定主要被攝體之后執(zhí)行以下處理。
[0156]?跟蹤處理
[0157]跟蹤在每個捕獲的幀中設定的主要被攝體。例如，主要被攝體在直通圖像顯示上被指明給用戶，并且被提供用于進行由用戶執(zhí)行的調整視角(例如，用于在照相機被握持在手中的狀態(tài)下決定被攝體)。
[0158]應當指出，作為主要被攝體的呈現(xiàn)，考慮由顯示單元34進行的直通圖像顯示上的主要被攝體的框的尚殼顯不。此外，尚殼顯不等可以在確定之后緊接著執(zhí)彳丁給定的時段，或者可以只要主要被攝體存在于直通圖像中就執(zhí)行。
[0159]?對焦
[0160]針對主要被攝體控制自動對焦。此外，根據(jù)跟蹤處理，即使當主要被攝體來回移動時也調整焦距，從而跟蹤主要被攝體。
[0161].曝光調整
[0162]基于主要被攝體的明亮程度(亮度)來執(zhí)行自動曝光調整。
[0163].指向性調整
[0164]當連同捕獲(例如，動態(tài)圖像捕獲)一起利用麥克風執(zhí)行聲音收集時，根據(jù)視場內主要被攝體的方向來執(zhí)行指向性調整。
[0165]?變焦控制
[0166]關于主要被攝體控制自動變焦。例如，自動驅動變焦透鏡，使得主要被攝體在所有時候都以預定尺寸或更大地投影在捕獲圖像中。連同跟蹤處理一起，視角可以被設定為利用根據(jù)到主要被攝體的距離的變化的變焦來調整。
[0167].記錄開始控制
[0168]主要被攝體確定可以被設定為觸發(fā)動態(tài)圖像捕獲的開始。例如，根據(jù)主要被攝體的決定開始動態(tài)圖像捕獲和記錄。
[0169]此外，主要被攝體還可以用于關于捕獲圖像信號執(zhí)行的各種信號處理。
[0170].圖像效果處理
[0171]僅對每個捕獲的幀中的主要被攝體的區(qū)域執(zhí)行包括圖像質量調整、噪聲減小、膚色調整等的圖像處理。
[0172]作為替代，也考慮在除主要被攝體的區(qū)域之外的其它區(qū)域中添加圖像效果，例如，馬賽克處理、噴繪處理、涂刷(paint-out)處理等。
[0173].圖像編輯處理
[0174]對捕獲圖像或記錄圖像執(zhí)行諸如框定、裁剪等編輯處理。
[0175]例如，可以對在包括主要被攝體的幀中的部分區(qū)域執(zhí)行裁剪、放大等處理。
[0176]此外，可以執(zhí)行捕獲圖像數(shù)據(jù)的圖像外圍部分的剪切等，使得主要被攝體位于圖像的中心，并且可以執(zhí)行構圖調整。
[0177]這些僅僅是例子，并且除了這些例子之外，還考慮包括在成像裝置中的應用程序或自動調整功能使用設定的主要被攝體的各種處理。
[0178]接下來，也以各種方式考慮應當在什么時間點執(zhí)行主要被攝體確定處理。
[0179]例如，每當成像裝置10被開啟以執(zhí)行成像時(顯示單元34顯示直通圖像的期間)都可以執(zhí)行主要被攝體確定處理。
[0180]此外，當確定了主要被攝體而然后執(zhí)行跟蹤處理時，可以在跟蹤丟失時再次執(zhí)行主要被攝體確定處理。
[0181]此外，可以設定通過用戶操控而開始主要被攝體確定處理。
[0182]此外，該處理可以在每當用戶選擇確定執(zhí)行模式或每當跟蹤丟失時執(zhí)行。
[0183]此外，還可以考慮自動激活主要被攝體確定處理，而不管用戶操控。
[0184]以下效果是通過執(zhí)行主要被攝體確定處理實現(xiàn)的。
[0185]如前所述，當拍攝者握持成像裝置10而瞄準被攝體時，自然難以執(zhí)行指定主要被攝體的操控。
[0186]特別地，當如在平搖和俯仰中那樣成像方向沿固定的方向持續(xù)變化時，或者當成像方向不沿固定的方向變化時，指定主要被攝體的操控是困難的。
[0187]此外，多次指定主要被攝體的動作是麻煩的。
[0188]如果主要被攝體確定被設定為自動執(zhí)行，則這些麻煩被克服，并且獲得對用戶減小壓力的效果。
[0189]此外，一般用戶使用的由用戶攜帶并使用的成像裝置10(諸如數(shù)碼靜止照相機、包括在移動電話中的照相機等)具有小尺寸的顯示單元34，因此用戶難以在畫面上執(zhí)行指定主要被攝體的精確操控。通過執(zhí)行如本實施例中描述的自動確定來解決錯誤指定的問題。
[0190]此外，如果成像裝置10被設定為自動執(zhí)行主要被攝體確定，則用戶在他或她握持成像裝置10以瞄準被攝體或者改變成像方向以跟蹤被攝體的情形下執(zhí)行主要被攝體確定，因此獲得用戶從裝置感覺到的裝置智能感增強和附加值增強的效果。
[0191]此外，由于用戶可以以能夠僅通過自然地握持裝置就使主角成像的感覺來使用成像裝置10，因此成像機會和關聯(lián)的使用情況(use case)可以增加，從而可以向用戶提供用戶友好的照相機。
[0192]基于以上各點，作為手持式照相機，本實施例的自動執(zhí)行主要被攝體確定的成像裝置10是特別優(yōu)選的。
[0193]<4.成像裝置的第一實施例>
[0194]在第一實施例中，將描述具有上述圖3的配置的成像裝置中的主要被攝體確定處理。這個實施例是利用圖2B中描述的尺寸確定方案的構思來執(zhí)行主要被攝體確定的例子。假設第一實施例是將接近的被攝體確定為主要被攝體的例子。
[0195]圖4A示意性地示出由候選檢測單元27執(zhí)行的候選圖像框提取操作。
[0196]圖4A示出通過成像裝置10的光學系統(tǒng)11和成像器12的操作而輸入到數(shù)字信號處理單元20的捕獲圖像信號的幀F(xiàn)R1、FR2、FR3、…。候選檢測單元27從如上順序輸入的連續(xù)幀(或間歇幀)執(zhí)行候選圖像的檢測。
[0197]例如，如圖中所示出的，當三個人存在于幀F(xiàn)Rl中時，提取面部圖像部分的部分作為候選圖像，并輸出候選圖像框E1、E2和E3的候選圖像框信息。例如，候選圖像框El的候選圖像框信息例如是候選圖像框El的圖像中的位置信息Ouy位置信息)以及候選圖像框的寬度w和高度h。X、y位置信息例如是以圖像的左上角為原點(0，0)的坐標值。寬度w和高度h可以是例如像素個數(shù)。候選檢測單元27生成候選圖像框E2和E3的這種候選圖像框信息，然后向控制單元30發(fā)送或者從控制單元30接收候選圖像框信息。
[0198]以相同的方式，候選檢測單元27提取接下來的幀F(xiàn)R2、FR3、…的候選圖像，針對圖像的候選圖像框的每個生成候選圖像框信息，然后將信息傳送到控制單元30。
[0199]每當取得用于每一幀的候選圖像框信息時，控制單元30計算框面積(hXw)作為每個候選圖像框的尺寸，并進一步檢測與前一幀的這個候選圖像的尺寸之差，作為框面積的變化量。然后，通過觀察時間軸上該差值的變化，控制單元30確定每個候選圖像是否具有接近趨勢。
[0200]例如，圖4B示出當被認為是候選圖像框El的被攝體人沿成像裝置10的方向接近時捕獲圖像的例子。在某個幀F(xiàn)Rx中，候選圖像框El的框面積相對小。但是，在經過某時間之后的時間點的幀F(xiàn)Ry中，候選圖像框El的框面積增加。被攝體是否正在接近是通過觀察候選圖像框的尺寸變化來確定的。
[02