在圖7中,對(duì)與圖3中相同的部分給予相同的參考標(biāo)號(hào),并且將省略其描述。
[0271]圖7中所示的成像裝置與圖3中成像裝置的區(qū)別在于在數(shù)字信號(hào)處理單元20中設(shè)置屬性識(shí)別單元28。
[0272]例如,屬性識(shí)別單元28通過由候選檢測(cè)單元27進(jìn)行的圖像分析來識(shí)別被檢測(cè)為候選圖像的被攝體的屬性,然后向控制單元30發(fā)送或者從控制單元30接收屬性信息。屬性信息例如是指示被檢測(cè)為候選圖像的被攝體是成人還是孩子的信息或者指示被攝體是男性還是女性的信息。例如,屬性識(shí)別單元28辨別面部圖像的特征點(diǎn)并確定性別或年齡。
[0273]例如,屬性識(shí)別單元28可以在功能上被配置為由數(shù)字信號(hào)處理單元20執(zhí)行。也可以考慮將屬性識(shí)別單元28實(shí)現(xiàn)為控制單元30中的處理功能的例子。
[0274]圖8示出控制單元30 (主要被攝體確定單元30a和距離變化計(jì)算單元30b)的處理例。對(duì)與上述圖6相同的處理給予相同的步驟編號(hào),并且將省略重復(fù)的描述。與圖6的區(qū)別是步驟FlOlA和F112A的處理。
[0275]例如,控制單元30在每一幀的定時(shí)執(zhí)行步驟FlOl至F116的處理。在步驟FlOlA中,控制單元30從候選檢測(cè)單元27取得某個(gè)幀的候選圖像框信息。例如,關(guān)于每個(gè)候選圖像框E (η),作為位置信息,獲取包括圖像數(shù)據(jù)的二維(x-y)坐標(biāo)值的X值和y值的信息作為位置信息,以及候選圖像框的寬度w和高度h??刂茊卧?0還從屬性識(shí)別單元28獲取每個(gè)候選圖像框E (η)的屬性信息AT (η)。屬性信息例如是用于區(qū)分成人與孩子或者用于區(qū)分男性與女性的識(shí)別信息。具體而言,當(dāng)存在候選圖像框Ε1、Ε2和Ε3時(shí),獲取各條屬性信息ΑΤ1、ΑΤ2和ΑΤ3。例如,屬性信息ATl是關(guān)于“孩子且女性”的信息,屬性信息ΑΤ2是關(guān)于“成人且男性”的信息,而屬性信息ΑΤ3是關(guān)于“成人且女性”的信息。
[0276]在步驟?102至?111中,如圖6中那樣對(duì)每個(gè)候選圖像框E (η)執(zhí)行確定接近趨勢(shì)的處理。
[0277]在圖8的情況下,在步驟F112中,假設(shè)用于確定被攝體具有接近趨勢(shì)的時(shí)間閾值是與屬性信息對(duì)應(yīng)的時(shí)間閾值Tht (ATn)。時(shí)間閾值Tht (ATn)表示充當(dāng)時(shí)間閾值的值根據(jù)屬性信息而切換。
[0278]例如,在“孩子且女性”和“孩子且男性”的情況下時(shí)間閾值Tht設(shè)定為相對(duì)小的值,在“成人且女性”的情況下設(shè)定為相對(duì)大的值,而在“成人且男性”的情況下設(shè)定為更大的值。
[0279]控制單元30可以在內(nèi)部存儲(chǔ)單元中將根據(jù)屬性信息的閾值存儲(chǔ)為表格數(shù)據(jù),或者可以通過在程序上設(shè)定數(shù)值來決定根據(jù)屬性信息的閾值。作為關(guān)于固定閾值Tht的系數(shù)值,系數(shù)值可以對(duì)每個(gè)屬性設(shè)定??刂茊卧?0可以根據(jù)步驟F112A中的屬性信息來獲得閾值 Tht (ATn) O
[0280]在步驟F112A中,對(duì)于每個(gè)候選圖像框E(n),將計(jì)數(shù)值CNT(n)與時(shí)間閾值Tht(ATn)進(jìn)行比較,從而因此確定是否具有接近趨勢(shì)。然后,在步驟F114中將具有接近趨勢(shì)的候選圖像確定為主要被攝體。
[0281]根據(jù)圖8的處理例,確定候選圖像為主要被攝體的容易性根據(jù)屬性信息而不同。例如,當(dāng)在如上所述的孩子的情況下時(shí)間閾值Tht(ATn)是小值時(shí),容易確定孩子為主要被攝體。當(dāng)時(shí)間閾值Tht(ATn)在女性的情況下比在男性的情況下更小時(shí),容易確定女性為主要被攝體。
[0282]因此,可以根據(jù)被攝體的屬性來調(diào)整確定候選圖像為主要被攝體的容易性或者確定候選圖像為主要被攝體的困難性。因此,容易確定用戶期望的候選圖像為主要被攝體。例如,對(duì)于主要對(duì)孩子成像的用戶,通過上述時(shí)間閾值,主要被攝體確定的精確性提高并且確定時(shí)間縮短。
[0283]特別地,用戶可以根據(jù)各種使用情況來設(shè)定優(yōu)先次序。例如,當(dāng)對(duì)孩子成像時(shí),執(zhí)行設(shè)定使得孩子優(yōu)先。當(dāng)對(duì)男性成像時(shí),執(zhí)行設(shè)定使得男性優(yōu)先。因此,當(dāng)用戶可以根據(jù)屬性來選擇時(shí)間閾值時(shí),根據(jù)用戶的成像目的來快速并且高度精確地實(shí)現(xiàn)主要被攝體確定。
[0284]還可以考慮各種屬性信息。例如,可以使用通過比成人和孩子的屬性信息更詳細(xì)地從圖像估計(jì)年齡并識(shí)別年齡組(孩子/年輕人/中年人/老年人)而獲得的屬性信息。
[0285]還可以考慮如下例子:引入人臉識(shí)別方案,確定用戶的孩子、家人和熟人,在這種情況下時(shí)間閾值降低,而這種候選圖像容易確定為主要被攝體。例如,預(yù)先登記用戶的孩子、家人等的面部,并且預(yù)先獲取特征數(shù)據(jù)。當(dāng)屬性識(shí)別單元28檢測(cè)到符合特征數(shù)據(jù)的面部時(shí),生成作為關(guān)于近親的信息的屬性信息,并且控制單元30將這種情況下的時(shí)間閾值Tht (ATn)設(shè)定為小值。
[0286]屬性信息不限于人,而可以生成諸如狗或貓的動(dòng)物或者一類動(dòng)物的屬性信息,并且時(shí)間閾值可以變化。
[0287]在第二實(shí)施例的處理中,可以考慮與第一實(shí)施例的修改例相同的修改例。
[0288]〈6.成像裝置的第三實(shí)施例>
[0289]將根據(jù)第三實(shí)施例來描述主要被攝體確定處理。如在第一實(shí)施例中那樣,該實(shí)施例是利用圖2B中描述的尺寸確定方案的構(gòu)思來將遠(yuǎn)離的被攝體確定為主要被攝體的例子。
[0290]如在上述圖5A、5B和5C中那樣,圖9A、9B和9C示出當(dāng)假設(shè)候選圖像框El、E2和E3在某個(gè)時(shí)段期間持續(xù)存在于幀(FR1、FR2、…)中時(shí),利用計(jì)算的框面積的變化、面積變化量和距離確定閾值Thd的確定結(jié)果。
[0291]在圖9A所示的情況下,當(dāng)候選圖像框El被對(duì)焦時(shí),框面積逐漸減小。這里,不像圖5B中描述的面積變化量的定義,即“(面積變化量)=(當(dāng)前幀的框面積)一(前一幀的框面積)”,圖9B中的面積變化量定義為(面積變化量)=(前一幀的框面積)一(當(dāng)前幀的框面積)。于是,當(dāng)框面積減小時(shí),面積變化量的值是大值。例如,根據(jù)圖9A中的框面積變化來在圖9B中示出面積變化量。當(dāng)將面積變化量與距離確定閾值Thd比較并且執(zhí)行確定時(shí),候選圖像框E1、E2和E3在圖9C中示出。
[0292]在這個(gè)例子的情況下,候選圖像框El中的確定結(jié)果持續(xù)為“I”。
[0293]在候選圖像框E2中,在面積變化量為高值的時(shí)段期間,確定結(jié)果為“ I ”。
[0294]在候選圖像框E3中,E3確定結(jié)果持續(xù)為“0”,因?yàn)槊娣e變化量通常為低值。
[0295]如在第一實(shí)施例中那樣,當(dāng)對(duì)確定結(jié)果為“I”的持續(xù)時(shí)段、累計(jì)時(shí)段等的時(shí)段長度進(jìn)行計(jì)數(shù)時(shí),可以確定平均地或累計(jì)地或者持續(xù)地遠(yuǎn)離的被攝體,即具有遠(yuǎn)離趨勢(shì)的被攝體。在圖9的情況下,候選圖像框El被確定為具有遠(yuǎn)離趨勢(shì)的被攝體,因?yàn)楸粩z體在一段時(shí)間平均地、累計(jì)地或持續(xù)地遠(yuǎn)離。
[0296]圖10示出控制單元30 (主要被攝體確定單元30a和距離變化計(jì)算單元30b)的遠(yuǎn)離確定和主要被攝體確定處理的處理例。對(duì)與上述圖6相同的處理給予相同的步驟編號(hào)并且將省略重復(fù)的描述。與圖6的區(qū)別是步驟F103B的處理。
[0297]例如,控制單元30在每一幀的定時(shí)執(zhí)行步驟FlOl至F116的處理。在這個(gè)時(shí)候,在步驟F103B中,控制單元30如下定義每個(gè)候選圖像框E (η)的面積變化量Diff (η):
[0298]面積變化量Diff (n) = Area (n) pre — Area (n)。
[0299]Area (n) pre是候選圖像框E (η)的前一幀的框面積Area (η)。例如,當(dāng)一幀前的圖像是目標(biāo)時(shí)在步驟F102中獲得的框面積Area (η)在當(dāng)前幀的處理時(shí)間點(diǎn)被認(rèn)為是aArea (n) pre
[0300]步驟F104至Fl 16的后續(xù)處理如在圖6中那樣執(zhí)行。
[0301]當(dāng)如上所述在步驟F103B中計(jì)算面積變化量Diff (η)并且框面積比前一幀的框面積小(=被攝體正在遠(yuǎn)離)時(shí),面積變化量的值增加。
[0302]因此,當(dāng)在步驟F105至F107中比較面積變化量Diff (η)與距離確定閾值Thd并設(shè)定確定標(biāo)記Flg(n)、并且在步驟F108至Flll中執(zhí)行用于計(jì)數(shù)值Cnt (η)的處理時(shí),在被攝體平均地或累計(jì)地遠(yuǎn)離的候選圖像框E (η)中,計(jì)數(shù)值Cnt(n)在步驟F112中在某個(gè)時(shí)間點(diǎn)達(dá)到時(shí)間閾值Tht。在這種情況下,假設(shè)候選圖像框E(η)的被攝體具有遠(yuǎn)離趨勢(shì)并且在步驟F114中被選為主要被攝體。
[0303]在圖10的遠(yuǎn)離確定和主要被攝體確定處理中,在提取的候選圖像中在多個(gè)幀中確定遠(yuǎn)離趨勢(shì)。然后,基于遠(yuǎn)離趨勢(shì)的確定結(jié)果來確定主要被攝體。
[0304]例如,握持照相機(jī)的拍攝者在許多情況下瞄準(zhǔn)遠(yuǎn)離的被攝體。當(dāng)拍攝者期望拍攝以高速移動(dòng)的被攝體(諸如火車、飛機(jī)或賽車運(yùn)動(dòng)中的被攝體),或者期望拍攝野鳥、動(dòng)物等通常沿遠(yuǎn)離人的方向移動(dòng)的被攝體時(shí),遠(yuǎn)離的被攝體被自動(dòng)設(shè)定為主要被攝體,使得處理對(duì)拍攝者是適當(dāng)?shù)?,由此顯著改進(jìn)在成像時(shí)的可操作性。
[0305]例如,當(dāng)通過主要被攝體確定對(duì)主要被攝體自動(dòng)執(zhí)行對(duì)焦控制或曝光控制時(shí),即使不習(xí)慣成像操控的用戶也能以高質(zhì)量捕獲靜止圖像或移動(dòng)圖像。
[0306]其它各種具體的處理例可以被認(rèn)為是遠(yuǎn)離確定和主要被攝體確定處理。例如,在圖6的接近確定時(shí)已經(jīng)進(jìn)行了描述。但是,當(dāng)即使在圖10的情況下也在步驟FllO中設(shè)定β = O時(shí),在檢測(cè)到被攝體累計(jì)地遠(yuǎn)離的情形的情況下,確定被攝體具有遠(yuǎn)離趨勢(shì)。當(dāng)在步驟FllO中設(shè)定β = -1時(shí),在檢測(cè)到被攝體平均地遠(yuǎn)離的情形的情況下,確定被攝體具有遠(yuǎn)離趨勢(shì)。當(dāng)在步驟F108中考慮確定標(biāo)記Flg(n) = O并且計(jì)數(shù)值CNT (η)復(fù)位成零時(shí),只有持續(xù)遠(yuǎn)離的被攝體被確定為具有遠(yuǎn)離趨勢(shì)。
[0307]根據(jù)將持續(xù)遠(yuǎn)離的被攝體確定為具有遠(yuǎn)離趨勢(shì)的主要被攝體并將該被攝體設(shè)定為主要被攝體,這種確定和設(shè)定對(duì)于謹(jǐn)慎地執(zhí)行主要被攝體確定是適當(dāng)?shù)?。特別地,諸如遠(yuǎn)離的火車、飛機(jī)、野鳥或動(dòng)物的被攝體在許多情況下持續(xù)地遠(yuǎn)離。當(dāng)預(yù)期對(duì)這種目標(biāo)成像時(shí),主要被攝體確定的精確性通過持續(xù)確定而提尚。
[0308]另一方面,當(dāng)預(yù)期對(duì)沒有觀察到持續(xù)移動(dòng)的被攝體成像時(shí)以及當(dāng)期望在短時(shí)間內(nèi)執(zhí)行主要被攝體的確定或者期望盡可能容易地以各種方式設(shè)定主要被攝體時(shí),平均地或者累計(jì)地遠(yuǎn)離的被攝體被適當(dāng)?shù)卮_定為具有遠(yuǎn)離趨勢(shì)。
[0309]在上述累計(jì)確定、平均確定和持續(xù)確定的情況下,與時(shí)間閾值Tht對(duì)應(yīng)的具體確定值不同是適當(dāng)?shù)摹?br>[0310]例如,當(dāng)在預(yù)定時(shí)間條件下在持續(xù)、累計(jì)或平均的意義上檢測(cè)到遠(yuǎn)離時(shí),確定被攝體具有遠(yuǎn)離的趨勢(shì),但是確定的權(quán)重可以臨時(shí)變化。具體而言,代入在步驟F109中設(shè)定的偏移值OFS (η)的值α逐步增加或相反地逐步減小。
[0311]另外,也可以考慮如下處理例:設(shè)定給定確定時(shí)段,并在該確定時(shí)段內(nèi),將計(jì)數(shù)值CNT(η)最大的候選圖像框E(η)或者計(jì)數(shù)值CNT(η)等于或大于預(yù)定值的一個(gè)或多個(gè)候選圖像框Ε(η)設(shè)定為步驟F114的目標(biāo),以確定該候選圖像框?yàn)橹饕粩z體。
[0312]可以考慮將另一個(gè)條件作為AND條件添加到遠(yuǎn)離趨勢(shì)的確定,以便確定被攝體為主要被攝體。例如,以下事實(shí)也可以添加到條件:被攝體距離等于或大于預(yù)定距離的事實(shí)、被攝體圖像具有等于或小于預(yù)定尺寸的尺寸的事實(shí)、圖像類型特定的事實(shí)、或者具有遠(yuǎn)離趨勢(shì)的被攝體圖像的中心在離幀圖像中心點(diǎn)預(yù)定距離(基于X和y坐標(biāo)的距離)內(nèi)的事實(shí)。
[0313]通過添加這種條件,可以增加將拍攝者更想成像的被攝體確定為主要被攝體以及將僅具有遠(yuǎn)離趨勢(shì)的被攝體確定為主要被攝體的可能性。因此,可以使用戶選擇附加條件。
[0314]第二實(shí)施例的構(gòu)思可以甚至應(yīng)用到遠(yuǎn)離趨勢(shì)的確定,并且可以根據(jù)屬性信息使用另一時(shí)間閾值Tht (ATn)。
[0315]<7.成像裝置的第四實(shí)施例>
[0316]將根據(jù)第四實(shí)施例來描述主要被攝體確定處理。該實(shí)施例是利用圖2C中描述的塊確定方案的構(gòu)思來將接近的被攝體確定為主要被攝體的例子。
[0317]在第四實(shí)施例的情況下,成像裝置10的配置在圖11中示出。在圖11中,對(duì)與圖3中的相同部分給予相同的標(biāo)號(hào)并且將省略其描述。
[0318]圖11中的成像裝置10包括距離傳感器17,并具有數(shù)字信號(hào)處理單元20中的距離計(jì)算單元29的功能。
[0319]距離傳感器17檢測(cè)成像方向上的被攝體距離。距離計(jì)算單元29利用由距離傳感器17檢測(cè)的值來針對(duì)從捕獲圖像劃分的劃分區(qū)域(塊)的每一個(gè)計(jì)算被攝體距離。
[0320]諸如相差傳感器方案、飛行時(shí)間(Time of Flight)方案或Kinet方案的已知技術(shù)可以被距離傳感器17和距離計(jì)算單元29用作被攝體距離檢測(cè)技術(shù)。例如,相差傳感器方案是從在位于右側(cè)和左側(cè)的成像器的捕獲圖像中檢測(cè)到相同的目標(biāo)被攝體的像素之間的距離(像素的個(gè)數(shù))來獲得該目標(biāo)被攝體的距離的方案。飛行時(shí)間方案是距離傳感器17發(fā)射和接收紅外光并且將從目標(biāo)被攝體反射發(fā)射的紅外光并接收反射的光所花的時(shí)間除以紅外光的速度以獲得距離的方案。
[0321]圖12示出針對(duì)每個(gè)塊的距離檢測(cè)操作。
[0322]圖12A示出通過成像裝置10的光學(xué)系統(tǒng)11和成像器12的操作而輸入到數(shù)字信號(hào)處理單元20的捕獲圖像信號(hào)的幀F(xiàn)R1、FR2、FR3、…。與圖像的輸入并行地,距離傳感器17操作以測(cè)量被攝體的距離并且檢測(cè)到的信息被輸入到距離計(jì)算單元29。
[0323]距離計(jì)算單元29針對(duì)幀圖像數(shù)據(jù)FR1、FR2、FR3、…中的每一塊計(jì)算被攝體距離。
[0324]主要被攝體確定單元30a和距離變化計(jì)算單元30b的功能在控制單元30中提供。
[0325]在成像裝置10中,圖1中所述的圖像處理設(shè)備I的配置部分如下。
[0326]與圖1中圖像處理設(shè)備I的主要被攝體確定單元2對(duì)應(yīng)的配置通過軟件實(shí)現(xiàn)為在成像裝置10的控制單元30上的主要被攝體確定單元30a。與被攝體距離變化計(jì)算單元3對(duì)應(yīng)的配置通過硬件或軟件實(shí)現(xiàn)為距離變化計(jì)算單元30b和距離計(jì)算單元29。
[0327]在圖12的例子中,距離計(jì)算單元29在功能上配置為由數(shù)字信號(hào)處理單元20執(zhí)行,但是這僅僅是例子??梢钥紤]通過軟件在控制單元30上實(shí)現(xiàn)距離計(jì)算單元29的功能。
[0328]圖12B示出作為劃分區(qū)域的塊的例子。如由虛線所指示的,一個(gè)圖像數(shù)據(jù)被劃分成多個(gè)塊。如在圖12B的下部所示,為了描述,這些塊被稱為塊BK(BK1,BK2…BK(M))。
[0329]距離計(jì)算單元29針對(duì)每個(gè)塊BK (BK1,BK2…BK (M))獲得被攝體距離。在圖12B的下部,例示了塊BK的被攝體距離(以米為單位的數(shù)值或者無窮大⑴)。例如,塊BK4例示為20m,而塊BK3例示為00。
[0330]例如,距離計(jì)算單元29以這種方式在每一幀中針對(duì)每個(gè)塊BK獲得被攝體距離,然后向控制單元30發(fā)送或者從控制單元30接收每個(gè)塊BK的距離信息。
[0331]圖13A示出關(guān)于每個(gè)塊BK在每個(gè)幀中計(jì)算的被攝體距離的變化。這里,例示了塊BK1、BK2 和 ΒΚ(χ) ο
[0332]在這個(gè)例子中,被拍攝在塊BK(X)中的被攝體的距離逐漸縮短。被拍攝在塊BKl和BK2中的被攝體的距離略微變化,但平均而言沒有顯著變化。
[0333]相同的被攝體不一定在捕獲圖像數(shù)據(jù)上位于相同的塊。這里,在從確定開始到確定結(jié)束的時(shí)段期間,假設(shè)在塊BK1、BK2和BK(X)處拍攝相同的被攝體(例如,人A、人B和人C)。實(shí)際上,當(dāng)被攝體相對(duì)于成像裝置10沿水平方向移動(dòng)或者拍攝者對(duì)成像裝置10進(jìn)行平搖或俯仰時(shí),印入(imprint)某個(gè)被攝體的塊針對(duì)每個(gè)幀變化。由于考慮這種情形的必要性,在要描述的圖14的處理例中,在步驟F202中對(duì)每個(gè)塊應(yīng)用時(shí)間匹配處理。
[0334]現(xiàn)在,將假設(shè)在每一幀中人A、人B和人C持續(xù)地被拍攝在圖13A的塊BK1、BK2和BK(X)中來繼續(xù)描述。
[0335]圖13B示出每個(gè)塊BK1、BK2和BK(X)的距離變化量的過渡。例如,在每個(gè)時(shí)間點(diǎn)的值示出為關(guān)于每個(gè)塊BK通過從當(dāng)前幀的距離減去前一幀中的距離而獲得的差值。因此,當(dāng)塊BK中存在的被攝體相對(duì)于成像裝置10的相對(duì)距離比在前一時(shí)間點(diǎn)減小更多時(shí),距離變化量是小值(負(fù)值)。當(dāng)相對(duì)距離不變化時(shí),距離變化量為O。當(dāng)相對(duì)距離增加時(shí),距離變化量是大值。
[0336]因此,根據(jù)距離變化量,利用用來確定被攝體是否變得更近的距離確定閾值Thd來獲得每個(gè)塊BK的確定結(jié)果。當(dāng)距離變化量小于距離確定閾值Thd時(shí),確定塊BK的被攝體在那個(gè)時(shí)間點(diǎn)接近了等于或大于預(yù)定距離的距離。
[0337]圖13C示出塊BK1、BK2和BK(X)的確定結(jié)果。當(dāng)距離變化量小于距離確定閾值Thd時(shí),假設(shè)確定結(jié)果為具有“H”水平的標(biāo)記。
[0338]如從圖中理解的,塊BK (X)的確定結(jié)果持續(xù)為“ I ”。對(duì)于塊BK⑵,僅在某個(gè)時(shí)段期間設(shè)定為“1”,從而指示暫時(shí)接近。BKl的確定結(jié)果持續(xù)地設(shè)定為“O”。
[0339]在這個(gè)例子中,將在一段時(shí)間平均地、累計(jì)地或者持續(xù)地接近的被攝體確定為具有接近趨勢(shì)的被攝體。將圖13C的確定結(jié)果為“I”的時(shí)段長的被攝體確定為具有接近趨勢(shì)的被攝體。例如,當(dāng)對(duì)確定結(jié)果為“I”的持續(xù)時(shí)段、累計(jì)時(shí)段等的時(shí)間長度進(jìn)行計(jì)數(shù)時(shí),可以確定接近趨勢(shì)。
[0340]例如,由于塊BK(X)的確定結(jié)果為“I”并且時(shí)段長,因此可以確定塊BK(X)中包含的被攝體在這個(gè)確定時(shí)段期間具有接近趨勢(shì)。
[0341]塊BK2可以被說成是例如包含暫時(shí)接近或遠(yuǎn)離的被攝體的塊。塊BKl是包含保持相對(duì)遠(yuǎn)位置的被攝體的塊。
[0342]從確定開始到確定結(jié)束的時(shí)段根據(jù)具體的處理例而不同。在以下要描述的圖14的處理例中,對(duì)確定結(jié)果為“ I”的時(shí)段長度進(jìn)行計(jì)數(shù),并且當(dāng)該時(shí)段長度