專利名稱：攝像裝置和攝像裝置中的臉區(qū)域決定方法
技術(shù)領(lǐng)域：
本發(fā)明涉及小型數(shù)字照相機(jī)等攝像裝置和攝像裝置中的臉區(qū)域決定方法。
背景技術(shù)：
10 以往，作為根據(jù)所拍攝的輸入圖像來檢測臉的技術(shù)，以下技術(shù)是公知的，S卩使用模板匹配法來檢測臉位置，從檢測出的臉位置中檢測臉 的特征點(diǎn)位置，從而檢測臉的大小、位置及方向。還公知的是，通過進(jìn) 行自動(dòng)焦點(diǎn)控制(AF控制)等使焦點(diǎn)對準(zhǔn)采用這種臉檢測技術(shù)所檢測出 的臉位置的范圍，可提高針對被攝體的臉的對焦精度(例如，參照專利15 文獻(xiàn)l)。專利文獻(xiàn)1日本特開2006—227080號公報(bào)然而，專利文獻(xiàn)1等所示的臉檢測技術(shù)是以眼、鼻、口等臉的特征 點(diǎn)為基礎(chǔ)通過模板匹配來檢測臉的。因此，臉處于正向時(shí)可以，而在臉 面朝橫向或面朝后向的情況下，臉檢測率下降。因此，雖然臉存在于攝 20影圖像中，但只要在臉從正面變?yōu)闄M向或后向的情況下，就無法檢測出 臉，從而具有在臉以外的位置上進(jìn)行對焦的問題。發(fā)明內(nèi)容本發(fā)明是鑒于上述情況而作成的，本發(fā)明的目的是提供一種即使在 25被攝體的臉從正向變?yōu)闄M向、后向的情況下，也能適當(dāng)?shù)乩^續(xù)估計(jì)臉位 置的攝像裝置和攝像裝置中的臉區(qū)域決定方法。為了解決上述課題并實(shí)現(xiàn)目的，本發(fā)明提供一種決定有運(yùn)動(dòng)的被攝體的臉區(qū)域的攝像裝置，其特征是具有攝像部，其接收被攝體光并進(jìn) 行光電轉(zhuǎn)換，以幀為單位獲得圖像數(shù)據(jù)；臉檢測部，其從所述已獲得的圖像數(shù)據(jù)中檢測臉存在的區(qū)域；臉周邊檢測部，其從所述已獲得的圖像 數(shù)據(jù)中檢測所述檢測出的臉區(qū)域的周邊區(qū)域；運(yùn)動(dòng)檢測部，其檢測所述 檢測出的臉區(qū)域和周邊區(qū)域各自在所述圖像幀間的時(shí)間序列運(yùn)動(dòng)；以及 臉位置決定部，其根據(jù)所述臉檢測部的檢測結(jié)果和所述運(yùn)動(dòng)檢測部的檢 5測結(jié)果來決定當(dāng)前的圖像幀的臉區(qū)域。另外，涉及本發(fā)明的攝像裝置的特征是該攝像裝置具有攝像條件設(shè) 定部，其根據(jù)所述決定的臉區(qū)域的圖像數(shù)據(jù)來設(shè)定攝像條件。此外，涉及本發(fā)明的攝像裝置的特征是所述臉周邊檢測部檢測被預(yù) 測為與所述檢測出的臉區(qū)域的運(yùn)動(dòng)等效地運(yùn)動(dòng)的軀體區(qū)域作為所述周邊 io 區(qū)域。并且，涉及本發(fā)明的攝像裝置的特征是所述臉周邊檢測部檢測被設(shè) 定為與所述檢測出的臉區(qū)域的運(yùn)動(dòng)等效地運(yùn)動(dòng)的周邊區(qū)域作為所述周邊區(qū)域。另外，涉及本發(fā)明的攝像裝置的其特征是由所述臉周邊檢測部進(jìn)行15檢測的所述周邊區(qū)域是根據(jù)攝像畫面內(nèi)的所述臉區(qū)域的位置或所述臉區(qū) 域的大小來設(shè)定的。此外，涉及本發(fā)明的攝像裝置的特征是所述運(yùn)動(dòng)檢測部將所述臉區(qū) 域和所述周邊區(qū)域的各個(gè)區(qū)域分別分割為多個(gè)區(qū)域，并檢測基于該分割 后的各區(qū)域中有位置變化的多個(gè)分割區(qū)域的變化的位置變化量，作為時(shí)20 間序列運(yùn)動(dòng)。并且，涉及本發(fā)明的攝像裝置的特征是在當(dāng)前的圖像幀中由所述臉 檢測部檢測出臉區(qū)域的情況下，所述臉位置決定部根據(jù)該臉檢測部的檢 測結(jié)果來決定當(dāng)前的圖像幀中的臉區(qū)域，在當(dāng)前的圖像幀中所述臉檢測 部未檢測出臉區(qū)域、且由所述運(yùn)動(dòng)檢測部檢測出圖像幀間的臉區(qū)域和周 25邊區(qū)域的運(yùn)動(dòng)的情況下，所述臉位置決定部至少根據(jù)該運(yùn)動(dòng)檢測部對臉 區(qū)域運(yùn)動(dòng)的檢測結(jié)果，將當(dāng)前的圖像幀中的臉區(qū)域決定為臉位置。另外，涉及本發(fā)明的攝像裝置的特征是該攝像裝置具有可靠性判定 部，其判定所述運(yùn)動(dòng)檢測部對臉區(qū)域運(yùn)動(dòng)的檢測結(jié)果和周邊區(qū)域運(yùn)動(dòng)的 檢測結(jié)果之間的相對運(yùn)動(dòng)的可靠性，在判定為相對運(yùn)動(dòng)的可靠性不在規(guī)
定水平以上的情況下，重新設(shè)定當(dāng)前的圖像幀中的周邊區(qū)域。還有，涉及本發(fā)明的攝像裝置的特征是在當(dāng)前的圖像幀中由所述臉 檢測部檢測出臉區(qū)域的情況下，所述臉位置決定部根據(jù)該臉檢測部的檢 測結(jié)果來決定當(dāng)前的圖像幀中的臉區(qū)域，在當(dāng)前的圖像幀中所述臉檢測 5部未檢測出臉區(qū)域、且所述運(yùn)動(dòng)檢測部未檢測出圖像幀間的臉區(qū)域的運(yùn) 動(dòng)、且由該運(yùn)動(dòng)檢測部檢測出圖像幀間的周邊區(qū)域的運(yùn)動(dòng)的情況下，所 述臉位置決定部根據(jù)該運(yùn)動(dòng)檢測部對周邊區(qū)域運(yùn)動(dòng)的檢測結(jié)果來估計(jì)當(dāng) 前的圖像幀中的臉區(qū)域，并將其決定為臉位置。此外，本發(fā)明提供一種決定所拍攝的有運(yùn)動(dòng)的被攝體臉區(qū)域的臉區(qū)10域決定方法，其特征是該臉區(qū)域決定方法具有攝像步驟，其通過攝像 部接收被攝體光，并進(jìn)行光電轉(zhuǎn)換，以幀為單位獲得圖像數(shù)據(jù)；臉檢測 步驟，其從所述已獲得的圖像數(shù)據(jù)中檢測臉存在的區(qū)域；臉周邊檢測步 驟，其從所述已獲得的圖像數(shù)據(jù)中檢測所述檢測出的臉區(qū)域的周邊區(qū)域; 運(yùn)動(dòng)檢測步驟，其檢測所述檢測出的臉區(qū)域和周邊區(qū)域各自在所述圖像15幀間的時(shí)間序列運(yùn)動(dòng)；以及臉位置決定步驟，其根據(jù)所述臉檢測步驟的檢測結(jié)果和所述運(yùn)動(dòng)檢測步驟的檢測結(jié)果來決定當(dāng)前的圖像幀的臉區(qū)域。本發(fā)明的攝像裝置和攝像裝置中的臉區(qū)域決定方法從由攝像部所獲 得的圖像數(shù)據(jù)中檢測臉區(qū)域，并且檢測已檢測出的臉區(qū)域的周邊區(qū)域，20檢測己檢測出的臉區(qū)域和周邊區(qū)域各自在幀間的時(shí)間序列運(yùn)動(dòng)，根據(jù)臉檢測部或臉檢測步驟的檢測結(jié)果、和運(yùn)動(dòng)檢測部或運(yùn)動(dòng)檢測步驟的檢測結(jié)果來決定當(dāng)前幀中的臉區(qū)域。由此取得這樣的效果，即通過使用臉 區(qū)域自身的運(yùn)動(dòng)檢測及臉區(qū)域的周邊區(qū)域的運(yùn)動(dòng)檢測的結(jié)果，可適當(dāng)?shù)?繼續(xù)估計(jì)臉區(qū)域的位置。2

圖1是示出本發(fā)明實(shí)施方式1的攝像裝置的電裝系統(tǒng)結(jié)構(gòu)例的概略框圖。圖2是示出攝影時(shí)的圖1中的主要部分的動(dòng)作例的概略時(shí)序圖。
圖3 — 1是示出N幀的幀圖像例的說明圖。 圖3—2是示出(N+l)幀的幀圖像例的說明圖。 圖3—3是示出(N+2)幀的幀圖像例的說明圖。 圖3—4是示出(N+3)幀的幀圖像例的說明圖。 5 圖4是示出伴隨電子照相機(jī)的電源接通/斷開的基本動(dòng)作控制例的概略流程圖。圖5是示出實(shí)施方式1中的臉檢測處理例的概略流程圖。 圖6是示出軀體區(qū)域預(yù)測處理例的概略流程圖。 圖7_1是示出軀體區(qū)域預(yù)測處理的幀圖像例的說明圖。 io 圖7—2是示出軀體區(qū)域預(yù)測處理的另一幀圖像例的說明圖。圖7—3是示出軀體區(qū)域預(yù)測處理的又一幀圖像例的說明圖。 圖8—1是示出臉區(qū)域和軀體區(qū)域各自的宏塊的分割例的示意圖。 圖8—2是示出臉區(qū)域和軀體區(qū)域各自的宏塊的另一分割例的示意圖。15 圖9是示出臉區(qū)域圖形匹配處理例的概略流程圖。圖IO是示出軀體區(qū)域圖形匹配處理例的概略流程圖。圖11是示出相對軀體區(qū)域矢量可靠性判定處理例的概略流程圖。圖12是示出本發(fā)明實(shí)施方式2的攝像裝置的電裝系統(tǒng)結(jié)構(gòu)例的概略框圖。20 圖13 — 1是示出N幀的幀圖像例的說明圖。圖13—2是示出(N+l)幀的幀圖像例的說明圖。 圖13—3是示出(N+2)幀的幀圖像例的說明圖。 圖14是示出實(shí)施方式2中的臉檢測處理例的概略流程圖。 圖15是示出周邊區(qū)域預(yù)測設(shè)定處理例的概略流程圖。25 圖16_1是示出周邊區(qū)域預(yù)測設(shè)定的幀圖像例的說明圖。圖16—2是示出周邊區(qū)域預(yù)測設(shè)定的另一幀圖像例的說明圖。 圖16—3是示出周邊區(qū)域預(yù)測設(shè)定的又一幀圖像例的說明圖。 圖16—4是示出周邊區(qū)域預(yù)測設(shè)定的其他幀圖像例的說明圖。 圖17_1是示出臉區(qū)域和周邊區(qū)域各自的宏塊的分割例的示意圖。
圖17_2是示出臉區(qū)域和周邊區(qū)域各自的宏塊的另一分割例的示意圖。圖18是示出周邊區(qū)域圖形匹配處理例的概略流程圖。 圖19是示出相對周邊區(qū)域矢量可靠性判定處理例的概略流程圖。 5 標(biāo)號說明12:攝像元件；15:運(yùn)動(dòng)檢測部；18:臉檢測部；19:軀體區(qū)域預(yù) 測部；27:系統(tǒng)控制器；32:周邊區(qū)域設(shè)定部。
具體實(shí)施方式
10 以下，參照

用于實(shí)施本發(fā)明的優(yōu)選方式的攝像裝置和攝像裝置中的臉區(qū)域決定方法。本發(fā)明不限于各實(shí)施方式，只要是在不脫離 本發(fā)明主旨的范圍內(nèi)，就能進(jìn)行各種變形。 (實(shí)施方式1)圖1是示出本發(fā)明實(shí)施方式1的攝像裝置的電裝系統(tǒng)結(jié)構(gòu)例的概略 15框圖。本實(shí)施方式1的攝像裝置1是小型數(shù)字照相機(jī)等電子照相機(jī)，如 圖1所示，具有攝像光學(xué)系統(tǒng)11、攝像元件12、 AFE (Analog Front End: 模擬前端)、幀存儲器14、運(yùn)動(dòng)檢測部15、 RAM 16、圖像處理部17、臉 檢測部18、軀體區(qū)域預(yù)測部19、記錄介質(zhì)接口20、記錄介質(zhì)保持部21、 記錄介質(zhì)22、視頻編碼器23、視頻信號輸出端子23a、 LCD驅(qū)動(dòng)器24、 20 LCD 25、 ROM 26以及系統(tǒng)控制器27等。攝像光學(xué)系統(tǒng)11包含攝影鏡頭等，并將入射的被攝體像成像在攝像 元件12上。作為攝像部的攝像元件12由CCD、 CMOS傳感器等固體攝 像元件構(gòu)成，通過攝像光學(xué)系統(tǒng)ll接收來自被攝體的光束，經(jīng)由進(jìn)行光 電轉(zhuǎn)換來獲得幀單位的圖像數(shù)據(jù)。AFE 13讀出從攝像元件12獲得的圖 25 像數(shù)據(jù)(模擬電信號)，實(shí)施AGC (Automatic Gain Control:自動(dòng)增益控 制)處理和A/D轉(zhuǎn)換處理等，并輸出基于數(shù)字?jǐn)?shù)據(jù)的圖像數(shù)據(jù)。由AFE 13 進(jìn)行了數(shù)字化的圖像數(shù)據(jù)被輸入到幀存儲器14、運(yùn)動(dòng)檢測部15以及RAM 16的各部。圖像處理部17讀出暫時(shí)存儲在RAM 16內(nèi)的圖像數(shù)據(jù)，實(shí)施色校正、 失真校正等各種圖像處理，并且轉(zhuǎn)換成適合于記錄用、顯示用和臉檢測用的圖像數(shù)據(jù)，將其分別輸出到記錄介質(zhì)接口 20、視頻編碼器23以及臉 檢測部18。記錄介質(zhì)接口 20將適合于記錄用的圖像數(shù)據(jù)記錄在存儲卡等 記錄介質(zhì)22內(nèi)，該記錄介質(zhì)22可利用記錄介質(zhì)保持部21來自由拆裝地5保持。視頻編碼器23將適合于顯示用的圖像數(shù)據(jù)送出至LCD驅(qū)動(dòng)器24， 從而作為瀏覽圖像顯示在設(shè)置于攝像裝置1的背面?zhèn)鹊腖CD 25上。視頻 編碼器23根據(jù)需要，將顯示用的圖像數(shù)據(jù)輸出到與視頻信號輸出端子23a 連接的外部設(shè)備。臉檢測部18由模板匹配模塊構(gòu)成，該模板匹配模塊針對由攝像元件io 12所獲得的圖像數(shù)據(jù)應(yīng)用了使用輪廓模板、網(wǎng)眼模板(目亍乂:/^一卜) 等公知的模板匹配法(例如，參照日本特開平8—63597號公報(bào))來判斷 在圖像數(shù)據(jù)中是否存在臉圖像，當(dāng)存在臉圖像時(shí)檢測該臉區(qū)域。臉檢測 部18將檢測出的臉區(qū)域的坐標(biāo)、臉的方向、臉構(gòu)成部分(眼、鼻、口等) 等的信息保存在RAM16內(nèi)。15 軀體區(qū)域預(yù)測部19根據(jù)由臉檢測部18檢測出的臉區(qū)域的坐標(biāo)、臉的方向、臉構(gòu)成部分等的信息，預(yù)測并計(jì)算軀體區(qū)域的位置和大小。計(jì) 算出的軀體區(qū)域的位置和大小作為與臉檢測部18檢測出的臉區(qū)域構(gòu)成一 體進(jìn)行等效運(yùn)動(dòng)的周邊區(qū)域的信息被保存在RAM 16內(nèi)。運(yùn)動(dòng)檢測部15利用圖形匹配(patternmatching)法來對所檢測出的20臉區(qū)域和軀體區(qū)域各自在幀間的時(shí)間序列運(yùn)動(dòng)進(jìn)行檢測。即，運(yùn)動(dòng)檢測 部15使用存儲在幀存儲器14內(nèi)的前一個(gè)幀的圖像數(shù)據(jù)和從AFE 13所輸 入的當(dāng)前幀的圖像數(shù)據(jù)，通過圖形匹配求出運(yùn)動(dòng)矢量。此時(shí)，求出的運(yùn) 動(dòng)矢量的范圍是根據(jù)前一個(gè)幀的圖像數(shù)據(jù)由臉檢測部18和軀體區(qū)域預(yù)測 部19所求出的臉區(qū)域和軀體區(qū)域(臉周邊區(qū)域)。由運(yùn)動(dòng)檢測部15檢測25出的臉區(qū)域和軀體區(qū)域各自的運(yùn)動(dòng)矢量的信息被存儲在RAM 16內(nèi)。系統(tǒng)控制器27進(jìn)行攝像裝置1內(nèi)的各部的控制處理和存儲器控制， 并且執(zhí)行臉位置決定部和攝像條件設(shè)定部的功能。即，根據(jù)存儲在RAM 16內(nèi)的運(yùn)動(dòng)矢量的信息計(jì)算當(dāng)前幀中的臉區(qū)域的位置，與由臉檢測部18 求出的臉區(qū)域的坐標(biāo)對照著決定當(dāng)前幀中的臉區(qū)域的位置。并且，根據(jù)
所決定的臉區(qū)域的圖像數(shù)據(jù)來進(jìn)行用于設(shè)定攝像條件的AF (自動(dòng)對焦)、 AE (自動(dòng)曝光)、AWB (自動(dòng)白平衡)處理。ROM26除了預(yù)先存儲由系統(tǒng)控制器27執(zhí)行的控制程序以外，還存 儲由臉檢測部18在模板匹配中使用的模板數(shù)據(jù)等。 5 圖2是示出圖1中的主要部分在攝影時(shí)的動(dòng)作例的概略時(shí)序圖。圖2中，"A" "F"表示伴隨曝光動(dòng)作由攝像元件12依次拍攝的幀圖像。 所拍攝的幀圖像由AFE 13進(jìn)行數(shù)字化，之后通過DMA (直接存儲器存 取)控制而存儲到RAM 16或幀存儲器14。存儲在RAM 16的幀圖像由 圖像處理部17依次進(jìn)行圖像處理，并成為臉檢測部18的臉檢測處理對io象。在運(yùn)動(dòng)檢測部15中，通過代表點(diǎn)匹配來求出運(yùn)動(dòng)矢量。即，根據(jù)存 儲在幀存儲器14內(nèi)的前一個(gè)幀圖像和從AFE 13所取得的當(dāng)前幀的圖像 數(shù)據(jù)，通過圖形匹配法中的代表點(diǎn)匹配來求出從臉檢測部18和軀體區(qū)域 預(yù)測部19所輸入的臉區(qū)域和軀體區(qū)域的運(yùn)動(dòng)矢量。然后，在系統(tǒng)控制器 27的臉位置決定中，根據(jù)通過代表點(diǎn)匹配檢測出的臉區(qū)域和由臉檢測部15 18檢測出的臉區(qū)域的檢測結(jié)果，來決定當(dāng)前幀中的最終的臉區(qū)域位置。 然后，根據(jù)所決定的最終的臉區(qū)域位置進(jìn)行AE、 AF、 AWB動(dòng)作，并設(shè) 定攝像條件。LCD顯示將在LCD 25上顯示的幀圖像顯示為瀏覽圖像。下面，參照圖3 — 1 圖3—4說明本實(shí)施方式1的特征性的臉區(qū)域 決定方法的概要。圖3 — 1 圖3—4是示出從N幀到(N+3)幀的時(shí)間20序列的幀圖像例的說明圖。各圖的(a)和(b)示出相同幀圖像例，各 圖的(a)示出模板匹配模塊(臉檢測部18)的臉檢測例，各圖的(b) 示出運(yùn)動(dòng)檢測模塊(軀體區(qū)域預(yù)測部19和運(yùn)動(dòng)檢測部15)的臉檢測例。 首先，如圖3 — 1 (a)所示，關(guān)于N幀的幀圖像是以通過臉檢測部 18中的模板匹配從圖像數(shù)據(jù)中檢測臉區(qū)域?yàn)榍疤岬?。在由臉檢測部18檢25觀拙臉區(qū)域的情況下，將檢測出的臉區(qū)域作為對象來進(jìn)行N幀圖像的AE 動(dòng)作等。然后，如圖3 — 1 (b)所示，將檢測出的臉區(qū)域的信息通知給軀 體區(qū)域預(yù)測部19。如圖3 — 1 (b)中的方形框所示，軀體區(qū)域預(yù)測部19 根據(jù)所通知的臉區(qū)域來預(yù)測軀體區(qū)域。然后，關(guān)于圖3—2 (a)所示的(N+l)幀的幀圖像，假定由于臉
的方向等原因而無法通過臉檢測部18中的模板匹配檢測出臉區(qū)域。在此情況下，如圖3—2 (b)所示，在N幀、(N+l)幀間、通過運(yùn)動(dòng)檢測部 15中的圖形匹配可檢測出臉區(qū)域的運(yùn)動(dòng)的情況下，把由該運(yùn)動(dòng)檢測部15 檢測出的臉區(qū)域作為對象來進(jìn)行(N+l)幀圖像的AE動(dòng)作等。此時(shí)， 5不管是否能通過運(yùn)動(dòng)檢測部15中的圖形匹配來檢測軀體區(qū)域的運(yùn)動(dòng)。此外，關(guān)于圖3—3 (a)所示的(N+2)幀的幀圖像，假定由于臉 的方向等原因而無法通過臉檢測部18中的模板匹配檢測出臉區(qū)域。此時(shí)， 如圖3 — 2 (b)所示，在(N+l)幀、(N+2)幀間，通過運(yùn)動(dòng)檢測部 15中的圖形匹配也不能檢測出臉區(qū)域的運(yùn)動(dòng)，不過能檢測軀體區(qū)域的運(yùn)io動(dòng)。于是，根據(jù)該軀體區(qū)域的運(yùn)動(dòng)來估計(jì)臉區(qū)域的位置，把所估計(jì)的臉 區(qū)域作為對象來進(jìn)行(N+2)幀圖像的AE動(dòng)作等。另一方面，關(guān)于圖3—4 (a)所示的(N+3)幀的幀圖像，假定通 過臉檢測部18中的模板匹配再次檢測出臉區(qū)域。在由臉檢測部18檢測 出臉區(qū)域的情況下，把檢測出的臉區(qū)域作為對象來進(jìn)行(N+3)幀圖像15的AE動(dòng)作等。然后，如圖3—4 (b)所示，將檢測出的臉區(qū)域的信息通 知給軀體區(qū)域預(yù)測部19。如圖3—4 (b)中的方形框所示，軀體區(qū)域預(yù) 測部19根據(jù)所通知的臉區(qū)域重新預(yù)測軀體區(qū)域。這樣，在本實(shí)施方式l中，利用臉檢測部18來檢測臉區(qū)域，并根據(jù) 檢測出的臉區(qū)域的大小、臉的方向、臉構(gòu)成部分的信息，由軀體區(qū)域預(yù)20測部19預(yù)測軀體的位置和大小。然后，在運(yùn)動(dòng)檢測部15中通過圖形匹 配檢測由臉檢測部18檢測出的臉區(qū)域和所預(yù)測的軀體區(qū)域在幀間的時(shí)間 序列運(yùn)動(dòng)。檢測中的臉圖像收斂于幀圖像內(nèi)，而在根據(jù)臉的方向通過臉 檢測部18的模板匹配不能檢測出臉的情況下，當(dāng)通過運(yùn)動(dòng)檢測部15中 的圖形匹配可檢測出臉區(qū)域的運(yùn)動(dòng)時(shí)，根據(jù)檢測出的臉區(qū)域的運(yùn)動(dòng)來更25新作為對象的當(dāng)前幀圖像中的臉區(qū)域的位置。此外，當(dāng)根據(jù)臉朝向后面 等運(yùn)動(dòng)，通過運(yùn)動(dòng)檢測部15中的圖形匹配不能檢測出臉區(qū)域的運(yùn)動(dòng)、通 過運(yùn)動(dòng)檢測部15中的圖形匹配能檢測出軀體區(qū)域的運(yùn)動(dòng)時(shí)，根據(jù)檢測出 的軀體區(qū)域的運(yùn)動(dòng)來預(yù)測當(dāng)前幀圖像中的臉區(qū)域的運(yùn)動(dòng)，并更新臉區(qū)域 的位置。即，由于臉的運(yùn)動(dòng)與身體的運(yùn)動(dòng)大致一致，因而著眼于根據(jù)軀ii
體的運(yùn)動(dòng)也能估計(jì)臉的運(yùn)動(dòng)這一點(diǎn)，在不能檢測出臉區(qū)域自身或臉區(qū)域 的運(yùn)動(dòng)時(shí)，可有效利用檢測出的軀體區(qū)域的運(yùn)動(dòng)。由此，即使在如體育 場景或到處活動(dòng)的孩子的攝影時(shí)那樣、臉的方向發(fā)生變化的狀況下，也 能準(zhǔn)確地追蹤設(shè)定臉的位置。 5 以下，參照圖4 圖11來詳細(xì)說明本實(shí)施方式1中的動(dòng)作控制例。圖4是示出伴隨電子照相機(jī)的電源接通/斷開的基本動(dòng)作控制例的概略流 程圖。首先，當(dāng)電子照相機(jī)的電源接通時(shí)，判斷是否是攝影模式(步驟SIOO)。當(dāng)設(shè)定為攝影模式時(shí)(步驟S100;是；攝像步驟)，開始臉檢測 處理(步驟S101)。該臉檢測處理的詳情在后面描述。判斷臉檢測處理的io結(jié)果，即是否從當(dāng)前幀圖像中檢測出臉區(qū)域(步驟S102)。在未檢測出臉 區(qū)域的情況下(步驟S102;否)，將當(dāng)前幀圖像中的通常范圍作為對象來 進(jìn)行AF/AE/AWB動(dòng)作，并設(shè)定攝像條件(步驟S103)。另一方面，在檢 測出臉區(qū)域的情況下(步驟S102;是)，將當(dāng)前幀圖像中的臉檢測范圍(臉 區(qū)域)的圖像數(shù)據(jù)作為對象來進(jìn)行AF/AE/AWB動(dòng)作，并設(shè)定攝像條件15 (步驟S104;攝像條件設(shè)定部)。然后，關(guān)于釋放按鈕，判斷第1釋放按 鈕是否接通(步驟S105)，在未接通的情況下(步驟S105;否)，重復(fù)步 驟S101 S104的處理。在己接通的情況下(步驟S105;是)，開始臉檢測處理(步驟S106)。 該臉檢測處理的詳情在后面描述。判斷臉檢測處理的結(jié)果，即是否從當(dāng)20前幀圖像中檢測出臉區(qū)域(步驟S107)。在未檢測出臉區(qū)域的情況下(步 驟S107;否)，將當(dāng)前幀圖像中的通常范圍作為對象來進(jìn)行AF/AE/AWB 動(dòng)作，并設(shè)定攝像條件(步驟S108)。另一方面，在檢測出臉區(qū)域的情況 下(步驟S107;是)，將當(dāng)前幀圖像中的臉檢測范圍(臉區(qū)域)的圖像數(shù) 據(jù)作為對象來進(jìn)行AF/AE/AWB動(dòng)作，設(shè)定攝像條件(步驟S109;攝像25條件設(shè)定部)。然后，關(guān)于釋放按鈕，判斷第2釋放按鈕是否接通(步驟 S110)，在未接通的情況下(步驟S110;否)，重復(fù)步驟S106 S109的 處理。在第2釋放按鈕己接通的情況下(步驟S110;是)，按照所設(shè)定的 攝像條件來執(zhí)行攝影處理(步驟S111;攝像步驟)。然后，判斷攝影模式 是否結(jié)束(步驟S112)，在未結(jié)束的情況下(步驟S112;否)，返回步驟SlOl。另一方面，在攝影模式結(jié)束的情況下(步驟S112;是)，判斷是否選擇了再現(xiàn)模式(步驟S113)。在未選擇再現(xiàn)模式的情況下(步驟S113;否)，照相機(jī)電源斷開，結(jié)束處理。5 另外，在步驟S100中不是攝影模式的情況下，或者在步驟S113中選擇了再現(xiàn)模式的情況下，按照用戶操作來選擇再現(xiàn)圖像(步驟S114)， 將所選擇的完成攝影的靜態(tài)圖像/動(dòng)態(tài)圖像再現(xiàn)顯示到LCD 25的畫面上 (步驟S115)。之后，判斷再現(xiàn)模式是否結(jié)束(步驟S116)，在未結(jié)束的 情況下(步驟S116;否)，返回步驟S114。另一方面，在再現(xiàn)模式結(jié)束io的情況下(步驟S116;是)，判斷照相機(jī)電源是否斷開(步驟S117)，在 照相機(jī)電源沒斷開的情況下(步驟S117;否)，為攝影模式，返回步驟 S101。在照相機(jī)電源斷開的情況下(步驟S117;是)，結(jié)束處理。下面，參照圖5來說明步驟S101或步驟S106的臉檢測處理。圖5 是示出臉檢測處理例的概略流程圖。首先，系統(tǒng)控制器27使用臉檢測部15 18來執(zhí)行基于公知的模板匹配法等的臉檢測處理(步驟S200)。在臉檢 測部18的臉檢測處理中，在檢測出臉的情況下(步驟S201;是)，將檢 測出的臉區(qū)域作為當(dāng)前幀中的臉區(qū)域保存在RAM16內(nèi)(步驟S202;臉 位置決定部，臉位置決定步驟)。這相當(dāng)于圖3 — 1 (a)、圖3—4 (a)所 示的例子。繼這種臉檢測之后，系統(tǒng)控制器27使用軀體區(qū)域預(yù)測部1920來執(zhí)行軀體區(qū)域預(yù)測處理(步驟S203)。這相當(dāng)于圖3 — 1 (b)、圖3—4 (b)所示的例子。該軀體區(qū)域預(yù)測處理在后面描述。在軀體區(qū)域預(yù)測處理之后，繼續(xù)判斷在當(dāng)前幀中是否檢測出(可預(yù) 測出)該軀體區(qū)域(步驟S204)。在檢測出的情況下(步驟S204;是)， 將檢測出的軀體區(qū)域作為當(dāng)前幀中的軀體區(qū)域保存在RAM 16內(nèi)(步驟25 S205)，結(jié)束本次的臉檢測處理。在未檢測出的情況下(在不能預(yù)測的情 況下)，直接結(jié)束本次的臉檢測處理。在臉檢測部18的臉檢測處理中， 對于后續(xù)的幀圖像，只要繼續(xù)檢測出臉，就同樣地重復(fù)這些步驟S201; 是 步驟S205的處理。因此，將臉檢測部18檢測出的臉區(qū)域的信息決 定為當(dāng)前幀中的臉區(qū)域，并保存在RAM 16內(nèi)，用作攝像條件設(shè)定的對
象區(qū)域。另一方面，在臉檢測部18的臉檢測處理中不能檢測出臉區(qū)域的情況下(步驟S201;否)，系統(tǒng)控制器27執(zhí)行使用運(yùn)動(dòng)檢測部15的圖形匹配 的臉區(qū)域檢測處理，并決定臉區(qū)域的位置。首先，關(guān)于前一幀圖像判斷 5臉區(qū)域是否被存儲在RAM 16內(nèi)(步驟S206)。這是因?yàn)椋\(yùn)動(dòng)檢測部 15的處理是以至少在先行的幀圖像中由臉檢測部18臨時(shí)檢測出臉區(qū)域、 并將臉區(qū)域臨時(shí)存儲在RAM 16內(nèi)為前提來執(zhí)行的。在臉區(qū)域未被存儲 在RAM 16內(nèi)的情況下(步驟S206;否)，由于沒有進(jìn)行運(yùn)動(dòng)檢測部15 的處理，因此結(jié)束本次的臉檢測處理。io 如果前一幀圖像存在臉區(qū)域(步驟S206;是)，則在運(yùn)動(dòng)檢測部15中執(zhí)行與臉區(qū)域相關(guān)的圖形匹配處理，檢測前一幀與當(dāng)前幀之間的臉區(qū) 域的時(shí)間序列運(yùn)動(dòng)(步驟S207)。該臉區(qū)域的圖形匹配處理在后面描述。 接下來，針對前一幀圖像判斷軀體區(qū)域是否被存儲在RAM 16內(nèi)(步驟 S208)。在前一幀圖像存在軀體區(qū)域的情況下(步驟S208;是)，在運(yùn)動(dòng)15檢測部15中執(zhí)行與軀體區(qū)域相關(guān)的圖形匹配處理，檢測前一幀與當(dāng)前幀 之間的軀體區(qū)域的時(shí)間序列運(yùn)動(dòng)(步驟S209)。該軀體區(qū)域的圖形匹配處 理在后面描述。在軀體區(qū)域未被存儲在RAM 16內(nèi)的情況下(步驟S208; 否)，跳過步驟S209的處理。然后，關(guān)于運(yùn)動(dòng)檢測部15的軀體區(qū)域的圖形匹配結(jié)果，判斷是否檢20測出與軀體區(qū)域相關(guān)的運(yùn)動(dòng)矢量(步驟S210)。在檢測出軀體區(qū)域的運(yùn)動(dòng) 矢量的情況下(步驟S210;是)，關(guān)于運(yùn)動(dòng)檢測部15的臉區(qū)域的圖形匹 配結(jié)果，判斷是否檢測出與臉區(qū)域相關(guān)的運(yùn)動(dòng)矢量(步驟S211)。在檢測 出臉區(qū)域的運(yùn)動(dòng)矢量的情況下(步驟S211;是)，根據(jù)檢測出的臉區(qū)域的 運(yùn)動(dòng)來計(jì)算當(dāng)前幀中的臉區(qū)域并將其保存在RAM16內(nèi)(步驟S212;臉25位置決定部，臉位置決定步驟)。這相當(dāng)于圖3—2 (b)所示的例子。因 此，在臉檢測部18未檢測出臉區(qū)域、運(yùn)動(dòng)檢測部15檢測出臉區(qū)域的運(yùn) 動(dòng)的情況下，將根據(jù)臉區(qū)域的運(yùn)動(dòng)所算出的臉區(qū)域的信息決定為當(dāng)前幀 中的臉區(qū)域，并保存在RAM16內(nèi)，用作攝像條件設(shè)定的對象區(qū)域。接著，根據(jù)同時(shí)檢測出的軀體區(qū)域的運(yùn)動(dòng)檢測結(jié)果，進(jìn)行與相對軀
體區(qū)域矢量可靠性相關(guān)的判定處理(步驟S213;可靠性判定部)。該相對軀體區(qū)域矢量可靠性判定處理在后面描述。關(guān)于該判定處理的結(jié)果，判斷相對軀體區(qū)域矢量的可靠性是否是規(guī)定水平以上(步驟S214),在有規(guī) 定水平以上的可靠性的情況下(步驟S214;是)，根據(jù)檢測出的軀體區(qū)域 5的運(yùn)動(dòng)來計(jì)算當(dāng)前幀中的軀體區(qū)域并將其保存在RAM 16內(nèi)(步驟 S217)。在沒有規(guī)定水平以上的可靠性的情況下(步驟S216;否)，系統(tǒng) 控制器27使用軀體區(qū)域預(yù)測部19來執(zhí)行軀體區(qū)域預(yù)測處理(步驟S215 )， 再次設(shè)定軀體區(qū)域。該軀體區(qū)域預(yù)測處理在后面描述。在繼軀體區(qū)域預(yù) 測處理之后，判斷在當(dāng)前幀中是否檢測出(可預(yù)測)該軀體區(qū)域(步驟 io S216)。在檢測出的情況下(步驟S216;是)，將檢測出的軀體區(qū)域作為 當(dāng)前幀中的軀體區(qū)域保存在RAM16內(nèi)(步驟S217),結(jié)束本次的臉檢測 處理。在未檢測出的情況下(在不能預(yù)測的情況下)，直接結(jié)束本次的臉 檢測處理。另一方面，在步驟S211中未檢測出臉區(qū)域的運(yùn)動(dòng)矢量的情況下，將 15檢測出的軀體區(qū)域的運(yùn)動(dòng)矢量視為臉區(qū)域的運(yùn)動(dòng)矢量(步驟S218)，根據(jù) 臉區(qū)域的運(yùn)動(dòng)矢量(軀體區(qū)域的運(yùn)動(dòng)矢量)來計(jì)算當(dāng)前幀中的臉區(qū)域并 將其保存在RAM16內(nèi)(步驟S219;臉位置決定部，臉位置決定步驟)。 這相當(dāng)于圖3—3 (b)所示的例子。因此，在臉檢測部18未檢測出臉區(qū) 域、運(yùn)動(dòng)檢測部15未檢測出臉區(qū)域的運(yùn)動(dòng)、但檢測出軀體區(qū)域的運(yùn)動(dòng)的 20情況下，將根據(jù)軀體區(qū)域的運(yùn)動(dòng)而估計(jì)并算出的臉區(qū)域的信息決定為當(dāng) 前幀中的臉區(qū)域，并保存在RAM16內(nèi)，用作攝像條件設(shè)定的對象區(qū)域。 而且，根據(jù)檢測出的軀體區(qū)域的運(yùn)動(dòng)來計(jì)算當(dāng)前幀中的軀體區(qū)域并將其 保存在RAM 16內(nèi)(步驟S220)。此外，當(dāng)在步驟S210中未檢測出軀體區(qū)域的運(yùn)動(dòng)矢量的情況下(步 25驟S210;否)，關(guān)于運(yùn)動(dòng)檢測部15的臉區(qū)域的圖形匹配結(jié)果，判斷是否 檢測出與臉區(qū)域相關(guān)的運(yùn)動(dòng)矢量(步驟S221)。在檢測出臉區(qū)域的運(yùn)動(dòng)矢 量的情況下(步驟S221;是)，根據(jù)檢測出的臉區(qū)域的運(yùn)動(dòng)來計(jì)算當(dāng)前幀 中的臉區(qū)域并將其保存在RAM16內(nèi)(步驟S222;臉位置決定部，臉位 置決定步驟)。因此，在利用臉檢測部18未檢測出臉區(qū)域、利用運(yùn)動(dòng)檢
湖lj部15檢測出臉區(qū)域的運(yùn)動(dòng)的情況下，將根據(jù)臉區(qū)域的運(yùn)動(dòng)所算出的臉區(qū)域的信息決定為當(dāng)前幀中的臉區(qū)域，并保存在RAM 16內(nèi)，用作攝像 條件設(shè)定的對象區(qū)域。接下來，系統(tǒng)控制器27使用軀體區(qū)域預(yù)測部19來執(zhí)行軀體區(qū)域預(yù) 5測處理(步驟S223)。該軀體區(qū)域預(yù)測處理在后面描述。在軀體區(qū)域預(yù)測 處理之后，繼續(xù)判斷在當(dāng)前幀中是否檢測出(是否能預(yù)測)該軀體區(qū)域 (步驟S224)。在檢測出的情況下(步驟S224;是)，將檢測出的軀體區(qū) 域作為當(dāng)前幀中的軀體區(qū)域保存在RAM16內(nèi)(步驟S225)，結(jié)束本次的 臉檢測處理。在未檢測出的情況下(在不能預(yù)測的情況下)，直接結(jié)束本 io次的臉檢測處理。下面，說明步驟S203、 S215、 S223的軀體區(qū)域預(yù)測處理。圖6是示 出在系統(tǒng)控制器27的控制下由軀體區(qū)域預(yù)測部19執(zhí)行的軀體區(qū)域預(yù)測 處理例的概略流程圖。首先，根據(jù)臉區(qū)域信息，將軀體寬度計(jì)算為臉寬 度X臉角度系數(shù)(步驟S300)。然后，根據(jù)臉區(qū)域信息，將軀體高度計(jì)算 15為臉高度X軀體高度系數(shù)(步驟S301)。根據(jù)這些計(jì)算結(jié)果來算出軀體區(qū) 域(步驟S302)。然后，判斷計(jì)算出的全部軀體區(qū)域是否收于攝影視場角 的范圍內(nèi)(步驟S303)。在收于攝影視場角的范圍內(nèi)的情況下(步驟S303; 是)，結(jié)束軀體區(qū)域預(yù)測處理。另一方面，在未收于攝影視場角的范圍內(nèi)的情況下(步驟S303;否)， 20判斷軀體的規(guī)定閾值％是否收于攝影視場角的范圍內(nèi)(步驟S304)。在收 于攝影視場角的范圍內(nèi)的情況下(步驟S304;是)，再次計(jì)算收于攝影視 場角范圍內(nèi)的軀體區(qū)域(步驟S305)，結(jié)束軀體區(qū)域預(yù)測處理。然后，在未收于攝影視場角的范圍內(nèi)的情況下(步驟S304;否)， 清除計(jì)算出的軀體區(qū)域(步驟S306)，結(jié)束軀體區(qū)域預(yù)測處理。在該情況 25下，成為軀體區(qū)域未檢測出，在下一軀體區(qū)域檢測判定(步驟S204、 S216、 S224)中，判定結(jié)果為否。這里，參照圖7—1 圖7_3來說明圖6所示的軀體區(qū)域預(yù)測處理 例。圖7—1示出臉是橫向且全部軀體收于攝影視場角的范圍內(nèi)的幀圖像 例。在該情況下，由于軀體也是橫向的可能性高，所以臉寬度和軀體寬
度考慮為相同程度。即，設(shè)臉角度系數(shù)=1，計(jì)算軀體寬度。并且，設(shè)軀體高度為臉高度的5倍。即，設(shè)軀體高度系數(shù)=5來計(jì)算軀體高度。另外， 軀體位置考慮為沿臉的方向存在于臉的下面。根據(jù)以上，預(yù)測并計(jì)算軀 體區(qū)域的位置。在該例中，因?yàn)槿寇|體收于攝影視場角的范圍內(nèi)，所5以將求出的軀體區(qū)域的位置用作軀體區(qū)域。圖7—2示出臉朝正向且大半軀體收于攝影視場角的范圍內(nèi)的幀圖 像例。在該情況下，由于軀體也是正向的可能性高，因而軀體寬度考慮 為臉寬度的1.5倍左右。g卩，設(shè)臉角度系數(shù)=1.5，計(jì)算軀體寬度。并且， 設(shè)軀體高度是臉高度的5倍。g卩，設(shè)軀體高度系數(shù)=5來計(jì)算軀體高度。io并且，軀體位置考慮為沿臉的方向存在于臉的下面。根據(jù)以上，預(yù)測并 計(jì)算軀體區(qū)域的位置。在該例中，收于攝影視場角的范圍內(nèi)的軀體區(qū)域 的比例是規(guī)定閾值％、例如30%以上，因此判斷作為軀體區(qū)域是適合的。 此時(shí)，再次計(jì)算收于攝影視場角范圍內(nèi)的軀體區(qū)域。圖7 — 3示出臉朝正向且大半軀體未收于攝影視場角的范圍內(nèi)的幀15圖像例。在該情況下，由于軀體也是正向的可能性高，因此軀體寬度考 慮為臉寬度的1.5倍程度。S卩，設(shè)臉角度系數(shù)=1.5，計(jì)算軀體寬度。并 且，設(shè)軀體高度是臉高度的5倍。S卩，設(shè)軀體高度系數(shù)=5來計(jì)算軀體高 度。并且，軀體位置考慮為沿臉的方向存在于臉的下面。根據(jù)以上，預(yù) 測并計(jì)算軀體區(qū)域的位置。在該例中，收于攝影視場角的范圍內(nèi)的軀體20區(qū)域的比例不是規(guī)定閾值％、例如30%以上，因此判斷為作為軀體區(qū)域 是不適合的。因此，清除求出的軀體區(qū)域。下面，說明前一幀與當(dāng)前幀之間的步驟S207的臉區(qū)域圖形匹配處理 和步驟S209的軀體區(qū)域圖形匹配處理。這里，為了提高匹配處理的精度， 而分別將臉區(qū)域和軀體區(qū)域分割為多個(gè)宏塊(分割區(qū)域)來進(jìn)行圖形匹25配處理。圖8—1是示出在臉區(qū)域較小時(shí)的臉區(qū)域和軀體區(qū)域各自的宏塊 的分割例的示意圖。圖8 — 1示出將臉區(qū)域等分割為4個(gè)宏塊并將軀體區(qū) 域等分割為20個(gè)宏塊的例子。圖8—2是示出在臉區(qū)域較大時(shí)的臉區(qū)域 和軀體區(qū)域各自的宏塊的分割例的示意圖。圖8—2示出將臉區(qū)域等分割 為30個(gè)宏塊并將軀體區(qū)域等分割為54個(gè)宏塊的例子。另外，對于各個(gè)
臉區(qū)域和軀體區(qū)域，宏塊的尺寸無需一律相同，也可以不同，可以設(shè)定 適當(dāng)?shù)姆指顢?shù)(個(gè)數(shù))。圖9是示出在系統(tǒng)控制器27的控制下由運(yùn)動(dòng)檢測部15執(zhí)行的臉區(qū) 域圖形匹配處理例的概略流程圖，圖10是示出在系統(tǒng)控制器27的控制 5下由運(yùn)動(dòng)檢測部15執(zhí)行的軀體區(qū)域圖形匹配處理例的概略流程圖。在這 些圖形匹配處理中，將以下情況作為基本，即作為臉區(qū)域和軀體區(qū)域 的時(shí)間序列運(yùn)動(dòng)，根據(jù)各區(qū)域內(nèi)的有位置變化的多個(gè)宏塊的變化來檢測 位置變化量。首先，當(dāng)開始臉區(qū)域圖形匹配處理時(shí)，對臉區(qū)域決定宏塊的尺寸/個(gè)io數(shù)(步驟S310)。然后，按各宏塊進(jìn)行相關(guān)運(yùn)算(步驟S311)，通過綜合 判斷相關(guān)結(jié)果，來計(jì)算各宏塊的運(yùn)動(dòng)矢量(步驟S312)。在進(jìn)行各宏塊的 相關(guān)運(yùn)算時(shí)，在當(dāng)前幀中設(shè)定相對于前一幀大一圈的范圍，并通過判斷 每一像素運(yùn)動(dòng)到哪里來進(jìn)行。然后，針對計(jì)算出的運(yùn)動(dòng)矢量，按各宏塊 判定可靠性(步驟S313)?？煽啃缘呐卸ɡ缡歉鶕?jù)計(jì)算出的運(yùn)動(dòng)矢量的15方向是否一致等的相關(guān)值的大小來進(jìn)行的。然后，根據(jù)有可靠性的宏塊 計(jì)算臉區(qū)域的運(yùn)動(dòng)矢量(步驟S314)。該情況下的運(yùn)動(dòng)矢量可以通過例如 采用運(yùn)動(dòng)矢量的平均值或頻度高的運(yùn)動(dòng)矢量等的方法來求出。然后，針 對計(jì)算出的運(yùn)動(dòng)矢量，判定臉區(qū)域整體的可靠性(步驟S315)，在有臉區(qū) 域整體可靠性的情況下(步驟S316;是)，將在步驟S314中求出的臉區(qū)20域的運(yùn)動(dòng)矢量視為有效，結(jié)束臉區(qū)域圖形匹配處理。在臉區(qū)域整體沒有 可靠性的情況下(步驟S316;否)，清除在步驟S314中求出的臉區(qū)域的 運(yùn)動(dòng)矢量(步驟S317)，結(jié)束臉區(qū)域圖形匹配處理。軀體區(qū)域圖形匹配處理也與臉區(qū)域圖形匹配處理相同。首先，當(dāng)開 始軀體區(qū)域圖形匹配處理時(shí)，對軀體區(qū)域決定宏塊的尺寸/個(gè)數(shù)(步驟25 S320)。然后，按各宏塊進(jìn)行相關(guān)運(yùn)算(步驟S321)，通過綜合判斷相關(guān) 結(jié)果，來計(jì)算各宏塊的運(yùn)動(dòng)矢量(步驟S322)。在進(jìn)行各宏塊的相關(guān)運(yùn)算 時(shí)，在當(dāng)前幀中設(shè)定相對于前一幀大一圈的范圍，并通過判斷每一像素 運(yùn)動(dòng)到哪里來進(jìn)行。然后，針對計(jì)算出的運(yùn)動(dòng)矢量，按各宏塊判定可靠 性(步驟S323)?？煽啃缘呐卸ɡ缡歉鶕?jù)計(jì)算出的運(yùn)動(dòng)矢量的方向是否
一致等的相關(guān)值大小來進(jìn)行的。然后，根據(jù)有可靠性的宏塊來計(jì)算軀體區(qū)域的運(yùn)動(dòng)矢量(步驟S324)。該情況下的運(yùn)動(dòng)矢量可以通過例如采用運(yùn) 動(dòng)矢量的平均值或頻度高的運(yùn)動(dòng)矢量等的方法來求出。然后，針對計(jì)算 出的運(yùn)動(dòng)矢量，判定軀體區(qū)域整體的可靠性(步驟S325)，在軀體區(qū)域整 5體有可靠性的情況下(步驟S326;是)，將在步驟S324中求出的軀體區(qū) 域的運(yùn)動(dòng)矢量視為有效，結(jié)束軀體區(qū)域圖形匹配處理。在軀體區(qū)域整體 沒有可靠性的情況下(步驟S326;否)，清除在步驟S324中求出的軀體 區(qū)域的運(yùn)動(dòng)矢量(步驟S327)，結(jié)束軀體區(qū)域圖形匹配處理。另外，說明步驟S213中的相對軀體區(qū)域矢量可靠性判定處理。圖io 11是示出由系統(tǒng)控制器27執(zhí)行的相對軀體區(qū)域矢量可靠性判定處理例的 概略流程圖。該處理是如下的處理，S卩在求出臉區(qū)域的運(yùn)動(dòng)矢量和軀 體區(qū)域的運(yùn)動(dòng)矢量時(shí)，分割為縱橫的運(yùn)動(dòng)，根據(jù)各個(gè)方向上的運(yùn)動(dòng)是否 有同一性來判定檢測出的軀體區(qū)域的運(yùn)動(dòng)矢量的可靠性。首先，根據(jù)I水平軀體區(qū)域矢量一水平臉區(qū)域矢量I來計(jì)算水平差5矢量(步驟S330)，并根據(jù)I垂直軀體區(qū)域矢量一垂直臉區(qū)域矢量I來計(jì) 算垂直差矢量(步驟S331)。然后，判定水平差矢量是否小于預(yù)先設(shè)定的 規(guī)定的水平矢量閾值(步驟S332)，且判定垂直差矢量是否小于預(yù)先設(shè)定 的規(guī)定的垂直矢量閾值(步驟S333)。在水平差矢量小于水平矢量閾值(步 驟S332;是)、且垂直差矢量小于垂直矢量閾值的情況下(步驟S333;20是)，判定為相對軀體區(qū)域矢量有可靠性(步驟S334)，結(jié)束相對軀體區(qū) 域矢量可靠性判定處理。另一方面，在水平差矢量是水平矢量閾值以上 (步驟S332;否)、或者垂直差矢量是垂直矢量閾值以上的情況下(步驟 S333;否)，判定為相對軀體區(qū)域矢量沒有可靠性(步驟S335)，結(jié)束相 對軀體區(qū)域矢量可靠性判定處理。25 這樣，根據(jù)本實(shí)施方式1，利用臉檢測部18從由攝像元件12所獲得的圖像數(shù)據(jù)中檢測臉區(qū)域，并且在軀體區(qū)域預(yù)測部19的預(yù)測下檢測與 臉區(qū)域作等效運(yùn)動(dòng)的軀體區(qū)域，利用運(yùn)動(dòng)檢測部15來檢測已檢測出的臉 區(qū)域和軀體區(qū)域各自在幀間的時(shí)間序列運(yùn)動(dòng)，根據(jù)臉檢測部18的檢測結(jié) 果和運(yùn)動(dòng)檢測部15的檢測結(jié)果來決定當(dāng)前幀中的臉區(qū)域。因此，即使在被攝體的臉從正向變?yōu)闄M向、后向等、而導(dǎo)致臉檢測部18不能檢測出臉 區(qū)域的情況下，也能通過使用臉區(qū)域自身的運(yùn)動(dòng)檢測和軀體區(qū)域的運(yùn)動(dòng) 檢測的結(jié)果，來適當(dāng)?shù)乩^續(xù)估計(jì)臉區(qū)域的位置。(實(shí)施方式2)5 下面，參照圖12 圖19說明本發(fā)明的實(shí)施方式2。與實(shí)施方式1中所說明的部分相同的部分使用相同標(biāo)號來表示，并省略說明。圖12是示 出本實(shí)施方式2的攝像裝置的電裝系統(tǒng)結(jié)構(gòu)例的概略框圖。本實(shí)施方式2 的攝像裝置31利用周邊區(qū)域來取代軀體區(qū)域作為與臉區(qū)域作等效運(yùn)動(dòng)的 周邊區(qū)域，并具有周邊區(qū)域設(shè)定部32來取代軀體區(qū)域預(yù)測部19。io 周邊區(qū)域設(shè)定部32針對由臉檢測部18檢測出的臉區(qū)域來設(shè)定周邊區(qū)域。所設(shè)定的周邊區(qū)域的位置和大小作為與臉檢測部18所檢測出的臉 區(qū)域構(gòu)成一體作等效運(yùn)動(dòng)的周邊區(qū)域的信息被保存在RAM 16內(nèi)。另外，本實(shí)施方式2中的運(yùn)動(dòng)檢測部15用于通過圖形匹配法來檢測 已檢測出的臉區(qū)域和周邊區(qū)域各自在幀間的時(shí)間序列運(yùn)動(dòng)。即，運(yùn)動(dòng)檢15測部15使用存儲在幀存儲器14內(nèi)的前一個(gè)幀的圖像數(shù)據(jù)和從AFE 13所 輸入的當(dāng)前幀的圖像數(shù)據(jù)，通過圖形匹配來求出運(yùn)動(dòng)矢量。此時(shí)，求出 的運(yùn)動(dòng)矢量的范圍是根據(jù)前一個(gè)幀的圖像數(shù)據(jù)由臉檢測部18所求出的臉 區(qū)域和由周邊區(qū)域設(shè)定部32所設(shè)定的周邊區(qū)域(臉周邊區(qū)域)。由運(yùn)動(dòng) 檢測部15檢測出的臉區(qū)域和周邊區(qū)域各自的運(yùn)動(dòng)矢量的信息被存儲在20 RAM 16內(nèi)。下面，參照圖13_1 圖13—3說明本實(shí)施方式2的特征性的臉區(qū) 域決定方法的概要。圖13 — 1 圖13—3是示出從N幀到(N+2)幀的 時(shí)間序列的幀圖像例的說明圖。各圖的(a)和(b)示出相同幀圖像例， 各圖的(a)示出模板匹配模塊(臉檢測部18)的臉檢測例，各圖的(b) 25示出運(yùn)動(dòng)檢測模塊(周邊區(qū)域設(shè)定部32和運(yùn)動(dòng)檢測部15)的臉檢測例。首先，如圖13 — 1 (a)所示，關(guān)于N幀的幀圖像是以通過臉檢測部 18中的模板匹配從圖像數(shù)據(jù)中檢測臉區(qū)域?yàn)榍疤岬?。在由臉檢測部18檢 觀IJ出臉區(qū)域的情況下，將檢測出的臉區(qū)域作為對象來進(jìn)行N幀圖像的AE 動(dòng)作等。然后，如圖13 — 1 (b)所示，將檢測出的臉區(qū)域的信息通知給 周邊區(qū)域設(shè)定部32。如圖13 — 1 (b)中的方形框所示，周邊區(qū)域設(shè)定部 32根據(jù)所通知的臉區(qū)域，在臉區(qū)域的周圍虛擬設(shè)定多個(gè)周邊區(qū)域。這里， 例如在臉區(qū)域的周圍設(shè)定與檢測出的臉區(qū)域相同尺寸的8個(gè)周邊區(qū)域。 然后，利用運(yùn)動(dòng)檢測部15，開始對臉區(qū)域和其周邊的周邊區(qū)域進(jìn)行的圖 5形匹配處理。此時(shí)，幀圖像整體的運(yùn)動(dòng)也通過圖形匹配來進(jìn)行追蹤。圖13—2 (a)示出關(guān)于(N+l)幀的幀圖像由臉檢測部18檢測出 臉區(qū)域的情況，將檢測出的臉區(qū)域作為對象來進(jìn)行N幀圖像的AE動(dòng)作 等。然后，在圖13—2 (b)中，根據(jù)由運(yùn)動(dòng)檢測部15進(jìn)行的與從前N 幀到當(dāng)前幀的臉區(qū)域、周邊區(qū)域以及圖像整體的運(yùn)動(dòng)相關(guān)的圖形匹配的io結(jié)果，從臨時(shí)設(shè)定的周邊區(qū)域中提取與臉區(qū)域作等效運(yùn)動(dòng)的一部分周邊 區(qū)域來設(shè)定為臉附屬區(qū)域。即，在檢測出的各個(gè)運(yùn)動(dòng)量中、如圖13—2 (b)中的箭頭所示臉區(qū)域與一部分周邊區(qū)域的運(yùn)動(dòng)一致、且畫面整體的 運(yùn)動(dòng)與臉區(qū)域不同的情況下，將與臉區(qū)域的運(yùn)動(dòng)一致的一部分周邊區(qū)域 設(shè)定為臉附屬區(qū)域。在圖13—2 (b)中所示的例子中，示出被攝體人物is與車一起移動(dòng)的例子，臉區(qū)域下排的3個(gè)區(qū)域和臉區(qū)域右側(cè)的一個(gè)區(qū)域 合計(jì)4個(gè)周邊區(qū)域進(jìn)行與臉區(qū)域相同的運(yùn)動(dòng)，并被設(shè)定為與臉區(qū)域作等 效運(yùn)動(dòng)的臉附屬區(qū)域(臉周邊區(qū)域)，剩余的4個(gè)周邊區(qū)域被判定為畫面 上的背景區(qū)域，并從運(yùn)動(dòng)檢測部15的運(yùn)動(dòng)檢測對象中被排除。此外，關(guān)于圖13—3 (a)所示的(N+2)幀的幀圖像，由于臉的方20向等原因，通過臉檢測部18中的模板匹配不能檢測出臉區(qū)域。此時(shí)，運(yùn) 動(dòng)檢測部15利用圖形匹配法來檢測已檢測出的臉區(qū)域和周邊區(qū)域中的臉 附屬區(qū)域的運(yùn)動(dòng)，如圖13—3 (b)所示，在臉區(qū)域和臉附屬區(qū)域的運(yùn)動(dòng) 都能檢測出的情況下，根據(jù)檢測出的臉區(qū)域的運(yùn)動(dòng)來計(jì)算(N+2)幀的 臉區(qū)域的位置。然后，把檢測出的臉區(qū)域作為對象來進(jìn)行N幀圖像的AE25動(dòng)作等。此時(shí)，在運(yùn)動(dòng)檢測部15不能檢測出臉區(qū)域的運(yùn)動(dòng)而只能檢測出臉附 屬區(qū)域的的運(yùn)動(dòng)的情況下，根據(jù)臉附屬區(qū)域的運(yùn)動(dòng)來預(yù)測臉區(qū)域的位置， 并計(jì)算(N+2)幀的臉區(qū)域的位置。然后，將計(jì)算出的臉區(qū)域作為對象 來進(jìn)行N幀圖像的AE動(dòng)作等。
這樣，在本實(shí)施方式2中，利用臉檢測部18檢測臉區(qū)域，并針對檢 測出的臉區(qū)域來虛擬設(shè)定周邊區(qū)域，從周邊區(qū)域中提取并設(shè)定表示與臉 區(qū)域作等效運(yùn)動(dòng)的臉附屬區(qū)域。然后，在運(yùn)動(dòng)檢測部15中通過圖形匹配 來檢測臉檢測部18所檢測出的臉區(qū)域和周邊區(qū)域中的臉附屬區(qū)域在幀間5的時(shí)間序列運(yùn)動(dòng)。雖然檢測中的臉圖像收于幀圖像內(nèi)，但在由于臉的方 向變化、通過臉檢測部18的模板匹配不能檢測出臉的情況下，當(dāng)通過運(yùn) 動(dòng)檢測部15中的圖形匹配可檢測出臉區(qū)域的運(yùn)動(dòng)時(shí)，根據(jù)檢測出的臉區(qū) 域的運(yùn)動(dòng)來更新作為對象的當(dāng)前幀圖像中的臉區(qū)域的位置。然后，當(dāng)由 于臉向后等運(yùn)動(dòng)而致使通過運(yùn)動(dòng)檢測部15中的圖形匹配也不能檢測出臉io區(qū)域的運(yùn)動(dòng)、但通過運(yùn)動(dòng)檢測部15中的圖形匹配可檢測出臉附屬區(qū)域的 運(yùn)動(dòng)時(shí)，根據(jù)檢測出的臉附屬區(qū)域的運(yùn)動(dòng)，預(yù)測當(dāng)前幀圖像中的臉區(qū)域 的運(yùn)動(dòng)，并更新臉區(qū)域的位置。即，從周邊區(qū)域中提取并設(shè)定表示與臉 區(qū)域作等效運(yùn)動(dòng)的臉附屬區(qū)域，著眼于通過追蹤臉附屬區(qū)域的運(yùn)動(dòng)可估 計(jì)臉區(qū)域的運(yùn)動(dòng)這一點(diǎn)，在不能檢測出臉區(qū)域自身或臉區(qū)域的運(yùn)動(dòng)的情15況下，可有效利用已檢測出的臉附屬區(qū)域的運(yùn)動(dòng)。以下，參照圖14 圖19來詳細(xì)說明本實(shí)施方式2中的動(dòng)作控制例。 另外，由于伴隨電子照相機(jī)的電源接通/斷開的基本動(dòng)作控制例與圖4的 情況相同，因而省略圖示和說明。下面，參照圖14來說明圖4中的步驟S101或步驟S106的本實(shí)施方20式2的臉檢測處理。圖14是示出實(shí)施方式2中的臉檢測處理例的概略流 程圖。首先，系統(tǒng)控制器27使用臉檢測部18來執(zhí)行利用公知的模板匹 配法等進(jìn)行的臉檢測處理(步驟S400)。在利用臉檢測部18的臉檢測處 理來檢測出臉的情況下(步驟S401;是)，將檢測出的臉區(qū)域作為當(dāng)前幀 中的臉區(qū)域而保存在RAM16內(nèi)(步驟S402;臉位置決定部，臉位置決25定步驟)。這相當(dāng)于圖13 — 1 (a)、圖13—2 (a)所示的例子。在繼這樣 的臉檢測之后，系統(tǒng)控制器27使用周邊區(qū)域設(shè)定部32來執(zhí)行周邊區(qū)域 設(shè)定處理(步驟S403)。這相當(dāng)于圖13_1 (b)、圖13_2 (b)所示的例 子。該周邊區(qū)域設(shè)定處理在后面描述。在繼周邊區(qū)域設(shè)定處理之后，判斷在當(dāng)前幀中是否檢測出(可設(shè)定)
該周邊區(qū)域(步驟S404)。在檢測出的情況下(步驟S404;是)，將檢測 出的周邊區(qū)域作為當(dāng)前幀中的周邊區(qū)域而保存在RAM 16內(nèi)(步驟 S405),結(jié)束本次的臉檢測處理。在未檢測出的情況下(在不能設(shè)定的情 況下)，直接結(jié)束本次的臉檢測處理。臉檢測部18的臉檢測處理中，對 5于后續(xù)的幀圖像，只要繼續(xù)檢測出臉，就同樣地重復(fù)這些步驟S401;是 步驟S405的處理。因此，由臉檢測部18檢測出的臉區(qū)域的信息被決定 為當(dāng)前幀中的臉區(qū)域，并保存在RAM16內(nèi)，用作攝像條件設(shè)定的對象 區(qū)域。另一方面，在通過臉檢測部18的臉檢測處理不能檢測出臉區(qū)域的情io況下(步驟S401;否)，系統(tǒng)控制器27執(zhí)行使用了運(yùn)動(dòng)檢測部15的圖形 匹配的臉區(qū)域檢測處理，并決定臉區(qū)域的位置。首先，針對前一幀圖像 判斷臉區(qū)域是否被存儲在RAM16內(nèi)(步驟S406)。這是因?yàn)?，運(yùn)動(dòng)檢測 部15的處理是以至少在先行的幀圖像中由臉檢測部18臨時(shí)檢測出臉區(qū) 域、且臉區(qū)域被臨時(shí)存儲在RAM 16內(nèi)為前提來執(zhí)行的。在臉區(qū)域未被15存儲在RAM 16內(nèi)的情況下(步驟S406;否)，由于不能進(jìn)行運(yùn)動(dòng)檢測部 15的處理，因而結(jié)束本次的臉檢測處理。在前一幀圖像有臉區(qū)域的情況下(步驟S406;是)，在運(yùn)動(dòng)檢測部 15中執(zhí)行與臉區(qū)域相關(guān)的圖形匹配處理，并檢測前一幀與當(dāng)前幀之間的 臉區(qū)域的時(shí)間序列運(yùn)動(dòng)(步驟S407)。接下來，關(guān)于前一幀圖像判斷周邊20區(qū)域是否被存儲在RAM 16內(nèi)(步驟S40S)。在前一幀圖像有周邊區(qū)域的 情況下(步驟S408;是)，在運(yùn)動(dòng)檢測部15中執(zhí)行與周邊區(qū)域相關(guān)的圖 形匹配處理，并檢測前一幀與當(dāng)前幀之間的周邊區(qū)域的時(shí)間序列運(yùn)動(dòng)(步 驟S409)。該周邊區(qū)域的圖形匹配處理在后面描述。在周邊區(qū)域未被存儲 在RAM16內(nèi)的情況下(步驟S408;否)，跳過步驟S409的處理。25 然后，關(guān)于運(yùn)動(dòng)檢測部15的周邊區(qū)域的圖形匹配結(jié)果，判斷是否檢測出與周邊區(qū)域相關(guān)的運(yùn)動(dòng)矢量(步驟S410)。在檢測出周邊區(qū)域的運(yùn)動(dòng) 矢量的情況下(步驟S410;是)，關(guān)于運(yùn)動(dòng)檢測部15的臉區(qū)域的圖形匹 配結(jié)果，判斷是否檢測出與臉區(qū)域相關(guān)的運(yùn)動(dòng)矢量(步驟S411)。在檢測 出臉區(qū)域的運(yùn)動(dòng)矢量的情況下(步驟S411;是)，根據(jù)同時(shí)檢測出的周邊
區(qū)域的運(yùn)動(dòng)檢測結(jié)果，進(jìn)行與相對周邊區(qū)域矢量的可靠性相關(guān)的判定處 理(步驟S412;可靠性判定部)。該相對周邊區(qū)域矢量可靠性判定處理在 后面描述。然后，根據(jù)檢測出的臉區(qū)域的運(yùn)動(dòng)來計(jì)算當(dāng)前幀中的臉區(qū)域并將其保存在RAM 16內(nèi)(步驟S413;臉位置決定部，臉位置決定步驟)。 5這相當(dāng)于圖13—2 (b)。因此，在臉檢測部18未檢測出臉區(qū)域、運(yùn)動(dòng)檢 測部15檢測出臉區(qū)域的運(yùn)動(dòng)的情況下，根據(jù)臉區(qū)域的運(yùn)動(dòng)而算出的臉區(qū) 域的信息被決定為當(dāng)前幀中的臉區(qū)域，并保存在RAM 16內(nèi)，用作攝像 條件設(shè)定的對象區(qū)域。另一方面，在步驟S411中未檢測出臉區(qū)域的運(yùn)動(dòng)矢量的情況下，將io檢測出的周邊區(qū)域的運(yùn)動(dòng)矢量視為臉區(qū)域的運(yùn)動(dòng)矢量(步驟S413)，根據(jù) 臉區(qū)域的運(yùn)動(dòng)矢量來計(jì)算當(dāng)前幀中的臉區(qū)域并將其保存在RAM 16內(nèi)(步 驟S214;臉位置決定部，臉位置決定步驟)。因此，在臉檢測部18未檢 測出臉區(qū)域、運(yùn)動(dòng)檢測部15未檢測出臉區(qū)域的運(yùn)動(dòng)、但運(yùn)動(dòng)檢測部15 檢測出周邊區(qū)域的運(yùn)動(dòng)的情況下，將根據(jù)周邊區(qū)域的運(yùn)動(dòng)而估計(jì)并計(jì)算15出的臉區(qū)域的信息決定為當(dāng)前幀中的臉區(qū)域。這樣所決定的臉區(qū)域的信 息被保存在RAM 16內(nèi)，用作攝像條件設(shè)定的對象區(qū)域。之后，關(guān)于相對周邊區(qū)域矢量可靠性判定處理的判定處理結(jié)果，判 斷相對周邊區(qū)域矢量的可靠性是否是規(guī)定水平以上(步驟S415)，在有規(guī) 定水平以上的可靠性的情況下(步驟S415;是)，根據(jù)檢測出的周邊區(qū)域20的運(yùn)動(dòng)來計(jì)算當(dāng)前幀中的周邊區(qū)域并將其保存在RAM 16內(nèi)(步驟 S416)。在沒有規(guī)定水平以上的可靠性的情況下(步驟S415;否)，系統(tǒng) 控制器27使用周邊區(qū)域設(shè)定部32來執(zhí)行周邊區(qū)域設(shè)定處理(步驟S417)， 再次設(shè)定周邊區(qū)域。該周邊區(qū)域設(shè)定處理在后面描述。在周邊區(qū)域設(shè)定 處理之后，繼續(xù)判斷在當(dāng)前幀中是否檢測出(可設(shè)定)該周邊區(qū)域(步25驟S418)。在檢測出的情況下(步驟S418;是)，將檢測出的周邊區(qū)域作 為當(dāng)前幀中的周邊區(qū)域保存在RAM16內(nèi)(步驟S416)，結(jié)束本次的臉檢 測處理。在未檢測出的情況下(在不能設(shè)定的情況下)，直接結(jié)束本次的 臉檢測處理。而且，在步驟S410中未檢測出周邊區(qū)域的運(yùn)動(dòng)矢量的情況下，關(guān)于 運(yùn)動(dòng)檢測部15的臉區(qū)域的圖形匹配結(jié)果，判斷是否檢測出與臉區(qū)域相關(guān)的運(yùn)動(dòng)矢量(步驟S419)。在檢測出臉區(qū)域的運(yùn)動(dòng)矢量的情況下(步驟 S419;是)，根據(jù)檢測出的臉區(qū)域的運(yùn)動(dòng)來計(jì)算當(dāng)前幀中的臉區(qū)域并將其 保存在RAM 16內(nèi)(步驟S420;臉位置決定部，臉位置決定步驟)。因此， 5在臉檢測部18未檢測出臉區(qū)域、運(yùn)動(dòng)檢測部15檢測出臉區(qū)域的運(yùn)動(dòng)的 情況下，將根據(jù)臉區(qū)域的運(yùn)動(dòng)而算出的臉區(qū)域的信息決定為當(dāng)前幀中的 臉區(qū)域，并保存在RAM16內(nèi)，用作攝像條件設(shè)定的對象區(qū)域。下面，說明步驟S403、 S417的周邊區(qū)域設(shè)定處理。圖15是示出在 系統(tǒng)控制器27的控制下由周邊區(qū)域設(shè)定部32執(zhí)行的周邊區(qū)域預(yù)測設(shè)定 io處理例的概略流程圖。首先，根據(jù)臉區(qū)域信息，將周邊寬度計(jì)算為臉寬 度X周邊寬度系數(shù)(步驟S500)。在該情況下，當(dāng)臉寬度是規(guī)定尺寸以下 時(shí)，設(shè)周邊寬度系數(shù)為l，而當(dāng)大于規(guī)定尺寸時(shí)，周邊寬度系數(shù)被設(shè)定成 臉寬度越大則越小。然后，根據(jù)臉區(qū)域信息，將周邊高度計(jì)算為臉高度 X周邊高度系數(shù)(步驟S501)。根據(jù)這些計(jì)算結(jié)果來計(jì)算周邊區(qū)域(步驟 15 S502)。然后，判斷計(jì)算出的全部周邊區(qū)域是否收于攝影視場角的范圍內(nèi) (步驟S503)。在收于攝影視場角的范圍內(nèi)的情況下(步驟S503;是)， 結(jié)束周邊區(qū)域預(yù)測設(shè)定處理。另一方面，在未收于攝影視場角的范圍內(nèi)的情況下(步驟S503;否)， 判斷周邊的規(guī)定閾值％是否收在攝影視場角的范圍內(nèi)(步驟S304)。在收 20于攝影視場角的范圍內(nèi)的情況下(步驟S504;是)，更新計(jì)算出的周邊區(qū) 域(步驟S505),結(jié)束周邊區(qū)域預(yù)測設(shè)定處理。并且，在未收于攝影視場角的范圍內(nèi)的情況下(步驟S504;否)， 清除未收于攝影視場角的范圍內(nèi)的周邊區(qū)域(步驟S506)，結(jié)束周邊區(qū)域 預(yù)測設(shè)定處理。在該情況下，如果全部區(qū)域未收于攝影視場角的范圍內(nèi)， 25則成為周邊區(qū)域未檢測出，在下一周邊區(qū)域檢測判定(步驟S404、 S418) 中，判定結(jié)果為否。這里，參照圖16—1 圖16—4來說明圖15所示的周邊區(qū)域預(yù)測設(shè) 定例。圖16_1示出8個(gè)周邊區(qū)域全部收于攝影視場角的范圍內(nèi)的幀圖 像例。在該情況下，針對所有8個(gè)周邊區(qū)域和臉區(qū)域利用運(yùn)動(dòng)檢測部15
來進(jìn)行圖形匹配。即，將所有8個(gè)周邊區(qū)域設(shè)定為有效的周邊區(qū)域。圖16_2示出8個(gè)周邊區(qū)域中的一部分未收于攝影視場角的范圍內(nèi) 的幀圖像例。即，在圖示例的情況下，下排的3個(gè)周邊區(qū)域未收于攝影 視場角的范圍內(nèi)，不過例如50%以上都收于攝影視場角的范圍內(nèi)，因而 5將下排的3個(gè)周邊區(qū)域的尺寸變更成收于攝影視場角的范圍內(nèi)。然后， 將所有8個(gè)周邊區(qū)域設(shè)定為有效的周邊區(qū)域，并針對所有8個(gè)周邊區(qū)域 和臉區(qū)域利用運(yùn)動(dòng)檢測部15來進(jìn)行圖形匹配。圖16_3示出8個(gè)周邊區(qū)域中的一部分未收于攝影視場角的范圍內(nèi) 的幀圖像例。即，在圖示例的情況下，下排的3個(gè)周邊區(qū)域未收于攝影 io視場角的范圍內(nèi)，且例如50%以上都未收于攝影視場角的范圍內(nèi)，因此 將下排的3個(gè)周邊區(qū)域從周邊區(qū)域中排除。然后，將剩余的所有5個(gè)周 邊區(qū)域設(shè)定為有效的周邊區(qū)域，針對5個(gè)周邊區(qū)域和臉區(qū)域利用運(yùn)動(dòng)檢 測部15來進(jìn)行圖形匹配。圖16—4示出臉區(qū)域大于規(guī)定尺寸的幀圖像例。在該情況下，將周 15邊區(qū)域的尺寸設(shè)定為小于臉區(qū)域的尺寸(例如1/4)，并設(shè)定成使收于攝 影視場角的范圍內(nèi)的周邊區(qū)域數(shù)增加。在圖示例中，示出周邊區(qū)域數(shù)從 標(biāo)準(zhǔn)的8個(gè)增加到12個(gè)的例子。下面，說明前一幀與當(dāng)前幀之間的步驟S407的臉區(qū)域圖形匹配處理 和步驟S409的周邊區(qū)域圖形匹配處理。這里，圖形匹配處理為了提高匹 20配處理的精度，而將臉區(qū)域和周邊區(qū)域分別分割為多個(gè)宏塊(分割區(qū)域) 來進(jìn)行。圖17—1是示出在臉區(qū)域較小時(shí)的臉區(qū)域和周邊區(qū)域各自的宏 塊的分割例的示意圖。圖17—1示出將臉區(qū)域等分割為4個(gè)宏塊并將各 周邊區(qū)域也等分割為4個(gè)宏塊的例子。圖17—2是示出在臉區(qū)域較大時(shí) 的臉區(qū)域和周邊區(qū)域各自的宏塊的分割例的示意圖。圖17—2示出將臉 25區(qū)域等分割為20個(gè)宏塊并將各周邊區(qū)域也等分割為20個(gè)宏塊的例子。 另外，各個(gè)臉區(qū)域和周邊區(qū)域的宏塊的尺寸無需一律相同，也可以不同， 可以設(shè)定適當(dāng)?shù)姆指顢?shù)(個(gè)數(shù))。并且，步驟S407的臉區(qū)域圖形匹配處 理由于與圖9的情況相同，因而省略圖示和說明。圖18是示出在系統(tǒng)控制器27的控制下由運(yùn)動(dòng)檢測部15執(zhí)行的周邊 說明書第24 略流程圖。在該圖形匹配處理中，將以下情況 作為基本，g|]:作為周邊區(qū)域的時(shí)間序列運(yùn)動(dòng)，根據(jù)各區(qū)域內(nèi)的有位置變化的多個(gè)宏塊的變化來檢測位置變化量。首先，開始周邊區(qū)域圖形匹配處理，針對周邊區(qū)域決定宏塊的尺寸/5個(gè)數(shù)(步驟S520)。然后，按各宏塊進(jìn)行相關(guān)運(yùn)算(步驟S521)，通過綜 合判斷相關(guān)結(jié)果，來計(jì)算各宏塊的運(yùn)動(dòng)矢量(步驟S522)。在進(jìn)行各宏塊 的相關(guān)運(yùn)算時(shí)，在當(dāng)前幀中設(shè)定比前一幀大一圈的范圍，并通過判斷每 一像素運(yùn)動(dòng)到哪里來進(jìn)行。然后，針對計(jì)算出的運(yùn)動(dòng)矢量，按各宏塊判 定可靠性(步驟S523)。可靠性的判定例如是根據(jù)計(jì)算出的運(yùn)動(dòng)矢量的方io向是否一致等的相關(guān)值的大小來進(jìn)行的。然后，根據(jù)有可靠性的宏塊來 計(jì)算各個(gè)周邊區(qū)域的運(yùn)動(dòng)矢量(步驟S524)。該情況下的運(yùn)動(dòng)矢量可以通 過例如采用運(yùn)動(dòng)矢量的平均值或頻度高的運(yùn)動(dòng)矢量等的方法來求出。然 后，關(guān)于計(jì)算出的運(yùn)動(dòng)矢量，判定周邊區(qū)域整體的可靠性(步驟S525)， 在周邊區(qū)域整體有可靠性的情況下(步驟S526;是)，將在步驟S524中15求出的周邊區(qū)域的運(yùn)動(dòng)矢量視為有效，結(jié)束周邊區(qū)域圖形匹配處理。在 周邊區(qū)域整體沒有可靠性的情況下(步驟S526;否)，清除在步驟S524 中求出的周邊區(qū)域的運(yùn)動(dòng)矢量(步驟S527)，結(jié)束周邊區(qū)域圖形匹配處理。 并且，說明步驟S412中的相對周邊區(qū)域矢量可靠性判定處理。圖 19是示出由系統(tǒng)控制器27執(zhí)行的相對周邊區(qū)域矢量可靠性判定處理例的20概略流程圖。該處理是這樣的處理，S卩在求出臉區(qū)域的運(yùn)動(dòng)矢量和周 邊區(qū)域的運(yùn)動(dòng)矢量的情況下，分割為縱橫的運(yùn)動(dòng)，根據(jù)各個(gè)方向上的運(yùn) 動(dòng)是否有同一性來判定可靠性。首先，根據(jù)I水平周邊區(qū)域矢量一水平臉區(qū)域矢量I來計(jì)算水平差 矢量(步驟S530),并根據(jù)I垂直周邊區(qū)域矢量—垂直臉區(qū)域矢量I來計(jì)25算垂直差矢量(步驟S531)。然后，判定水平差矢量是否小于預(yù)先設(shè)定的 規(guī)定的水平矢量閾值(步驟S532)，且判定垂直差矢量是否小于預(yù)先設(shè)定 的規(guī)定的垂直矢量閾值(步驟S533)。當(dāng)水平差矢量小于水平矢量閾值(步 驟S532;是)、而且垂直差矢量小于垂直矢量閾值時(shí)(步驟S533;是)， 判定為相對周邊區(qū)域矢量有可靠性(步驟S534)，結(jié)束相對周邊區(qū)域矢量
可靠性判定處理。另一方面，當(dāng)水平差矢量是水平矢量閾值以上(步驟S532;否)、或者垂直差矢量是垂直矢量閾值以上時(shí)(步驟S533;否)， 判定為相對周邊區(qū)域矢量沒有可靠性(步驟S535)，結(jié)束相對周邊區(qū)域矢 量可靠性判定處理。5 這樣，根據(jù)本實(shí)施方式2，利用臉檢測部18從由攝像元件12所獲得的圖像數(shù)據(jù)中檢測臉區(qū)域，并且在周邊區(qū)域設(shè)定部23的設(shè)定下檢測與 臉區(qū)域作等效運(yùn)動(dòng)的周邊區(qū)域，利用運(yùn)動(dòng)檢測部15來檢測己檢測出的臉 區(qū)域和周邊區(qū)域各自在幀間的時(shí)間序列運(yùn)動(dòng)，根據(jù)臉檢測部18的檢測結(jié) 果和運(yùn)動(dòng)檢測部15的檢測結(jié)果來決定當(dāng)前幀中的臉區(qū)域。因此，即使在io被攝體的臉從正向變?yōu)闄M向、后向等而由臉檢測部18不能檢測出臉區(qū)域 的情況下，也能通過使用臉區(qū)域自身的運(yùn)動(dòng)檢測和周邊區(qū)域的運(yùn)動(dòng)檢測 的結(jié)果，來適當(dāng)?shù)乩^續(xù)估計(jì)臉區(qū)域的位置。
權(quán)利要求
1. 一種攝像裝置，其決定有運(yùn)動(dòng)的被攝體的臉區(qū)域，其特征在于，該攝像裝置具有攝像部，其接收被攝體光并進(jìn)行光電轉(zhuǎn)換，以幀為單位獲得圖像數(shù)據(jù)；臉檢測部，其從所述已獲得的圖像數(shù)據(jù)中檢測臉存在的區(qū)域；臉周邊檢測部，其從所述已獲得的圖像數(shù)據(jù)中檢測所述檢測出的臉區(qū)域的周邊區(qū)域；運(yùn)動(dòng)檢測部，其檢測所述檢測出的臉區(qū)域和周邊區(qū)域各自在所述圖像幀間的時(shí)間序列運(yùn)動(dòng)；以及臉位置決定部，其根據(jù)所述臉檢測部的檢測結(jié)果和所述運(yùn)動(dòng)檢測部的檢測結(jié)果來決定當(dāng)前的圖像幀的臉區(qū)域。
2. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，該攝像裝置具有 15攝像條件設(shè)定部，其根據(jù)所述決定的臉區(qū)域的圖像數(shù)據(jù)來設(shè)定攝像條件。
3. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述臉周邊檢測 部檢測被預(yù)測為與所述檢測出的臉區(qū)域的運(yùn)動(dòng)等效地運(yùn)動(dòng)的軀體區(qū)域作 為所述周邊區(qū)域。
4. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述臉周邊檢測 20部檢測被設(shè)定為與所述檢測出的臉區(qū)域的運(yùn)動(dòng)等效地運(yùn)動(dòng)的周邊區(qū)域作為所述周邊區(qū)域。
5. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，由所述臉周邊檢 測部進(jìn)行檢測的所述周邊區(qū)域是根據(jù)攝像畫面內(nèi)的所述臉區(qū)域的位置或 所述臉區(qū)域的大小來設(shè)定的。25
6.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，所述運(yùn)動(dòng)檢測部將所述臉區(qū)域和所述周邊區(qū)域的各個(gè)區(qū)域分別分割為多個(gè)區(qū)域，并檢測 基于該分割后的各區(qū)域中有位置變化的多個(gè)分割區(qū)域的變化的位置變化 量，作為時(shí)間序列運(yùn)動(dòng)。
7.根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，在當(dāng)前的圖像幀 中由所述臉檢測部檢測出臉區(qū)域的情況下，所述臉位置決定部根據(jù)該臉 檢測部的檢測結(jié)果來決定當(dāng)前的圖像幀中的臉區(qū)域，在當(dāng)前的圖像幀中 所述臉檢測部未檢測出臉區(qū)域、且由所述運(yùn)動(dòng)檢測部檢測出圖像幀間的 臉區(qū)域和周邊區(qū)域的運(yùn)動(dòng)的情況下，所述臉位置決定部至少根據(jù)該運(yùn)動(dòng) 5檢測部對臉區(qū)域運(yùn)動(dòng)的檢測結(jié)果，將當(dāng)前的圖像幀中的臉區(qū)域決定為臉 位置。
8. 根據(jù)權(quán)利要求7所述的攝像裝置，其特征在于，該攝像裝置具有 可靠性判定部，其判定所述運(yùn)動(dòng)檢測部對臉區(qū)域運(yùn)動(dòng)的檢測結(jié)果和周邊 區(qū)域運(yùn)動(dòng)的檢測結(jié)果之間的相對運(yùn)動(dòng)的可靠性，io 在判定為相對運(yùn)動(dòng)的可靠性不在規(guī)定水平以上的情況下，重新設(shè)定當(dāng)前的圖像幀中的周邊區(qū)域。
9. 根據(jù)權(quán)利要求1所述的攝像裝置，其特征在于，在當(dāng)前的圖像幀 中由所述臉檢測部檢測出臉區(qū)域的情況下，所述臉位置決定部根據(jù)該臉 檢測部的檢測結(jié)果來決定當(dāng)前的圖像幀中的臉區(qū)域，在當(dāng)前的圖像幀中15所述臉檢測部未檢測出臉區(qū)域、且所述運(yùn)動(dòng)檢測部未檢測出圖像幀間的 臉區(qū)域的運(yùn)動(dòng)、且由該運(yùn)動(dòng)檢測部檢測出圖像幀間的周邊區(qū)域的運(yùn)動(dòng)的 情況下，所述臉位置決定部根據(jù)該運(yùn)動(dòng)檢測部對周邊區(qū)域運(yùn)動(dòng)的檢測結(jié) 果來估計(jì)當(dāng)前的圖像幀中的臉區(qū)域，并將其決定為臉位置。
10. —種臉區(qū)域決定方法，其決定所拍攝的有運(yùn)動(dòng)的被攝體的臉區(qū)20域，其特征在于，該臉區(qū)域決定方法具有攝像步驟，其通過攝像部接收被攝體光，并進(jìn)行光電轉(zhuǎn)換，以幀為 單位獲得圖像數(shù)據(jù)；臉檢測步驟，其從所述已獲得的圖像數(shù)據(jù)中檢測臉存在的區(qū)域； 臉周邊檢測步驟，其從所述已獲得的圖像數(shù)據(jù)中檢測所述檢測出的25臉區(qū)域的周邊區(qū)域；運(yùn)動(dòng)檢測步驟，其檢測所述檢測出的臉區(qū)域和周邊區(qū)域各自在所述 圖像幀間的時(shí)間序列運(yùn)動(dòng)；以及臉位置決定步驟，其根據(jù)所述臉檢測步驟的檢測結(jié)果和所述運(yùn)動(dòng)檢 測步驟的檢測結(jié)果來決定當(dāng)前的圖像幀的臉區(qū)域。
全文摘要
本發(fā)明提供攝像裝置和攝像裝置中的臉區(qū)域決定方法。本發(fā)明在被攝體的臉從正向變?yōu)闄M向、后向的狀況時(shí)，也能適當(dāng)?shù)乩^續(xù)估計(jì)臉位置。從攝像部所獲得的圖像數(shù)據(jù)中通過模板匹配來檢測臉區(qū)域(S200)，在檢測出臉區(qū)域的情況下(S201；是)，根據(jù)該檢測結(jié)果來決定臉區(qū)域的位置(S202)，檢測與臉區(qū)域等效地運(yùn)動(dòng)的軀體區(qū)域(S203～S205)，通過圖形匹配來檢測已檢測出的臉區(qū)域和軀體區(qū)域各自在幀間的時(shí)間序列運(yùn)動(dòng)(S207，S209)，即使未檢測出臉區(qū)域(S201；否)，通過使用臉區(qū)域自身的運(yùn)動(dòng)檢測結(jié)果(S211；是，S221；是)或軀體區(qū)域的運(yùn)動(dòng)檢測結(jié)果(S210；是，S211；否)，也能適當(dāng)?shù)乩^續(xù)估計(jì)臉區(qū)域的位置。
文檔編號H04N5/232GK101399915SQ200810168019
公開日2009年4月1日 申請日期2008年9月25日 優(yōu)先權(quán)日2007年9月26日
發(fā)明者松原浩輔 申請人:奧林巴斯映像株式會社