專利名稱：圖像拍攝設(shè)備和方法、及表情評價設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于通過使用固態(tài)圖像拍攝裝置來拍攝圖像的圖像拍攝設(shè)備和方法、一種用于評價所拍攝的圖像的面部表情的表情評價設(shè)備、以及一種用于執(zhí)行其處理 的程序。
背景技術(shù)：
一般，在圖像拍攝設(shè)備中，不僅在鹵化銀相機，而且在數(shù)碼相機中也會安裝所謂的 自拍器功能，其通常從執(zhí)行用于按下快門的操作開始經(jīng)過固定時間段之后自動釋放快門按 鈕。然而，要預(yù)先確定通過自拍器功能釋放快門的定時。因此，難以保證當(dāng)釋放快門時，被 攝像者的面部上有所想要的表情，并且存在可能經(jīng)常會得到不滿意照片的問題。另外，近年來，用于基于圖像信號來執(zhí)行數(shù)字計算處理的圖像處理技術(shù)迅速發(fā)展， 并且作為一個實例，已知用于從圖像中檢測人的面部的技術(shù)。已知一種面部檢測技術(shù)，其 中，例如，面部圖像中的兩個像素之間的亮度差異已知為一個特征量，將基于該特征量來計 算表示預(yù)定區(qū)域是否在輸入圖像中的評價值，并且最后基于一個或多個評價值中的評價值 來確定該區(qū)域中的圖像是否為面部(例如，參考第2005-157679號日本未審查專利申請公 開(段落號
至
)，圖1)。此面部檢測技術(shù)的發(fā)展已發(fā)展到可將此技術(shù)安裝到用于使用固態(tài)圖像拍攝裝置 (諸如，數(shù)碼相機)執(zhí)行圖像拍攝的數(shù)字圖像拍攝設(shè)備中的水平。此外，最近，用于確定檢 出面部的表情的技術(shù)已引起了注意。例如，已認(rèn)為，對來自圖像信號(其中，連續(xù)拍攝多個 框)的每個拍攝的圖像，可評價被攝像者的面部的表情，以能夠基于關(guān)于那些評價的信息 選擇適當(dāng)?shù)膱D像(例如，參考第2004-46591號日本未審查專利申請公開(段落號W063] 至
)，圖 3)。

發(fā)明內(nèi)容
近年來，由于數(shù)字圖像拍攝裝置的制造商之間的競爭已變得激烈，所以急需要發(fā) 展這些圖像拍攝設(shè)備來增加其產(chǎn)品價值。鑒于如上所述的自拍器功能問題，所拍攝的圖像 并不一定會滿足攝像者和被攝像者。因此，可以說，對于增加產(chǎn)品價值來說，輔助圖像拍攝 操作以增加這種滿意度的功能是非常重要的。特別，已預(yù)期使用先進(jìn)的圖像處理技術(shù)來實 施這種功能。然而，已實施了在執(zhí)行這種圖像拍攝功能的同時實時輔助圖像拍攝操作的功 能。鑒于這些問題作出本發(fā)明。需要提供一種能夠使被攝像者和攝像者都高度滿意地 來拍攝圖像的圖像拍攝設(shè)備和方法。
另外，還需要提供一種能夠使被攝像者和攝像者高度滿意地來拍攝圖像的表情評 價設(shè)備、以及用于執(zhí)行其處理的程序。根據(jù)本發(fā)明的實施例，提供了一種用于通過使用固態(tài)圖像拍攝裝置拍攝圖像的圖 像拍攝設(shè)備，該圖像拍攝設(shè)備包括面部檢測器，被配置為在將通過圖像拍攝獲得的圖像信 號記錄在記錄介質(zhì)上為止的期間內(nèi)，基于圖像信號來檢測人的面部；表情評價部，被配置為 評價檢出面部的表情，并且計算表示與除了指定表情的表情相比檢出面部與指定表情的接 近程度的表情評價值；以及通知部，被配置為向被攝像者通知對應(yīng)于所計算的表情評價值 的通知信息。在此圖像拍攝設(shè)備 中，在將通過圖像拍攝所獲得的圖像信號記錄在記錄介質(zhì)上為 止的時間段中，面部檢測器從圖像信號中檢測人的面部。表情評價部評價通過面部檢測器 所檢測的面部的表情，并且計算表示與除指定表情之外的表情相比面部表情與指定表情的 接近程度的表情評價值。通知部向被攝像者通知對應(yīng)于所計算的表情評價值的通知信息。在本發(fā)明的圖像拍攝設(shè)備中，在將通過圖像拍攝獲得的圖像信號記錄在記錄介質(zhì) 上為止的時間段中，從所拍攝圖像中檢測人的面部，評價面部的表情，并計算表示與除指定 表情之外的表情相比上述面部表情與指定表情的接近程度的表情評價值。然后，向被攝像 者通知對應(yīng)于表情評價值的通知信息。因此，能夠使被攝像者看出他/她的表情是否適于 圖像拍攝，因此，能夠有利于被攝像者形成更好的表情。因此，能夠使被攝像者和攝像者高 度滿意度地將圖像可靠記錄在記錄介質(zhì)上。


圖1是示出了根據(jù)本發(fā)明的第一實施例的圖像拍攝設(shè)備的主要部分的配置的框 圖；圖2是示出了在圖像拍攝設(shè)備中所提供的用以執(zhí)行表情評價模式和表情響應(yīng)記 錄模式的功能的框圖；圖3示出了在表情評價模式下的操作的略圖；圖4示出了表示微笑得分的條形圖的移動；圖5示出了關(guān)于使用條形圖的微笑得分的顯示屏的實例；圖6示出了當(dāng)檢測到多個面部時關(guān)于對應(yīng)于表情評價值的信息的屏幕顯示的第 一實例；圖7示出了當(dāng)檢測到多個面部時關(guān)于對應(yīng)于表情評價值的信息的屏幕顯示的第 二實例；圖8概念示出了為了進(jìn)行表情評價而預(yù)先生成的信息、和信息生成的流程；圖9A、圖9B和圖9C示出了用于掩蔽將在PCA處理時輸入的取樣圖像的處理過程；圖10概念示出了在像素空間和PCA空間中確定軸與面部的輸入圖像之間的關(guān) 系；圖11示出了當(dāng)將表情評價值作為數(shù)值輸出時的計算實例；圖12是示出了在表情響應(yīng)記錄模式下圖像拍攝設(shè)備的處理流程的流程圖；圖13示出了根據(jù)本發(fā)明的第二實施例的圖像拍攝設(shè)備的外觀；圖14示出了根據(jù)本發(fā)明的第三實施例的圖像拍攝設(shè)備的外觀；
圖15示出了根據(jù)本發(fā)明的第四實施例的圖像拍攝設(shè)備的外觀；以及圖16示出了根據(jù)本發(fā)明的第五實施例的PC(個人計算機)的外觀。
具體實施例方式以下，將參考附圖詳細(xì)描述本發(fā)明的優(yōu)選實施例。[第一實施例]圖1是示出了根據(jù)本發(fā)明的第一實施例的圖像拍攝設(shè)備的主要部分的配置的框圖。圖1中所示的圖像拍攝設(shè)備被實施為數(shù)碼相機或數(shù)碼攝像機。圖像拍攝設(shè)備包括 光學(xué)組塊11、驅(qū)動器11a、圖像拍攝裝置12、定時發(fā)生器(TG) 12a、模擬前端(AFE)電路13、 相機信號處理電路14、圖形處理電路15、顯示裝置16、圖像編碼器17、記錄設(shè)備18、微型計 算機19、輸入部20、LED (發(fā)光二極管)發(fā)光部21、和聲音輸出部22。光學(xué)組塊11包括用于將來自對象的光集中到圖像拍攝裝置12中的透鏡、用于移 動透鏡以執(zhí)行調(diào)焦和變焦的驅(qū)動機構(gòu)、快門機構(gòu)、光圈機構(gòu)等?；趤碜晕⑿陀嬎銠C19的 控制信號，驅(qū)動器Ila控制光學(xué)組塊11中每個機構(gòu)的驅(qū)動。例如，圖像拍攝裝置12是CXD (電荷耦合器件)型或CMOS (互補金屬氧化物半導(dǎo) 體)型的固態(tài)圖像拍攝裝置，基于從TG 12a輸出的定時信號而被驅(qū)動，然后將來自對象的 入射光轉(zhuǎn)換為電信號。在微型計算機19的控制下，TG 12a輸出定時信號。AFE電路13取樣并保持從圖像拍攝裝置12輸出的圖像信號，以通過⑶S(相關(guān)雙 取樣)處理來令人滿意地維持S/N(信號/噪音)比、通過AGC(自動增益控制)處理來控 制增益、執(zhí)行A/D轉(zhuǎn)換、以及輸出數(shù)字圖像數(shù)據(jù)。相機信號處理電路14對來自AFE電路13的圖像信號執(zhí)行AF(自動聚焦)、AE(自 動曝光)、關(guān)于各種圖像質(zhì)量修正處理的檢測處理、以及基于檢測信息的對應(yīng)于從微型計算 機19輸出的信號的圖像質(zhì)量修正處理。如后所述，在此實施例中，相機信號處理電路14具 有面部檢測功能和提取面部區(qū)域的數(shù)據(jù)的功能。圖形處理電路15將從相機信號處理電路14輸出的圖像數(shù)據(jù)轉(zhuǎn)換為將在顯示裝置 16上顯示的信號，然后將該信號提供給顯示裝置16。此外，圖形處理電路15響應(yīng)于來自微 型計算機19的請求，將諸如表情得分(稍后描述)的信息組合到圖像中。例如，顯示裝置 16由IXD (液晶顯示器)形成，并且基于來自圖形處理電路15的圖像信號來顯示圖像。圖像編碼器17壓縮并編碼從相機信號處理電路14輸出的圖像數(shù)據(jù)，然后將編碼 數(shù)據(jù)輸出至記錄設(shè)備18。更特別，圖像編碼器17根據(jù)諸如JPEG(聯(lián)合圖像專家組)的編碼 方法來壓縮并編碼關(guān)于一個框(其由相機信號處理電路14處理)的圖像數(shù)據(jù)，然后輸出靜 止圖像的編碼數(shù)據(jù)。不僅可以壓縮和編碼靜止圖像，還可以壓縮和編碼移動圖像的數(shù)據(jù)。記錄設(shè)備18是用于記錄來自圖像編碼器17的編碼數(shù)據(jù)作為圖像文件的設(shè)備，并 且例如，被實施為用于驅(qū)動便攜式記錄介質(zhì)(諸如，磁帶或光盤，或HDD (硬盤驅(qū)動器))的 設(shè)備。微型計算機19包括CPU(中央處理器)、和存儲器(諸如R0M(只讀存儲器)和 RAM(隨機存取存儲器))，并且通過執(zhí)行存儲于存儲器中的程序來集中控制圖像拍攝設(shè)備。輸入部20向微型計算機19輸出與通過用戶輸入給各種輸入開關(guān)的操作對應(yīng)的控制信號。作為輸入開關(guān)，例如，提供了快門釋放按鈕、用于選擇各種菜單并設(shè)定操作模式的 橫向鍵(cross key)、以及其他?；趤碜晕⑿陀嬎銠C19的控制信號，LED發(fā)光部21使得設(shè)置在圖像拍攝設(shè)備的 外表面上的LED能夠被打開。LED的實例包括表示自拍器功能正被操作的那些LED?；趤碜晕⑿陀嬎銠C19的控制信號，聲音輸出部22輸出諸如操作確認(rèn)聲音的聲 音。當(dāng)提供了音頻數(shù)據(jù)編碼器/解碼器時，可以輸出當(dāng)再生音頻數(shù)據(jù)時的再生聲音。在此圖像拍攝設(shè)備中，將通過 圖像拍攝裝置12感光并光電轉(zhuǎn)換的信號順序提供 給AFE電路13，從而執(zhí)行⑶S處理和AGC處理，并且此后，將信號轉(zhuǎn)換為數(shù)字圖像數(shù)據(jù)。相 機信號處理電路14對從AFE電路13提供的圖像數(shù)據(jù)執(zhí)行圖像質(zhì)量修正處理，并且在處理 之后，將圖像數(shù)據(jù)提供給圖形處理電路15，從而將圖像數(shù)據(jù)轉(zhuǎn)換為用于顯示的圖像信號。因 此，將當(dāng)前拍攝的圖像(通過相機的圖像(camera through image))顯示在顯示裝置16上， 以使攝像者能夠通過觀看圖像來確認(rèn)視角。在此狀態(tài)下，當(dāng)由于按下輸入部20的快門釋放按鈕(shutterrelease button)而 對微型計算機19發(fā)出用于記錄圖像的指令時，將來自相機信號處理電路14的圖像數(shù)據(jù)提 供給圖像編碼器17，從而執(zhí)行壓縮和解碼處理，然后通過記錄設(shè)備18記錄圖像數(shù)據(jù)。當(dāng)將 要記錄靜止圖像時，將來自一個框的圖像數(shù)據(jù)從相機信號處理電路14提供給圖像編碼器 17。當(dāng)將要記錄移動圖像時，將處理的圖像數(shù)據(jù)連續(xù)提供給圖像編碼器17。接下來，將給出對在圖像拍攝設(shè)備中所設(shè)置的圖像拍攝操作模式的描述。圖像拍 攝設(shè)備具有一種模式，其中，當(dāng)將要拍攝靜止圖像時，從所拍攝的圖像中檢測被攝像者的面 部、評價該面部的表情，并且將表示評價程度的信息通知給被攝像者的模式，并且還具有另 一種模式，其中，響應(yīng)于評價程度來自動釋放快門，并且將靜止圖像數(shù)據(jù)記錄在記錄設(shè)備18 中。后文中，將前一種模式稱為“表情評價模式”，而將后一種模式稱為“表情響應(yīng)記錄模 式”。表情評價模式起到當(dāng)從所拍攝圖像中檢測面部時評價面部的表情、將對應(yīng)于該評 價的信息通知給被攝像者、以及促使被攝像者形成更適于圖像拍攝的表情的作用。例如，評 價表情是否是微笑的程度。此外，在表情響應(yīng)記錄模式中，當(dāng)評價值超過預(yù)定值時，確定被 攝像者的面部已變?yōu)檫m于圖像拍攝的表情，然后自動記錄靜止圖像數(shù)據(jù)。這有助于使被攝 像者能夠高度滿意地記錄圖像。已描述了此實施例具有兩種模式，即，表情評價模式和表情 響應(yīng)記錄模式。可選地，此實施例可僅具有表情響應(yīng)記錄模式。圖2是示出了在圖像拍攝設(shè)備中設(shè)置的用以實施表情評價模式和表情響應(yīng)記錄 模式的功能的框圖。如圖2所示，作為用于實施每個圖像拍攝操作模式的功能，圖像拍攝設(shè)備包括面 部檢測器31、面部圖像生成器32、表情評價部41、通知控制器42、和記錄操作控制器43。在 此實施例中，通過在相機信號處理電路14中的硬件來實施面部檢測器31和面部圖像生成 器32。將表情評價部41、通知控制器42、和記錄操作控制器43作為由微型計算機19執(zhí)行 的軟件功能來實施。然而，這些功能中的每個可通過硬件或軟件來實施。可在微型計算機 19中預(yù)存確定軸信息44，該確定軸信息44用于通過在其中所設(shè)置的諸如ROM的存儲器上 的表情評價部41進(jìn)行的表情評價計算。如后所述，確定軸信息44包含表示表情的確定軸 的向量的系數(shù)信息，表情的確定軸是基于通過來自兩個表情上的多個面部的取樣數(shù)據(jù)的主要分量分析而獲得的信號分量來執(zhí)行線性判別分析而獲得的。在這點上，將參考以下描述的圖3和4來描述圖2中所示的每個功能的操作。首 先，圖3示出了在表情評價模式下的操作的略圖。在表情評價模式下，首先，基于通過使用圖像拍攝裝置12進(jìn)行圖像拍攝獲得并通 過相機信號處理電路14傳輸?shù)膱D像數(shù)據(jù)，面部檢測器31從圖像中檢測被攝像者的面部 (步驟Si)。然后，將表示檢測面部區(qū)域的檢測信息輸出至面部圖像生成器32。如在此實施 例中，當(dāng)通過在顯示裝置16上顯示對應(yīng)于表情評價值的信息來進(jìn)行通知時，還要將來自面 部檢測器31的面部的檢測信息提供給微型計算機19的通知控制器42。
作為用于檢測面部的技術(shù)，可使用一項眾所周知的技術(shù)。例如，可使用在第 2005-157679號日本未審查專利申請公開中披露的技術(shù)。在此技術(shù)中，首先，要了解在面部 圖像中兩個像素之間的亮度差異，并將其預(yù)存為特征量。然后，如圖3的步驟Sl所示，將固 定尺寸的窗Wl順序分配給輸入圖像，基于特征量來評價面部是否包含在窗Wl內(nèi)的圖像中， 然后輸出評價值。此時，通過順序減少輸入圖像然后通過執(zhí)行相同處理，可能通過使用固定 尺寸的窗Wl來進(jìn)行評價。然后，基于通過那些操作獲得的評價值來最終確定面部存在的區(qū) 域。接下來，面部圖像生成器32提取所檢測面部的區(qū)域Af的數(shù)據(jù)(步驟S2)。然后， 面部圖像生成器32將所提取的圖像數(shù)據(jù)轉(zhuǎn)換為固定尺寸的圖像數(shù)據(jù)，將其標(biāo)準(zhǔn)化，然后將 圖像數(shù)據(jù)提供給表情評價部41 (步驟S3)。在這點上，在本實施例中，作為從面部檢測器31輸出的面部檢測信息的實例，假 定將要輸出圍繞面部外圍的長方形的檢測框的位置(例如，左端的坐標(biāo)，后文中稱為“面 部的位置信息”)、和檢測框的尺寸(例如，橫向和縱向的每個方向中的像素數(shù)，后文中稱為 “面部的尺寸信息”)。在此情況下，面部圖像生成器32訪問臨時存儲有關(guān)于將要檢測面部 的圖像數(shù)據(jù)的存儲器(RAM)，并且僅讀取與來自面部檢測器31的面部的位置信息和尺寸信 息對應(yīng)的區(qū)域的數(shù)據(jù)。通過使所提取的圖像數(shù)據(jù)經(jīng)過分辨率轉(zhuǎn)換，將所提取的圖像數(shù)據(jù)標(biāo)準(zhǔn)化為固定尺 寸(分辨率)的圖像數(shù)據(jù)。在標(biāo)準(zhǔn)化之后的圖像尺寸變?yōu)楫?dāng)表情評價部41評價面部的表 情時會成為處理單元的尺寸。在此實例中，例如，將尺寸設(shè)定為48X48像素。作為在面部圖像生成器32中所提供的圖像提取功能和分辨率轉(zhuǎn)換功能，也可使 用通常為了檢測和生成輸出圖像而為相關(guān)技術(shù)的相機信號處理單元14提供的相同功能。接下來，基于來自面部圖像生成器32的面部的標(biāo)準(zhǔn)化圖像數(shù)據(jù)和預(yù)存的確定軸 信息44，表情評價部41執(zhí)行用于評價面部表情的適合程度的操作，然后輸出表情評價值 (步驟S4)。表情評價值表示面部的表情與兩個表情中的一個表情的接近程度。例如，作為 兩個表情，使用“微笑”和“普通表情”。表情評價值越高，表情被評價為“微笑”而非“普通 表情”的程度越高。稍后將描述計算表情評價值的方法。接下來，通知控制器42向被攝像者通知與從表情評價部41輸出的表情評價值對 應(yīng)的信息(步驟S5)。例如，通過圖形處理電路15將對應(yīng)于表情評價值的信息顯示在朝向 被攝像者側(cè)的顯示裝置16上。在此情況下，可執(zhí)行顯示，以基于關(guān)于從面部檢測器31提供 的面部的位置和尺寸信息，在顯示裝置16內(nèi)指定將要評價的面部?？梢酝ㄟ^使用LED發(fā)光 部21，基于亮度的改變、閃光速度的改變、以及LED發(fā)光部21的顏色改變來通知表情評價值的差異?？蛇x地，可通過經(jīng)由聲音輸出部22來輸出根據(jù)表情評價值而不同的聲音來進(jìn)行通 知。在以下描述中，作為實例，假定表情評價部41評價面部是微笑還是無表情的程 度。在本實施例中，特別，通過將對應(yīng)于表情評價值的信息顯示在顯示裝置16上來將上述 信息通知給被攝像者，顯示裝置16的顯示屏朝向被攝像者側(cè)。在圖3中，示出了一個實例， 其中，在顯示裝置16上顯示了表示與表情評價值對應(yīng)的值的“笑容得分”的條形圖。
圖4示出了表示笑容得分的條形圖的移動。如圖4所示，面部表情為微笑的程度越強，表情評價值變得越高，而面部表情為普 通表情的程度越強，表情評價值變得越低。條形圖中所示的微笑得分與表情評價值成比率 地連續(xù)或以階狀方式變化。在朝向被攝像者側(cè)的顯示裝置16上顯示條形圖。被攝像者可 通過在圖像拍攝時實時查看條形圖來確認(rèn)他/她的表情是否是適于圖像拍攝的微笑。因 此，條形圖用以幫助圖像拍攝操作，以促使被攝像者形成適于圖像拍攝的表情，并且可以拍 攝到更滿意的圖像。如稍后所述，可顯示用于促使具有低表情評價值的被攝像者形成微笑 的指定字符信息。在這點上，當(dāng)模式設(shè)定為“表情響應(yīng)記錄模式”時，表情評價部41執(zhí)行控制，以當(dāng) 表情評價值超過預(yù)定閾值時，自動釋放快門，即，記錄所拍攝的圖像。在圖2中，記錄操作控 制器43是用于控制所拍攝的圖像數(shù)據(jù)的記錄操作的組塊。在正常圖像拍攝操作中，當(dāng)記錄 操作控制器43檢測到輸入部20的快門釋放按鈕被按下時，記錄操作控制器43執(zhí)行控制， 以使圖像拍攝設(shè)備的每個部件能夠在記錄時執(zhí)行適當(dāng)?shù)膱D像拍攝操作(例如，曝光操作和 信號處理操作)，從而圖像編碼器17編碼所拍攝的圖像數(shù)據(jù)，并通過記錄設(shè)備18來記錄編 碼數(shù)據(jù)。然后，當(dāng)表情評價值超過預(yù)定閾值時，表情評價部41請求記錄操作控制器43執(zhí)行 記錄圖像數(shù)據(jù)的操作。因此，當(dāng)從所拍攝圖像中檢測到面部，并且面部表情評價為適于圖像拍攝時(此 處，當(dāng)面部表情與微笑的接近程度變得高時)，自動記錄此時拍攝的圖像。因此，與相關(guān)技術(shù) 的自拍器功能(即，在從按下快門釋放按鈕開始過去固定時間段之后，記錄所拍攝圖像的 功能)相比，可能可靠拍攝被攝像者具有滿意表情的圖像，并且可能增加被攝像者和攝像 者的滿意程度。接下來，以下將描述關(guān)于在顯示裝置16上的微笑得分的指定顯示屏的實例。圖5示出了關(guān)于使用條形圖的微笑得分的屏幕顯示的實例。在圖5中，假定數(shù)碼攝像機100為圖像拍攝設(shè)備。在數(shù)碼攝像機100中，在相機主 機組(main unit) 101的側(cè)表面上設(shè)置用于確認(rèn)視角的顯示裝置16。在此配置的數(shù)字?jǐn)z像 機100中，通常，顯示裝置16的顯示屏的角度是可變的，從而，如圖5所示，可以使顯示屏朝 向設(shè)置有圖像拍攝透鏡102的方向，即，被攝像者的方向。在表情評價模式和表情響應(yīng)記錄 模式中，在顯示裝置16的顯示屏朝向攝像者側(cè)的狀態(tài)下使用數(shù)字?jǐn)z像機100，并且連同被 拍攝對象的圖像一起來顯示對應(yīng)于表情評價值的信息。在圖5的屏幕顯示的實例中，在包含面部201的被拍攝圖像上組合微笑得分顯示 部202，并對其進(jìn)行顯示。在微笑得分顯示部202上，將對應(yīng)于表情評價值的微笑得分顯示 為條形圖203，同樣，將微笑得分顯示為數(shù)值顯示部204上的數(shù)值。在表情響應(yīng)記錄模式中， 顯示表示當(dāng)自動記錄所拍攝圖像時微笑得分邊界的邊界顯示圖標(biāo)205。在此實例中，將數(shù)值形式的閾值顯示在邊界顯示圖標(biāo)205上。在圖5的實例中，連同微笑得分顯示部202，在對應(yīng)于微笑得分的面部201的周圍 顯示面部顯示框206，從而以容易理解的方式來顯示將對其微笑進(jìn)行評價的面部201。此 夕卜，在面部顯示框206的周圍提供用于顯示字符的字符顯示部207，上述字符根據(jù)表情評價 值而不同，以促進(jìn)被攝像者通過使用字符來以較低的微笑程度形成較強微笑。在表情響應(yīng)記錄模式下，可由用戶根據(jù)需要來設(shè)置當(dāng)記錄所拍攝圖像時的表情評 價值的閾值，以使被攝像者能夠在記錄所拍攝圖像之前自由確定他/她所希望的面部表情 與微笑的接近程度。在圖5的實例中，例如，通過用戶以在輸入部20中所提供的左到右方向 (未圖形)按下方向鍵，改變表情評價值的閾值，邊界顯示圖標(biāo)205以左到右的方向移動，并 且使用者可視覺上確認(rèn)對應(yīng)于表情評價值的閾值的微笑得分。在此情況下，當(dāng)將模式設(shè)置 為表情響應(yīng)記錄模式時，以左到右的方向操作的方向 鍵可自動用作用于設(shè)置表情評價值的 閾值的鍵，從而能夠為使用者增加操作容易度。表情評價值的閾值的改變并不限于上述方法，而是可以由選自菜單屏幕的專用設(shè) 置屏幕來執(zhí)行?？蛇x地，可以提供專用操作鍵來改變表情評價值的閾值。例如，當(dāng)顯示裝置 16為觸板型時，可通過使手指接觸在顯示裝置16上所顯示的鍵圖像來改變閾值。此外，可 通過以左到右的方向移動手指來改變閾值，其中，手指接觸圖5的邊界顯示圖標(biāo)205。當(dāng)從圖像拍攝屏幕內(nèi)檢測到多個面部時，可為那些面部中的每個面部計算一個表 情評價值，然后將對應(yīng)于那些值的信息顯示在顯示裝置16上。圖6示出了關(guān)于當(dāng)檢測到多 個面部時與表情評價值對應(yīng)的信息的屏幕顯示的第一實例。圖6示出了檢測到兩個面部211和212的實例。在面部211和212中，在面部區(qū) 域周圍分別顯示面部顯示框213和214，并且在其附近分別提供字符顯示部215和216。根 據(jù)面部211和212中每個的表情評價值來改變面部顯示框213和214中每個的線型，并且 在字符顯示部215和216上顯示對應(yīng)于表情評價值的不同字符。在圖6的實例中，評價面部211具有足夠強的微笑，但評價面部212微笑的不夠。 例如，面部211的表情評價值已達(dá)到用于自動記錄的閾值，但是面部212的表情評價值表示 稍低于閾值的值。此時，將評價狀態(tài)的這些差異通知給對應(yīng)的被攝像者，其中，用實線表示 關(guān)于面部211的面部顯示框213，以及用由虛線表示關(guān)于面部212的面部顯示框214，并且 同樣，在字符顯示部216上顯示用于促使形成較強微笑的字符信息。在此實例中，使用面部 顯示框213和214的線型示出了表情評價值的差異。此外，例如，可以通過亮度、顏色、面部 顯示框的厚度的差異來通知表情評價值的差異。圖7示出了用于當(dāng)檢測到多個面部時顯示對應(yīng)于表情評價值的信息的屏幕顯示 的第二實例。同樣，在圖7的實例中，與圖6類似，檢測到兩個面部，S卩，面部211和212。評價面 部211具有足夠強的微笑，而評價面部212的微笑不夠。此外，在圖7的實例中，通過在面 部211和212的每個區(qū)域附近分別示出對應(yīng)于表情評價值的符號217和218，將表情評價值 的差異通知給被攝像者。以上述方式，由于通過使用顯示裝置執(zhí)行對應(yīng)于表情評價值的信息的通知，所以 可能通過各種方法將對應(yīng)于表情評價值的信息通知給被攝像者，各種方法諸如，通過使用 條形圖或數(shù)值來顯示對應(yīng)于表情評價值的微笑得分、隨著根據(jù)表情評價值而改變的面部顯示框的線型、顏色、亮度等，或通過用于促使被攝像者根據(jù)面部周圍正顯示的表情評價值來 微笑的字符。特別，在數(shù)碼攝像機的情況下，由于可使用至今提供的顯示屏方向可變的顯示 裝置來進(jìn)行通知，所以可能對用戶來說高度滿意地可靠記錄圖像，不會由于相機的基本配 置的改變而引起開發(fā)/制造成本的大幅度增加。 以上，將攝像機用作其中安裝了顯示屏方向可變的顯示裝置的實例。一些設(shè)置有 用于確認(rèn)與圖像拍攝透鏡相對側(cè)上的視角的顯示裝置的數(shù)碼相機使得顯示屏的方向可變。 如果其顯示屏可朝向被攝像者側(cè)，那么就可以顯示上述顯示圖像，從而可能將對應(yīng)于表情 評價值的信息通知給被攝像者。接下來，將描述用于此圖像拍攝設(shè)備中的表情評價方法。圖8概念示出了用于表情評價而預(yù)先生成的信息、以及信息生成的流程。在此實例中，作為用于評價表情的方法，使用了所謂的“費希爾線性判別分析”。在 此方法中，首先，預(yù)先提供各具有兩個表情的面部的多個取樣圖像?；谶@些取樣圖像的數(shù) 據(jù)，通過看作兩個表情之間的兩類問題，預(yù)先形成確定軸K，通過線性判別分析(LDA)，用該 確定軸Ad來滿意地確定兩個表情。然后，當(dāng)進(jìn)行表情評價時，確定面部圖像的輸入數(shù)據(jù)與 確定軸Ad的內(nèi)積，從而計算表情評價值。如圖8所示，在本實施例中，使用微笑的取樣圖像Ps和普通表情的取樣圖像Pn。 將取樣圖像Ps和Pn預(yù)先提供為被標(biāo)準(zhǔn)化為固定尺寸(例如，48X48像素)的圖像。然后， 將這些取樣圖像的數(shù)據(jù)處理為48X48次元(dimension)的向量數(shù)據(jù)，然后執(zhí)行LDA過程。 然而，向量空間變?yōu)榫哂?8X48坐標(biāo)軸的非常大次元的空間。因此，在LDA處理之前，對那 些向量數(shù)據(jù)執(zhí)行主要分量分析(PCA)，以將其轉(zhuǎn)換(次元壓縮)為具有僅有效表示面部特征 的低次元空間的數(shù)據(jù)。在此PCA處理中，首先，考慮獲得M軸，以使輸入M(例如，M = 300)的N次元(N = 48X48)的取樣圖像組中的變化變?yōu)樽畲蟆⑦@些軸被確定為圖像組的積差矩陣的固有值 問題的解(固有向量)，并且通過僅提取具有相對大系數(shù)的向量分量作為主要分量，可將數(shù) 據(jù)壓縮為僅適于顯示面部特征的向量分量的N'次元(N>>N')的數(shù)據(jù)。例如，已知通 過設(shè)定N'=約40，可維持面部表情的確定的充分精確度。通過從通過PCA處理獲得的主 要分量中排除從大系數(shù)開始的若干向量，可以進(jìn)一步減少次元數(shù)，并且可以在維持表情確 定精確度的同時減少下個PCA過程的負(fù)擔(dān)。圖9A、圖9B、和圖9C示出了用于掩蔽將要在PCA處理時輸入的取樣圖像的過程。如圖9A所示，當(dāng)通過實際上使用取樣圖像P (其中，在預(yù)定尺寸的長方形區(qū)域中圖 像拍攝面部221)來執(zhí)行PCA處理時，可能存在以下情況，其中，由于面部221的背景、頭發(fā) 等，而無法必須選擇適當(dāng)主要分量。鑒于此，如圖9B所示，通過將掩蔽物222施加至除面部 221外的區(qū)域，將取樣圖像轉(zhuǎn)換為取樣圖像P1，其中，盡可能僅保留面部區(qū)域，并且在增加 面部的信息密度的狀態(tài)下執(zhí)行PCA處理，從而可能以較高精度執(zhí)行次元壓縮。此外，面部區(qū) 域內(nèi)的嘴會根據(jù)表情而發(fā)生很大的改變，所以常常會變?yōu)楦蓴_元素。因此，如圖9C所示，通 過使用取樣圖像P2 (其中，甚至將掩蔽物223施加到嘴的區(qū)域)來執(zhí)行PCA過程，可能進(jìn)一 步增加次元壓縮的精確度。返回參考圖8，以下將給出描述。將由PCA過程進(jìn)行次元壓縮的微笑和普通表情 的每個取樣圖像轉(zhuǎn)換為在僅具有坐標(biāo)軸(足以顯示面部特征)的局部空間(PCA空間Spca)中的向量數(shù)據(jù)。圖8圖解示出了以下狀態(tài)，其中，微笑的取樣圖像Ps和普通表情的取樣圖 像Pn被投影到PCA空間SreA上。如圖8所示，可以說具有相同表情的取樣圖像在PCA空間 Spca中彼此比較接近。因此，將這些表情的取樣圖像組看作兩個群(cluster) CLs和CLn，并 且通過LDA處理形成最分離這些群的投影軸(確定軸Ad)。這個確定軸Ad稱為“費希爾投
影軸”。通常，在LDA處理中，要確定下確定軸，以使投影在N'次元的固有向量上的類中 和類間的變化變?yōu)樽畲蟆＜?，確定與類中和類間的積差矩陣中的每個的最大固有值對應(yīng)的 固有向量，并且將該固有向量設(shè)為確定軸Ad中的向量(費希爾向量)。在等式(1)和(2) 中分別示出了在積差矩陣與固有值之間的關(guān)系、以及在積差矩陣與固有向量之間的關(guān)系。
(Rff 類中積差矩陣，Rb 類中積差矩陣，λ 固有值)費希爾向量一對應(yīng)于最大固有值的固有向量對于反轉(zhuǎn)矩陣的計算，可分別使用等式(2)左側(cè)的固有值和固有向量、LU(下到 上)分解方法、QR分解方法(Q 正交矩陣，R 上三角矩陣)、和高斯消去法。表情評價部41 將信息(諸如，費希爾向量的每個分量的系數(shù))作為在以上述方式獲得的確定軸Ad上的信 息(確定軸信息44)預(yù)存在ROM等中。圖10概念示出了在像素空間和PCA空間中確定軸與面部的輸入圖像之間的關(guān)系。以下是使用上述確定軸Ad的表情確定的基本過程。首先，使從所拍攝圖像中檢測 的面部的圖像數(shù)據(jù)經(jīng)過PCA處理，并且提取出主要分量。然后，將面部圖像的表情(如圖10 中的PCA空間Spca中所示)評價為經(jīng)PCA處理的面部圖像向量(輸入面部圖像向量)相對 于確定軸Ad的投影分量。即，可通過輸入面部圖像向量與費希爾向量的內(nèi)積來計算表情評 價值Eraip的計算(參見等式(5-1))。
像素空間中的輸入面部圖像向量像素空間中的費希爾向量
^l1 主要分量的向量Axp:表情評價值pin_pca 經(jīng)PCA處理后的輸入面部圖像向量同樣，可以將關(guān)于費希爾向量的信息轉(zhuǎn)換為像素空間Spxl (在PCA處理之前的原始圖像數(shù)據(jù)占有的尺寸空間)中的信息。等式⑶示出了作為像素空間Spxl中的向量的輸入 面部圖像向量，以及等式⑷示出了作為像素空間Spxl中的向量的費希爾向量。圖10概念 示出了這些關(guān)系。如等式(3)、等式(4)、和圖10所示，可將作為所有輸入圖像的平均值的 常數(shù)C來接近除了通過PCA處理獲得的主要分量口工至μΝ,之外的向量分量。因此，如等 式(5-2)所示，可將等式(5-1)中所示的內(nèi)積計算同樣表示為像素空間Spxl中的向量的內(nèi) 積計算。在等式(5-2)中，由于可預(yù)先計算在像素空間Spxl中的費希爾向量分量與常數(shù)C 之間執(zhí)行減法的結(jié)果，所以表情評價部41中已預(yù)先存儲了減法結(jié)果和常數(shù)C作為確定軸信 息44。然后，當(dāng)給出從所拍攝圖像檢測的面部圖像的向量時，執(zhí)行等式(5-2)的內(nèi)積計算過 程，而不對向量執(zhí)行PCA處理。在使用等式(5-2)對一個面部進(jìn)行的表情值計算中，所執(zhí)行 的次數(shù)減法、乘法和加法的最大數(shù)目僅為48X48。此外，實際上，僅執(zhí)行對應(yīng)于40的系數(shù)或 這些主要分量口工至μΝ,的計算。因此，當(dāng)與執(zhí)行PCA空間Spca中的向量的內(nèi)積計算的情 況相比時，可大大減少計算的次數(shù)，而不會降低表情評價的精確度，并且可以在記錄所拍攝 圖像之前在視角匹配的狀態(tài)下，很容易實時計算出表情評價值Ε ρ。在此計算方法中，例如，甚至與通過在多個面部圖像的模板與檢出面部的圖像之 間進(jìn)行匹配來評價表情的情況相比，仍然可能低處理負(fù)荷并高精確度地執(zhí)行表情評價。當(dāng) 將要執(zhí)行使用模板的匹配時，通常，必須從檢出面部的圖像中進(jìn)一步提取出諸如眼睛或嘴 的部分，從而為每個部分執(zhí)行匹配處理。比較起來，在此實施例的方法中，在將檢出面部的 圖像的數(shù)據(jù)標(biāo)準(zhǔn)化為固定尺寸之后，用向量信息取代了面部圖像，并且可將面部圖像實際 上應(yīng)用于內(nèi)積計算(或僅部分施加掩蔽物)，然后，內(nèi)積計算就變?yōu)楹唵蔚挠嬎?，包括約40 次元的減法、乘法、和加法計算。圖11示出了當(dāng)將表情評價值輸出為數(shù)值時的計算實例。在本實施例中，作為實例，基于關(guān)于簡單圖像的PCA處理的結(jié)果，確定在PCA空間 中微笑和普通表情的面部圖像的每個分布的平均值，并且預(yù)先確定這些平均值相對于確定 軸Ad的投影點。然后，通過使用每個平均值的投影點的中間點作為參考點，將表情評價值 Eraip轉(zhuǎn)換為數(shù)值。S卩，如圖11所示，將輸入面部圖像相對于確定軸的投影點與平均投影點的 中間點之間的距離設(shè)為表情評價值Eexp，并將分布了微笑的取樣圖像的一側(cè)設(shè)為正數(shù)值。因 此，可將所檢測的面部圖像與微笑和普通表情中的哪一個接近輸出為連續(xù)數(shù)值，并且表情 評價值Erap越高，就評價該面部具有越強微笑。接下來，將給出在表情響應(yīng)記錄模式下操作的圖像拍攝設(shè)備的處理過程的描述， 其中，用流程圖來概括該處理過程。圖12是示出了在表情響應(yīng)記錄模式下操作的圖像拍攝 設(shè)備的處理流程的流程圖。[步驟Sll]面部檢測器31從所拍攝的圖像數(shù)據(jù)中檢測面部，然后將所有檢出面部 的位置信息和尺寸信息輸出至面部圖像生成器32和通知控制器42。[步驟S12]基于來自面部檢測器31的面部的位置信息和尺寸信息，面部圖像生成器32在從所拍攝的圖像數(shù)據(jù)中檢測的每個面部區(qū)域中提取數(shù)據(jù)。[步驟S13]面部圖像生成器32將每個所提取的面部區(qū)域的數(shù)據(jù)標(biāo)準(zhǔn)化為預(yù)定像 素數(shù)目(在此，48X48像素)的數(shù)據(jù)，將掩膜施加至不需要檢測表情的區(qū)域，然后將處理后 的圖像數(shù)據(jù)輸出至表情評價部41。[步驟S14]表情評價部41讀取確定軸信息44，然后計算從面部圖像生成器32提 供的一個面部圖像中獲得的向量與確定軸的向量分量的內(nèi)積，從而計算表情評價值。例如， 將計算出的表情評價值臨時存儲在RAM等中。[步驟S15]表情評價部41確定是否已對所有檢測面部都執(zhí)行了表情評價處理。當(dāng)沒有處理所有檢測面部時，對另一個面部再次執(zhí)行步驟S14，并且當(dāng)已處理所有檢測面部 時，執(zhí)行步驟S16。[步驟S16]基于在步驟S15中計算的表情評價值和與該表情評價值對應(yīng)的面部的 位置信息和尺寸信息，通知控制器42將諸如微笑得分的表情信息和顯示框輸出至圖形處 理電路15，然后將其以在顯示裝置16上組合的方式顯示。[步驟S18]表情評價部41確定在步驟S14中計算的所有面部的表情評價值是否 超過閾值。當(dāng)存在沒有超過閾值的表情評價值時，處理返回到步驟S11，其中，表情評價部 41指示相機信號處理單元14檢測面部，從而啟動用于檢測下個面部的處理和表情評價處 理。當(dāng)所有表情評價值超過閾值時，執(zhí)行步驟S18。[步驟sl7]表情評價部41請求記錄操作控制器43將拍攝到的圖像的數(shù)據(jù)記錄在 記錄設(shè)備18中。因此，對所拍攝的圖像執(zhí)行記錄處理，然后，將處理后的編碼圖像數(shù)據(jù)記錄 在記錄設(shè)備18中。由于以上處理，所以可以為所有檢測面部計算表情評價值，并且將對應(yīng)于表情評 價值的信息作為顯示信息通知給被攝像者，從而能夠促使被攝像者形成適于圖像拍攝的表 情。當(dāng)所有被攝像者都已形成適于圖像拍攝的表情時，自動記錄所拍攝圖像的數(shù)據(jù)。因此， 能夠使被攝像者和攝像者高度滿意地可靠記錄圖像。步驟S17中的確定標(biāo)準(zhǔn)僅為一個實例，而并非必須以當(dāng)表情評價值超過閾值時記 錄圖像數(shù)據(jù)的方式來執(zhí)行控制。例如，當(dāng)檢出面部中的面部的固定比率的表情評價值超過 閾值時，可記錄圖像數(shù)據(jù)?？蛇x地，可在固定數(shù)目的面部的表情評價值超過閾值時記錄圖像 數(shù)據(jù)，從而此后，防止對不經(jīng)意被拍攝的圖像的多余面部執(zhí)行表情評價。在表情響應(yīng)記錄模式中，當(dāng)表情評價值超過預(yù)定閾值時，自動記錄所拍攝的圖像。 此外，例如，當(dāng)攝像者按下快門釋放按鈕時，在經(jīng)過固定時間段之后，評價被攝像者的表情， 然后可以在被攝像者形成適于圖像拍攝的表情時，自動記錄所拍攝的圖像。在此情況下，例 如，當(dāng)檢測到快門釋放按鈕的按下時，微型計算機19僅需要啟動計時，并且在過去固定時 間段時，啟動圖12所示的處理。由于這個處理，所以按下快門釋放按鈕的攝像者可以可靠 移動到圖像拍攝范圍中，且可提高操作的簡易性。在以上描述中，除表情與微笑接近的程度之外，定義兩個表情，S卩，“微笑”和“普通 表情”。此外，可執(zhí)行表情位于“微笑”與除“微笑”之外的表情(稱為不微笑)之間的確定。 不微笑表情可包括不是微笑的多個表情，諸如嚴(yán)肅表情、哭泣表情、和生氣表情。在此情況 下，基于與多個表情對應(yīng)的面部的取樣圖像的平均值來確定不微笑表情的組(后文中，“不 微笑”)，然后，基于“不微笑”組和“微笑”組來計算用于LDA處理的確定軸。
此外，表情評價值并非必須是與一個指定表情(諸如，“微笑”)的接近的測量值。 例如，通過考慮為適于圖像拍攝的表情的多個指定表情(諸如，“微笑”和“嚴(yán)肅表情”)，表 情評價值可表示表情與多個表情中的任一個表情的接近程度。同樣，在此情況下，可以基于 對應(yīng)于多個表情的面部的取樣圖像的平均值來確定“適于圖像拍攝的表情”組，并且可以基 于“適于圖像拍攝的表情”組和“不適于圖像拍攝的表情”組來計算用于LDA處理的確定軸。[第二實施例]圖13示出了根據(jù)本發(fā)明的第二實施例的圖像拍攝設(shè)備的外觀。 在本實施例中，通過使用圖1所示的配置內(nèi)的LED發(fā)光部21的一部分，將對應(yīng)于 表情評價值的信息通知給被攝像者。在圖13所示的圖像拍攝設(shè)備110中，在安裝有圖像拍 攝透鏡111、閃光燈發(fā)光部112等的一側(cè)上設(shè)置用于通知與表情平均值對應(yīng)的信息的專用 LED發(fā)光部21a。LED發(fā)光部21a在一條線中設(shè)置有多個LED21b至21f?；谄渲蠰ED發(fā) 光的數(shù)目，將對應(yīng)于表情評價值的信息(此處，微笑得分)通知給被攝像者。具有了這種配 置，不具有顯示裝置(顯示屏方向可變)的圖像拍攝設(shè)備(諸如，數(shù)碼相機)還能夠?qū)?yīng) 于表情評價值的信息通知給被攝像者，并且還能夠幫助圖像拍攝操作，從而能夠記錄適當(dāng) 圖像。此外，通過使用小發(fā)光裝置(諸如，LED)，可將圖像拍攝設(shè)備的主機組的擴(kuò)大部分抑 制為最小。此外，在LED發(fā)光部21a中，可以設(shè)置最遠(yuǎn)側(cè)的LED(圖13中的LED 21f)，以在自 動記錄所拍攝圖像時表示微笑得分，并且這個LED可發(fā)出不同于其他LED的顏色和亮度的 光。因此，能夠在執(zhí)行自動記錄時，將微笑得分清楚地通知給被攝像者。同樣，被攝像者能 夠確認(rèn)是否已執(zhí)行自動記錄。[第三實施例]圖14示出了根據(jù)本發(fā)明的第三實施例的圖像拍攝設(shè)備的外觀。在圖14所示的圖像拍攝設(shè)備120中，在安裝有圖像拍攝透鏡121、閃光燈發(fā)光部 122等的一側(cè)上，設(shè)置僅具有一個LED的LED發(fā)光部21g。在此LED發(fā)光部21g中，可能基 于表情評價值，例如，通過改變LED的閃光速度、或通過改變LED的亮度/顏色，將微笑得分 通知給被攝像者。例如，控制有可能隨著表情評價值增加，使LED的顏色逐漸從紅色變?yōu)榫G 色，然后變?yōu)樗{(lán)色，或者使LED發(fā)出更明亮的光。以上述方式，通過僅使用一個LED，可更顯 著地防止圖像拍攝設(shè)備的主機組的擴(kuò)大。當(dāng)圖像拍攝設(shè)備120具有相關(guān)技術(shù)的自拍器功能時，還可以在評價表情的操作 中，使用當(dāng)自拍器操作時使用的LED。例如，當(dāng)自拍器操作時，隨著時間從按下快門釋放按鈕 變化到執(zhí)行記錄之前，LED的閃光速度逐漸增加。然后，在表情評價模式和表情響應(yīng)記錄模 式中，表情評價值越高，LED的閃光速度增加得越多。具有了這種配置，可能將對應(yīng)于表情評 價值的信息通知給被攝像者，而不會改變相關(guān)技術(shù)的圖像拍攝設(shè)備的基本配置和外觀。雙 重功能的發(fā)光部并不限于自拍器部的功能，而是可在曝光控制期間用作光測量發(fā)光部。然 而，在此情況下，這個部件必須能夠至少在表情評價時發(fā)出可見光。[第四實施例]圖15示出了根據(jù)本發(fā)明的第四實施例的圖像拍攝設(shè)備的外觀。 在每個上述實施例中，視覺上通知對應(yīng)于表情評價值的信息。比較起來，在本實施 例中，通過使用圖2所示的聲音輸出部22，使用聲音來通知對應(yīng)于表情評價值的信息。在圖15所示的圖像拍攝設(shè)備130中，在安裝有圖像拍攝透鏡131的一側(cè)上設(shè)置揚聲器22a，然 后復(fù)制并輸出取決于表情評價值而不同的聲音。例如，對于將以與圖5和6中所示的字符 信息相同的方式輸出的聲音，使用聲音，從而微笑程度越低，就會促使被攝像者形成更強微 笑。在此情況下，圖像拍攝設(shè)備130可以用以階狀方式對應(yīng)于表情評價值的方式來預(yù)先存 儲將要再生的聲音數(shù)據(jù)。此外，可以采用隨著表情評價值而改變聲調(diào)和聲音的輸出間隔的 方法、或輸出悅耳聲音的方法，這取決于表情評價值而不同。使用聲音的通知和使用視覺信 息的通知可組合使用。[第五實施例]
圖16示出了根據(jù)本發(fā)明的第五實施例的PC(個人計算機)的外觀。同樣，可以用各種類型的計算機(如圖16所示的PC 140)來實施每個上述實施例 中的表情評價功能、基于表情評價值通知信息的功能、和基于表情評價值記錄圖像的功能。 在圖16中，作為實例，示出了整體配置有包括IXD、鍵盤142、和主機組的顯示裝置141的 筆記本型PC 140。在該PC 140中，例如，在顯示裝置141的上端部分中整體設(shè)置圖像拍攝 單元143，以能夠圖像拍攝操作PC140的用戶一側(cè)。例如，可將圖像拍攝單元143通過諸如 USB(通用串行總線)的通信接口連接至外部。在此計算機中，在計算機中，通過計算機執(zhí)行描述每個功能的處理內(nèi)容的程序來 實施上述功能?？蓪⒚枋鎏幚韮?nèi)容的程序預(yù)先記錄在計算機可讀記錄介質(zhì)上。計算機可讀 記錄介質(zhì)的實例包括磁盤、光判、磁光記錄介質(zhì)、和半導(dǎo)體存儲器。當(dāng)將要散步這個程序時，例如，出售便攜式記錄介質(zhì)，諸如記錄有程序的光盤。可 選地，可將程序預(yù)先記錄在服務(wù)器計算機的存儲設(shè)備中，并且還可以將程序從服務(wù)器計算 機轉(zhuǎn)移到另一個計算機中。例如，執(zhí)行程序的計算機將記錄在便攜式記錄介質(zhì)上的程序或從服務(wù)器計算機中 提取的程序存儲在計算機的存儲裝置中。然后，計算機從其存儲裝置中讀取程序，然后根據(jù) 程序來執(zhí)行處理。計算機還可以直接從便攜式中讀取介質(zhì)讀取程序，然后，可以根據(jù)該程序 來執(zhí)行處理。每當(dāng)從服務(wù)器計算機中轉(zhuǎn)移程序時，計算機還可以根據(jù)所接收的程序來逐一 執(zhí)行處理。本領(lǐng)域的技術(shù)人員應(yīng)理解，在附加權(quán)利要求或其等同物的范圍內(nèi)，可根據(jù)設(shè)計要 求和其它因素來進(jìn)行各種修改、組合、子組合、和替換。
權(quán)利要求
一種用于通過使用固態(tài)圖像拍攝裝置來拍攝圖像的圖像拍攝設(shè)備，所述圖像拍攝設(shè)備包括面部檢測器，被配置為在將通過圖像拍攝獲得的圖像信號記錄在記錄介質(zhì)上為止的期間內(nèi)，基于所述圖像信號來檢測人的面部；表情評價部，被配置為評價檢出面部的表情并計算表情評價值，所述表情評價值表示與除適于圖像拍攝的指定表情之外的表情相比，所述檢出面部與所述指定表情的接近程度；通知部，被配置為通知對應(yīng)于計算出的所述表情評價值的通知信息；以及圖像記錄控制器，被配置為當(dāng)所述表情評價值超過預(yù)定閾值時，自動將通過圖像拍攝獲得的圖像信號記錄在記錄介質(zhì)上，其中，當(dāng)所述面部檢測器檢測到多個面部，并且所述表情評價部計算關(guān)于多個檢出面部中的每個的所述表情評價值時，所述圖像記錄控制器在所述檢出面部的所述表情評價值都超過所述閾值時自動記錄圖像信號。
2.根據(jù)權(quán)利要求1所述的圖像拍攝設(shè)備，其中，所述表情評價部計算所述表情評價值， 所述表情評價值表示與基于被確定為包含在除所述指定表情之外的表情中的多個面部數(shù) 據(jù)的第二面部組相比，所述檢出面部與基于被確定包含在所述指定表情中的多個面部數(shù)據(jù) 的第一面部組的接近程度。
3.根據(jù)權(quán)利要求1所述的圖像拍攝設(shè)備，其中，所述表情評價部使用微笑作為所述指 定表情，并且計算所述檢出面部與微笑的接近程度作為所述表情評價值。
4.根據(jù)權(quán)利要求3所述的圖像拍攝設(shè)備，其中，所述表情評價部使用普通表情作為除 所述指定表情之外的表情。
5.根據(jù)權(quán)利要求3所述的圖像拍攝設(shè)備，其中，所述表情評價部使用除微笑之外的表 情作為除所述指定表情之外的表情。
6.根據(jù)權(quán)利要求1所述的圖像拍攝設(shè)備，其中，所述通知部通知隨著所述表情評價值 而改變的所述通知信息、和以與所述通知信息的改變對應(yīng)的方式來表示所述閾值的位置的 閾值信息，作為視覺信息。
7.根據(jù)權(quán)利要求6所述的圖像拍攝設(shè)備，其中，所述通知部將使用條的長度來表示所 述表情評價值的大小的條形像顯示在顯示設(shè)備上，并且所述通知部在所述條形像 上顯示表示所述閾值的位置的位置顯示圖像，所述閾值響應(yīng)于用戶執(zhí)行的輸入操作而改變，以及所述位置顯示圖像在所述條形 像中的位置也響應(yīng)于所述閾值的改變而改變。
8.根據(jù)權(quán)利要求1所述的圖像拍攝設(shè)備，其中，當(dāng)所述圖像記錄控制器檢測到通過所 述用戶指令的圖像記錄操作時，所述圖像記錄控制器在固定時間段之后，從所述表情評價 部獲得所述表情評價值，并且當(dāng)所述表情評價值超過預(yù)定閾值時，自動將通過圖像拍攝獲 得的圖像信號記錄在記錄介質(zhì)上。
9.根據(jù)權(quán)利要求1所述的圖像拍攝設(shè)備，其中，所述通知部通知從視覺上表示所述表 情評價值的大小的信息作為所述通知信息。
10.根據(jù)權(quán)利要求9所述的圖像拍攝設(shè)備，其中，所述通知部將對應(yīng)于所述表情評價值 的所述通知信息、連同所拍攝的圖像一起顯示在顯示設(shè)備上。
11.根據(jù)權(quán)利要求10所述的圖像拍攝設(shè)備，其中，所述通知部將條形像作為所述 通知信息顯示在所述顯示設(shè)備上，所述條形像通過使用條的長度來表示所述表情評價 值的大小。
12.根據(jù)權(quán)利要求10所述的圖像拍攝設(shè)備，其中，所述通知部將一個框作為所述通知 信息顯示在所述顯示設(shè)備上所顯示的被攝像者的面部周圍，并且隨著所述表情評價值改變 所述框的顏色、亮度、和線型中的至少一個。
13.根據(jù)權(quán)利要求10所述的圖像拍攝設(shè)備，其中，所述通知部將隨著所述表情評價值 的大小而不同的字符信息作為所述通知信息顯示在所述顯示設(shè)備上。
14.根據(jù)權(quán)利要求10所述的圖像拍攝設(shè)備，其中，當(dāng)所述面部檢測器檢測到多個面部 時，所述表情評價部計算關(guān)于所述檢出面部中的每個的所述表情評價值，以及所述通知部以與所述被攝像者的所述面部中的每個相對應(yīng)的方式來顯示與關(guān)于每個 面部的所述表情評價值對應(yīng)的所述通知信息。
15.根據(jù)權(quán)利要求9所述的圖像拍攝設(shè)備，其中，所述通知部包括多個發(fā)光部，并且所 述通知部通過改變發(fā)光的發(fā)光部的數(shù)目來表示所述表情評價值的大小。
16.根據(jù)權(quán)利要求9所述的圖像拍攝設(shè)備，其中，所述通知部包括一個發(fā)光部，并且所 述通知部顯示所述表情評價值的大小作為所述發(fā)光部的顏色的改變、其亮度的改變、或其 閃光速度的改變。
17.根據(jù)權(quán)利要求16所述的圖像拍攝設(shè)備，其中，所述發(fā)光部用于提供表示所述表情 評價值的大小的功能和其他功能。
18.根據(jù)權(quán)利要求16所述的圖像拍攝設(shè)備，還包括自拍器記錄控制器，被配置為執(zhí)行控制，從而在從檢測到快門釋放按鈕的按下開始的 固定時間段之后，編碼通過圖像拍攝獲得的圖像信號，并將其自動記錄在記錄介質(zhì)上；以 及自拍器發(fā)光部，被配置為在由所述自拍器記錄控制器的控制期間，在從按下所述快門釋 放按鈕時到將圖像信號記錄在所述記錄介質(zhì)上之間，向被攝像者通知所述自拍器處于操作 中，其中，被配置為表示所述表情評價值的大小的所述發(fā)光部還用于所述自拍器發(fā)光部。
19.根據(jù)權(quán)利要求1所述的圖像拍攝設(shè)備，其中，所述通知部輸出根據(jù)所述表情評價值 的大小而不同的通知聲音作為所述通知信息。
20.根據(jù)權(quán)利要求1所述的圖像拍攝設(shè)備，其中，所述表情評價部中已預(yù)存通過基于每 個均與所述指定表情和除所述指定表情之外的表情中的一個對應(yīng)的面部的取樣圖像組來 執(zhí)行線性判別分析而獲得的確定軸的信息，并且所述表情評價部根據(jù)基于所述面部檢測器 檢測的所述面部的圖像信號的向量相對于所述確定軸上的向量的投影分量的大小來計算 所述表情評價值。
21.根據(jù)權(quán)利要求20所述的圖像拍攝設(shè)備，其中，基于通過主要分量分析來對基于所 述取樣圖像的向量的數(shù)據(jù)進(jìn)行次元壓縮而得到的數(shù)據(jù)來計算所述確定軸。
22.根據(jù)權(quán)利要求21所述的圖像拍攝設(shè)備，其中，所述表情評價部中已預(yù)存所述確定 軸上的向量的數(shù)據(jù)作為具有被次元壓縮前的次元的向量的數(shù)據(jù)，然后通過計算具有被次元 壓縮之前的次元的所述向量與基于由所述面部檢測器檢測的所述面部的圖像信號的向量 的內(nèi)積，計算所述表情評價值。
23.根據(jù)權(quán)利要求20所述的圖像拍攝設(shè)備，其中，所述表情評價部將通過所述面部檢 測器檢測的所述面部的所述圖像信號標(biāo)準(zhǔn)化為當(dāng)確定所述確定軸時所使用的所述取樣圖 像的圖像尺寸，并且通過使用所述標(biāo)準(zhǔn)化后的所述圖像信號來計算所述表情評價值。
24.根據(jù)權(quán)利要求23所述的圖像拍攝設(shè)備，其中，所述表情評價部對所述標(biāo)準(zhǔn)化之后 的所述圖像信號執(zhí)行掩蔽處理，并且通過使用所述掩蔽處理之后的所述圖像信號來計算所 述表情評價值，其中，所述掩蔽處理用于對實質(zhì)上不會影響表情確定的圖像區(qū)域中的信號 進(jìn)行掩蔽。
25.一種用于通過使用固態(tài)圖像拍攝裝置來拍攝圖像的圖像拍攝方法，所述圖像拍攝 方法包括以下步驟檢測步驟，在將通過圖像拍攝獲得的圖像信號記錄在記錄介質(zhì)上為止的期間內(nèi)，基于 所述圖像信號來檢測人的面部；計算步驟，評價在所述檢測步驟中檢測的所述面部的表情，并且計算表示與除適于圖 像拍攝的指定表情之外的表情相比，所述檢出面部與所述指定表情的接近程度的表情評價 值；通知步驟，通知與在所述計算步驟中計算出的所述表情評價值對應(yīng)的通知信息；以及記錄步驟，當(dāng)所述表情評價值超過預(yù)定閾值時，自動將通過圖像拍攝獲得的圖像信號 記錄在記錄介質(zhì)上；其中，當(dāng)在所述檢測步驟中檢測到多個面部，并且在所述計算步驟中計算關(guān)于多個檢 出面部中的每個的所述表情評價值時，所述記錄步驟在所述檢出面部的所述表情評價值都 超過所述閾值時自動記錄圖像信號。
26.一種表情評價設(shè)備，用于評價使用固態(tài)圖像拍攝裝置拍攝的圖像的面部表情，所述 表情評價設(shè)備包括面部檢測器，被配置為在將通過圖像拍攝獲得的圖像信號記錄在記錄介質(zhì)上為止的期 間內(nèi)，基于所述圖像信號來檢測人的面部；表情評價部，被配置為評價檢出面部的表情，并計算表示與除適于圖像拍攝的指定表 情之外的表情相比所述檢出面部與所述指定表情的接近程度的表情評價值；以及通知信息生成器，被配置為生成通知信息，所述通知信息隨著所計算的表情評價值而 改變；以及圖像記錄控制器，被配置為當(dāng)所述表情評價值超過預(yù)定閾值時，自動將通過圖像拍攝 獲得的圖像信號記錄在記錄介質(zhì)上，其中，當(dāng)所述面部檢測器檢測到多個面部，并且所述表情評價部計算關(guān)于多個檢出面 部中的每個的所述表情評價值時，所述圖像記錄控制器在所述檢出面部的所述表情評價值 都超過所述閾值時自動記錄圖像信號。
全文摘要
一種用于通過使用固態(tài)圖像拍攝裝置來拍攝圖像的圖像拍攝設(shè)備包括面部檢測器，在將圖像信號記錄在記錄介質(zhì)上為止的期間內(nèi)，基于圖像信號檢測人的面部；表情評價部，評價檢出面部的表情，并計算表示與除適于圖像拍攝的指定表情之外的表情相比檢出面部與指定表情的接近程度的表情評價值；通知部，將與所計算出的表情評價值對應(yīng)的通知信息通知給被攝像者；和圖像記錄控制器，當(dāng)表情評價值超過預(yù)定閾值時，自動將通過圖像拍攝獲得的圖像信號記錄在記錄介質(zhì)上，其中，當(dāng)面部檢測器檢測到多個面部，并且表情評價部計算關(guān)于多個檢出面部中的每個的表情評價值時，圖像記錄控制器在檢出面部的表情評價值都超過閾值時自動記錄圖像信號。
文檔編號H04N5/225GK101867713SQ201010188348
公開日2010年10月20日 申請日期2007年8月2日 優(yōu)先權(quán)日2006年8月2日
發(fā)明者小川要 申請人:索尼株式會社