專(zhuān)利名稱(chēng)：圖像存儲(chǔ)設(shè)備、成像設(shè)備、圖像存儲(chǔ)方法及程序的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖4象存儲(chǔ)設(shè)備。更具體地，本發(fā)明涉及其上記錄有 目標(biāo)圖像的圖像存儲(chǔ)設(shè)備、用于對(duì)目標(biāo)進(jìn)行成像的成像設(shè)備、用于 圖像存儲(chǔ)設(shè)備或成像設(shè)備的處理方法以及用于使計(jì)算機(jī)執(zhí)行該處 理方法的禾呈序。
背景技術(shù)：
近年來(lái)，隨著面部識(shí)別4支術(shù)和面部表情識(shí)別4支術(shù)的發(fā)展，已經(jīng) 可以識(shí)別目標(biāo)是人臉還是一種人臉的面部表情。這里，面部識(shí)別是 指確定目標(biāo)的圖像數(shù)據(jù)是否與包括眼睛、鼻子、嘴巴等的面部圖像 數(shù)據(jù)相匹配。面部表情識(shí)別是指分析與表示諸如笑臉、哭臉、或怒 臉的面部表情的圖像數(shù)據(jù)相匹配的程度。面部識(shí)別和面部表情識(shí)別 通過(guò)計(jì)算才幾預(yù)先邗i定處理，并且還^皮用在成像設(shè)備中。
例如，通過(guò)在日本未審查專(zhuān)利乂>開(kāi)申請(qǐng)第2001-51338號(hào)中4皮露 的^f象才幾(圖l)，當(dāng)在預(yù)定方向上，見(jiàn)看面部時(shí)，可以識(shí)別目標(biāo)的面部 方向，并記錄目標(biāo)的圖傳4t據(jù)。
發(fā)明內(nèi)容
然而，根據(jù)相關(guān)技術(shù)，從目標(biāo)的圖像數(shù)據(jù)與特定面部表情的圖 像數(shù)據(jù)相匹配的時(shí)間點(diǎn)處開(kāi)始圖像記錄。因此，面部表情的匹配定 時(shí)與記錄的結(jié)束定時(shí)不同。即，成像定時(shí)被延遲，使得沒(méi)有記錄用 戶所期望的面部表情。因此，大概很難記錄諸如大笑的瞬時(shí)面部表 情的圖像。
期望可以估計(jì)時(shí)變圖像數(shù)據(jù)的改變并記錄用戶想要的圖像。
根據(jù)本發(fā)明的實(shí)施例，提供了一種圖像存儲(chǔ)設(shè)備，包括面部 表情相關(guān)性估計(jì)裝置，用于估計(jì)表示面部圖像中的面部表情和預(yù)定 參考面部表情之間的相關(guān)程度的面部表情相關(guān)性，該面部圖像包括 在時(shí)變圖像數(shù)據(jù)中；面部表情估計(jì)裝置，用于通過(guò)基于面部表情相 關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)面部圖像中的面部表情和預(yù)定參考面 部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制 裝置，用于4丸行控制，使得在圖像數(shù)據(jù)存儲(chǔ)裝置中保留從進(jìn)行4企測(cè) 開(kāi)始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)。因此，在圖像存儲(chǔ)設(shè)備中，基于面 部圖l象的面部表情相關(guān)性的轉(zhuǎn)變估計(jì)預(yù)定期間內(nèi)面部表情的改變， 并基于估計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保存預(yù)定期間內(nèi)的圖像數(shù)據(jù)。
在圖像存儲(chǔ)設(shè)備中，當(dāng)面部表情相關(guān)性超過(guò)預(yù)定程度時(shí)，面部 表情估計(jì)裝置可檢測(cè)到面部圖像中的面部表情和預(yù)定參考面部表 情具有預(yù)定的相關(guān)關(guān)系。在這種情況下，基于面部表情相關(guān)性關(guān)于 預(yù)定程度的轉(zhuǎn)變來(lái)估計(jì)面部表情。
可選地，在圖像存儲(chǔ)設(shè)備中，當(dāng)面部表情相關(guān)性的改變梯度超 過(guò)預(yù)定值并且面部表情相關(guān)性超過(guò)預(yù)定程度時(shí)，面部表情估計(jì)裝置 可檢測(cè)到面部圖像中的面部表情和預(yù)定參考面部表情具有預(yù)定的
相關(guān)關(guān)系。在這種情況下，基于面部表情相關(guān)性關(guān)于預(yù)定程度和改 變梯度的轉(zhuǎn)變來(lái)估計(jì)面部表情。
在圖像存儲(chǔ)設(shè)備中，圖像存儲(chǔ)控制裝置可使從進(jìn)行;f企測(cè)開(kāi)始的 預(yù)定期間內(nèi)的圖像數(shù)據(jù)存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)裝置中。因此，基于面 部表情估計(jì)將預(yù)定期間內(nèi)的圖像數(shù)據(jù)存儲(chǔ)在圖像數(shù)據(jù)存儲(chǔ)裝置中。
此外，在圖像存儲(chǔ)設(shè)備中，圖像存儲(chǔ)控制裝置可使圖像數(shù)據(jù)存 儲(chǔ)裝置執(zhí)行更新，使得存儲(chǔ)新的圖像數(shù)據(jù)，并在從進(jìn)行檢測(cè)開(kāi)始經(jīng) 過(guò)預(yù)定期間之后使圖像數(shù)據(jù)存儲(chǔ)裝置停止更新。在這種情況下，控 制圖像數(shù)據(jù)的存儲(chǔ)，使得在順序存儲(chǔ)新的圖像數(shù)據(jù)并廢除最先前的 圖像數(shù)據(jù)的處理中，更新圖像數(shù)據(jù)存儲(chǔ)裝置中的圖像數(shù)據(jù)，并在預(yù) 定期間后4f止更新。
此外，在圖像存儲(chǔ)設(shè)備中，圖像存儲(chǔ)控制裝置可執(zhí)行控制，使 得/人進(jìn)行沖全測(cè)開(kāi)始在預(yù)定期間內(nèi)的多個(gè)圖像數(shù)據(jù)被保留在圖傳_數(shù) 據(jù)存儲(chǔ)裝置中。在這種情況下，基于面部表情估計(jì)，在圖像數(shù)據(jù)存 儲(chǔ)裝置中保留預(yù)定期間內(nèi)的多個(gè)圖像數(shù)據(jù)。
圖像存儲(chǔ)設(shè)備可進(jìn)一步包括用于將圖像數(shù)據(jù)存儲(chǔ)為運(yùn)動(dòng)圖片 數(shù)據(jù)的運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置，并且圖像存儲(chǔ)控制裝置可使從進(jìn)行 才會(huì)測(cè)開(kāi)始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)從運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置保存 到圖像數(shù)據(jù)存儲(chǔ)裝置。在這種情況下，雖然將圖像數(shù)據(jù)存儲(chǔ)為運(yùn)動(dòng) 圖片數(shù)據(jù)，但基于面部表情估計(jì)，將預(yù)定期間內(nèi)的運(yùn)動(dòng)圖片數(shù)據(jù)從 運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置保存到圖像數(shù)據(jù)存儲(chǔ)裝置。
根據(jù)本發(fā)明的另 一個(gè)實(shí)施例，提供了 一種圖像存儲(chǔ)設(shè)備，包括 面部圖像檢測(cè)裝置，用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的面部圖像； 面部表情相關(guān)性估計(jì)裝置，用于估計(jì)表示4企測(cè)的面部圖l象中的面部 表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性；面部 表情估計(jì)裝置，用于通過(guò)基于面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái) 檢測(cè)期望面部圖像中的面部表情和預(yù)定參考面部表情在預(yù)定期間
內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制裝置，用于執(zhí)行控
制，4吏得在圖像數(shù)據(jù)存儲(chǔ)裝置中保留從進(jìn)行檢測(cè)開(kāi)始的預(yù)定期間內(nèi) 的圖像數(shù)據(jù)。因此，在圖像存儲(chǔ)設(shè)備中，基于所檢測(cè)的面部圖像的
面部表情相關(guān)性的轉(zhuǎn)變估計(jì)預(yù)定期間內(nèi)面部表情的改變，并基于估 計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保存預(yù)定期間內(nèi)的圖像數(shù)據(jù)。
根據(jù)本發(fā)明的另一個(gè)實(shí)施例，提供了一種圖像存儲(chǔ)設(shè)備，包括 面部圖像檢測(cè)裝置，用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的多個(gè)面部圖 像；面部準(zhǔn)確度評(píng)估裝置，用于評(píng)估所檢測(cè)的多個(gè)面部圖像的面部
準(zhǔn)確度；面部表情相關(guān)性估計(jì)裝置，用于估計(jì)表示預(yù)定參考面部表
情和在多個(gè)面部圖Y象的面部準(zhǔn)確度中具有最高面部準(zhǔn)確度的面部
圖像中的面部表情之間的相關(guān)程度的面部表情相關(guān)性；面部表情估 計(jì)裝置，用于通過(guò)基于面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)^f全測(cè)期 望預(yù)定參考面部表情和具有最高面部準(zhǔn)確度的面部圖^象中的面部 表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制裝 置，用于執(zhí)行控制，使得在圖像數(shù)據(jù)存儲(chǔ)裝置中保留從進(jìn)行檢測(cè)開(kāi) 始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)。因此，在圖像存儲(chǔ)設(shè)備中，基于具有 最高面部準(zhǔn)確度的面部圖像的面部表情相關(guān)性的轉(zhuǎn)變來(lái)估計(jì)預(yù)定 期間內(nèi)面部表情的改變，并基于估計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保留預(yù) 定期間內(nèi)的圖4象數(shù)據(jù)。
根據(jù)本發(fā)明的另 一個(gè)實(shí)施例，提供了 一種圖像存儲(chǔ)設(shè)備，包括 面部圖像檢測(cè)裝置，用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的多個(gè)面部勾 像；選擇接收裝置，用于接收所檢測(cè)的多個(gè)面部圖像中將被用于估 計(jì)的面部圖像的選擇；面部表情相關(guān)性估計(jì)裝置，用于估計(jì)表示所 選才奪的面部圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程 度的面部表情相關(guān)性；面部表情估計(jì)裝置，用于通過(guò)基于面部表情
相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)期望所選擇的面部圖像中的面部表 情和預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以 及圖像存儲(chǔ)控制裝置，用于執(zhí)行控制，使得在圖像數(shù)據(jù)存儲(chǔ)裝置中 保留從進(jìn)行檢測(cè)開(kāi)始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)。因此，在圖像存儲(chǔ) 設(shè)備中，基于所選擇的面部圖像的面部表情相關(guān)的轉(zhuǎn)變來(lái)估計(jì)預(yù)定 期間中面部表情的改變，并基于估計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保留預(yù) 定期間內(nèi)的圖像數(shù)據(jù)。
才艮據(jù)本發(fā)明的另一個(gè)實(shí)施例，4是供了一種成像設(shè)備，包括成 像裝置，用于對(duì)時(shí)變目標(biāo)進(jìn)行成像并輸出相應(yīng)的圖像數(shù)據(jù)；面部表 情相關(guān)性估計(jì)裝置，用于估計(jì)表示包括在圖像數(shù)據(jù)中的面部圖像的
面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性；
面部表情估計(jì)裝置，用于通過(guò)基于面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估 計(jì)，沖全測(cè)面部圖^f象中的面部表情和預(yù)定參考面部表情在預(yù)定期間內(nèi)
具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制裝置，用于執(zhí)行控制， 使得在圖像數(shù)據(jù)存儲(chǔ)裝置中保留從進(jìn)行檢測(cè)開(kāi)始在預(yù)定期間內(nèi)的 圖像數(shù)據(jù)。因此，在圖像存儲(chǔ)設(shè)備中，基于所拍攝的面部圖像的面 部表情相關(guān)性的轉(zhuǎn)變來(lái)估計(jì)預(yù)定期間內(nèi)面部表情的改變，并基于估 計(jì)在圖像數(shù)據(jù)存儲(chǔ)裝置中保留預(yù)定期間內(nèi)的圖像數(shù)據(jù)。
沖艮據(jù)本發(fā)明的這些實(shí)施例，可以有利地估計(jì)時(shí)變圖像數(shù)據(jù)中的 改變并記錄用戶想要的圖4象。
圖1是示出根據(jù)本發(fā)明實(shí)施例的成像設(shè)備的功能結(jié)構(gòu)實(shí)例的示
圖2是示出實(shí)施例中面部檢測(cè)器的功能結(jié)構(gòu)實(shí)例的示圖； 圖3是示出實(shí)施例中面部表情檢測(cè)器的功能結(jié)構(gòu)實(shí)例的示圖4是示出該實(shí)施例中顯示的屏幕實(shí)例的示圖5是示出該實(shí)施例中顯示的屏幕的另一實(shí)例的示圖6是示出該實(shí)施例中顯示的屏幕的又一實(shí)例的示圖7是示出該實(shí)施例中面部表情相關(guān)性的轉(zhuǎn)變實(shí)例的示圖8是示出該實(shí)施例中表示面部表情相關(guān)性的時(shí)間變化的曲線 實(shí)例的曲線圖9是示出該實(shí)施例中表示面部表情相關(guān)性的時(shí)間變化的曲線 的另一實(shí)例的曲線圖10是示出根據(jù)實(shí)施例修改的圖像存儲(chǔ)設(shè)備的實(shí)例的示圖11是示出通過(guò)根據(jù)實(shí)施例的成像設(shè)備的計(jì)算機(jī)執(zhí)行的處理 (主程序)的實(shí)例的流程圖12是示出該實(shí)施例中面部檢測(cè)過(guò)程的流程圖13是示出該實(shí)施例中目標(biāo)選^奪過(guò)程的流程圖14是示出該實(shí)施例中面部表情檢測(cè)和評(píng)估過(guò)程的流程圖15是示出該實(shí)施例中成4象處理過(guò)程的流程圖16是示出該實(shí)施例中規(guī)則成像過(guò)程的流程圖17是示出該實(shí)施例中成像和保存過(guò)程的流程圖；以及
圖18是示出通過(guò)根據(jù)實(shí)施例修改的圖像存儲(chǔ)設(shè)備的計(jì)算機(jī)執(zhí) 行的處理(主程序)的實(shí)例的流程圖。
具體實(shí)施例方式
接下來(lái)，將參照附圖詳細(xì)描述本發(fā)明的實(shí)施例。
圖1是示出根據(jù)本發(fā)明實(shí)施例的成像設(shè)備100的功能結(jié)構(gòu)實(shí)例 的示圖。成^f象i殳備100包4舌成^f象單元110、信號(hào)處理器120、總線 130、圖像存儲(chǔ)單元140、控制器150、數(shù)據(jù)存儲(chǔ)器160、用戶界面 170、圖^^壓縮擴(kuò)展器180、圖像保存單元190、面部4全測(cè)器200、 面部準(zhǔn)確度評(píng)估器290、面部表情檢測(cè)器300、以及面部表情估計(jì) 器390。
成像單元110拍攝目標(biāo)圖像并輸出相應(yīng)的圖像數(shù)據(jù)。成像單元 110包4舌光學(xué)系統(tǒng)111和成4象元件112。光學(xué)系統(tǒng)111包4舌卞者如聚焦 透鏡和變焦透鏡的透鏡組，使得由目標(biāo)反射的光線穿過(guò)透鏡組。已 經(jīng)穿過(guò)透4竟組的入射光到達(dá)成^象元件112。入射光在成^f象元件112 上形成圖像，并且成像元件112將圖像轉(zhuǎn)換成電信號(hào)。將電信號(hào)輸 出至信號(hào)處理器120。
信號(hào)處理器120對(duì)從成像元件112輸出的電信號(hào)才丸行各種類(lèi)型 的信號(hào)處理，并將得到的圖傳_數(shù)據(jù)纟是供給成像設(shè)備100的各個(gè)部件。 例如，在信號(hào)處理器120中才丸行的信號(hào)處理包括降噪、水平4交正、 模數(shù)(A/D)轉(zhuǎn)換、以及顏色校正。更具體地，將圖像數(shù)據(jù)提供給 圖像存儲(chǔ)單元140、面部檢測(cè)器200、用戶界面170、以及圖像壓縮 擴(kuò)展器180。根據(jù)從控制器150提供的控制信號(hào)控制在信號(hào)處理器 120中扭Z亍的處理。
總線130是用于圖像數(shù)據(jù)傳輸?shù)墓蚕韨鬏斅窂健？偩€130將信 號(hào)處理器120、圖1象存儲(chǔ)單元140、圖4象壓縮擴(kuò)展器180、面部才企測(cè) 器200、以及面部表情檢測(cè)器300互相連接。
圖像存儲(chǔ)單元140存儲(chǔ)被成像設(shè)備100處理的圖像數(shù)據(jù)?？山?jīng) 由總線130 ,人信號(hào)處理器120、圖^f象壓縮擴(kuò)展器180、面部才全測(cè)器 200、面部表情檢測(cè)器300、以及用戶界面170訪問(wèn)存儲(chǔ)在圖像存儲(chǔ) 單元140中的圖傳4t據(jù)。
圖像壓縮擴(kuò)展器180對(duì)從成像設(shè)備100的部件提供的圖像數(shù)據(jù) 進(jìn)行壓縮并將壓縮圖j象數(shù)據(jù)l是供給圖像保存單元190，以及擴(kuò)展從 圖像保存單元190提供的圖像數(shù)據(jù)并將擴(kuò)展圖像數(shù)據(jù)提供給成像設(shè) 備100的部件。例如，圖像壓縮擴(kuò)展器180的壓縮可以是JPEG (聯(lián) 合圖^象專(zhuān)家組)壓縮。
圖像保存單元190保存從圖像壓縮擴(kuò)展器180提供的壓縮圖像 數(shù)據(jù)?？赏ㄟ^(guò)圖像壓縮擴(kuò)展器180擴(kuò)展保存在圖像保存單元190中 的壓縮圖像數(shù)據(jù)。
面部檢測(cè)器200根據(jù)圖像數(shù)據(jù)檢測(cè)面部圖像。面部檢測(cè)器200 乂人信號(hào)處理器120、圖^f象存卩諸單元140、或圖像壓縮擴(kuò)展器180 4妻 收將從中檢測(cè)面部圖像的圖像數(shù)據(jù)。在檢測(cè)面部圖像的過(guò)程中，面 部檢測(cè)器200基于包括在圖像數(shù)據(jù)中的面部圖像的估計(jì)元素(例如， 大小、坐標(biāo)值、匹配程度、正面度、及垂直度)的組合通過(guò)綜合觀 點(diǎn)來(lái)估計(jì)面部準(zhǔn)確度。通過(guò)從控制器15(M是供的系H將估計(jì)元素加 權(quán)。通過(guò)面部檢測(cè)器200所估計(jì)的面部準(zhǔn)確度被提供至控制器150。
面部準(zhǔn)確度評(píng)估器2卯評(píng)估通過(guò)面部4全測(cè)器200計(jì)算的面部準(zhǔn) 確度。通過(guò)面部準(zhǔn)確度的評(píng)估，確定例如哪個(gè)面部圖像具有最高面
部準(zhǔn)確度。面部準(zhǔn)確度評(píng)估器2卯從控制器150接收將被評(píng)估的面
部準(zhǔn)確度，并將面部準(zhǔn)確度的評(píng)估結(jié)果提供給控制器150。
用戶界面170用作成^f象設(shè)備100的用戶的界面。用戶界面170 包括顯示器171和選4奪接收單元172。
顯示器171顯示與/人信號(hào)處理器120或圖^f象壓縮擴(kuò)展器180才是 供的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像。此外，根據(jù)面部準(zhǔn)確度評(píng)估器290的 評(píng)估結(jié)果，顯示器171以疊加在面部圖〗象上的方式顯示表示面部圖 爿像位置的框。例如，當(dāng)存在多個(gè)面部圖像時(shí)，顯示器171顯示具有 最高面部準(zhǔn)確度的面部圖l象的框，使得該框在碎見(jiàn)覺(jué)上^^皮加亮，同時(shí) 正常顯示其它框。
選擇4妻收單元172 乂人顯示在顯示器171上的面部圖^f象4妄"欠表示 面部圖l象的用戶選沖奪的指示l俞入。例如，當(dāng)多個(gè)圖4象#皮顯示在顯示 器171上時(shí)，用戶可通過(guò)移動(dòng)疊加框來(lái)選4奪任意一個(gè)面部圖〗象。將 選擇結(jié)果提供給控制器150。
面部表情才企測(cè)器300基于從圖像存儲(chǔ)單元140提供的圖像數(shù)據(jù) (面部圖像已被檢測(cè)的圖像數(shù)據(jù))來(lái)檢測(cè)面部表情。通過(guò)從控制器 150提供的面部表情類(lèi)型指定信息來(lái)指定將被檢測(cè)的面部表情的類(lèi) 型。下面的描述處理將"笑"指定為面部表情類(lèi)型指定信息的實(shí)例。 面部表情檢測(cè)器300將面部圖像與"笑，，的參考數(shù)據(jù)(參考面部表 情)進(jìn)行比較，以估計(jì)表示與參考面部表情的相關(guān)程度的面部表情 相關(guān)性。即，面部表情相關(guān)性隨著面部圖像變得與參考面部表情更 加相似而增大。將通過(guò)面部表情4全測(cè)器300估計(jì)的面部表情相關(guān)性 提供給控制器150。
面部表情估計(jì)器390基于通過(guò)面部表情4全測(cè)器300估計(jì)的面部 表情相關(guān)性來(lái)估計(jì)面部表情的時(shí)間變化?；诿娌勘砬橄嚓P(guān)性的轉(zhuǎn)
變，面部表情估計(jì)器390估計(jì)圖像數(shù)據(jù)中面部圖像的面部表情和參 考面部表情是否達(dá)到在預(yù)定期間內(nèi)具有特定相關(guān)程度。例如，面部
表情估計(jì)器390將面部表情相關(guān)性與參考面部表情閾值進(jìn)行比較， 如果面部表情相關(guān)性超過(guò)參考面部表情閾值，則確定圖像數(shù)據(jù)中面 部圖^f象的面部表情在預(yù)定期間內(nèi)變得接近于參考面部表情。
可選地，如果時(shí)間變化前后的面部表情相關(guān)性之間的差超過(guò)參 考面部表情差并且面部表情相關(guān)性超過(guò)參考面部表情閾4直，則面部 表情估計(jì)器390可確定圖像數(shù)據(jù)中面部圖像的面部表情在預(yù)定期間 內(nèi)接近于參考面部表情。
面部表情估計(jì)器390從控制器150接收用于面部表情估計(jì)的面 部表情相關(guān)性、參考面部表情閾值、以及參考面部表情差，并將上 述面部表情估計(jì)的結(jié)果提供給控制器150。
控制器150控制通過(guò)成像i殳備100中的成像單元110、信號(hào)處 理器120、圖像壓縮擴(kuò)展器180、面部檢測(cè)器200、面部表情檢測(cè)器 300、面部準(zhǔn)確度評(píng)估器290、以及面部表情估計(jì)器390執(zhí)行的處理。 為了這種控制，焦距值和光圏值、數(shù)據(jù)輸出目的地、壓縮/擴(kuò)展率、 用于計(jì)算面部準(zhǔn)確度的加權(quán)系數(shù)(面部檢測(cè)參數(shù))、面部表情類(lèi)型 指定信息(面部表情檢測(cè)參數(shù))、將被評(píng)估的圖像數(shù)據(jù)、以及將被 估計(jì)的面部圖傳3皮分別用作將在成像i殳備100中的成〗象單元110、 信號(hào)處理器120、圖像壓縮擴(kuò)展器180、面部檢測(cè)器200、面部表情 ^r測(cè)器300、面部準(zhǔn)確度評(píng)估器290、以及面部表情估計(jì)器390中 被處理的參數(shù)或數(shù)據(jù)。因此，控制器150將這些參數(shù)提供給上述部 件。
首先，控制器150控制成像單元110的成i象。更具體地，控制 器150控制光學(xué)系統(tǒng)111的光圏和焦距。此外，控制器150控制由
信號(hào)處理器120執(zhí)行的信號(hào)處理，并指示圖像信號(hào)的輸出目的地。
此外，控制器150控制面部檢測(cè)器200的檢測(cè)和面部表情檢測(cè) 器300的檢測(cè)。為了這些檢測(cè)，用于計(jì)算面部準(zhǔn)確度的加權(quán)系數(shù)和 面部表情類(lèi)型指定信息被用作檢測(cè)參數(shù)。因此，控制器150將用于 計(jì)算面部準(zhǔn)確度的加權(quán)系數(shù)提供給面部檢測(cè)器200，并將面部表情 類(lèi)型指定信息提供給面部表情檢測(cè)器300。此外，控制器150指示 面部4企測(cè)器200和面部表情4企測(cè)器300的檢測(cè)的開(kāi)始和停止。控制 器150從面部檢測(cè)器200和面部表情檢測(cè)器300接收表示檢測(cè)結(jié)果 的數(shù)據(jù)。對(duì)于檢測(cè)結(jié)果數(shù)據(jù)，控制器150將來(lái)自面部檢測(cè)器200的 面部4全測(cè)結(jié)果數(shù)據(jù)(面部準(zhǔn)確度)提供給面部準(zhǔn)確度評(píng)估器290， 并將來(lái)自面部表情4企測(cè)器300的面部表情檢測(cè)結(jié)果^t據(jù)(面部表情 相關(guān)性)提供給面部表情估計(jì)器390。
此外，控制器150控制通過(guò)圖像壓縮擴(kuò)展器180執(zhí)行的保存在 圖像保存單元l卯中的圖像數(shù)據(jù)的壓縮和擴(kuò)展。
數(shù)據(jù)存儲(chǔ)器160保持用在成像i殳備100中的各種類(lèi)型的凄t據(jù)。 保持在數(shù)據(jù)存儲(chǔ)器160中的數(shù)據(jù)可被大致分類(lèi)為檢測(cè)結(jié)果數(shù)據(jù)和設(shè) 置參數(shù)。檢測(cè)結(jié)杲數(shù)據(jù)包括面部準(zhǔn)確度161和面部表情相關(guān)性162。 設(shè)置參數(shù)包括面部檢測(cè)模式163、參考差l64、參考閾值l65、連拍 (rapid-fire shooting )間P鬲166、及最大數(shù)167。
面部準(zhǔn)確度161是用于保持包括在圖像數(shù)據(jù)中的面部圖像的面 部準(zhǔn)確度的區(qū);或。通過(guò)面部4企測(cè)器200計(jì)算面部準(zhǔn)確度的值。
面部表情相關(guān)性162是用于保持與包括在圖像數(shù)據(jù)中的各個(gè)面 部圖像相關(guān)的面部表情相關(guān)性的區(qū)域。通過(guò)利用面部表情4企測(cè)器 300估計(jì)與參考面部表情的相關(guān)程度來(lái)獲得面部表情相關(guān)性的值。面部檢測(cè)模式163是用于保持表示是否將執(zhí)行面部檢測(cè)的面部
才企測(cè);漠式標(biāo)記的區(qū)域。當(dāng)面部檢測(cè)模式標(biāo)記表示將執(zhí)行面部才企測(cè) 時(shí)，#4居圖像數(shù)據(jù);險(xiǎn)測(cè)面部圖像。
參考差164是用于保持由用戶設(shè)置的用作參考的差的區(qū)域。將 參考差與面部表情相關(guān)性的時(shí)間變化前后的面部表情相關(guān)性之間 的差進(jìn)行比較。參考差,皮稱(chēng)作通過(guò)面部表情估計(jì)器390 4丸行的處理。
參考閾值165是用于保持由用戶設(shè)置的用作基準(zhǔn)的閾值的區(qū) 域。將閾值與面部表情相關(guān)性進(jìn)行比較，并被用在通過(guò)面部表情估 計(jì)器3卯執(zhí)行的處理中，以檢測(cè)與參考數(shù)據(jù)的相關(guān)性是否很高。
連拍間隔166是用于保持在連拍模式下拍攝定時(shí)與下一個(gè)拍攝 定時(shí)之間的時(shí)間間隔i殳置的區(qū)域。
最大數(shù)167是用于保持由用戶設(shè)置的作為在連拍模式中拍攝的 最大圖片^:的值的區(qū)域。
圖2是示出該實(shí)施例中的面部檢測(cè)器200的功能結(jié)構(gòu)實(shí)例的示 圖。面部檢測(cè)器200包括圖像信號(hào)輸入單元210、圖像放大/縮小單 元220、圖像存儲(chǔ)器230、參考數(shù)據(jù)存儲(chǔ)器240、估計(jì)器250、圖像 信號(hào)輸出單元260、控制器270、以及^^測(cè)結(jié)果輸出單元280。
圖像信號(hào)輸入單元210接收由成像設(shè)備100的部件提供(輸入) 的圖像數(shù)據(jù)，并將圖像數(shù)據(jù)提供給圖像放大/縮小單元220。更具體 地，圖〗象信號(hào)輸入單元210 ,人信號(hào)處理器120、圖^象壓縮擴(kuò)展器180、 以及圖像存儲(chǔ)單元140接收?qǐng)D像數(shù)據(jù)。
圖像放大/縮小單元220放大或縮小與從圖像信號(hào)輸入單元210 提供的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像。圖像放大/縮小單元220執(zhí)行放大或
縮小，使得包括在圖像數(shù)據(jù)中的各種大小的面部圖像被放大或縮'J、
至預(yù)定大小。圖像放大/縮小單元220從控制器270接收用于放大或 縮小的放大率或縮小率的值。將已經(jīng)經(jīng)受圖像放大/縮小單元220的 放大或縮小的圖像數(shù)據(jù)提供給圖像存儲(chǔ)器230 。
圖像存儲(chǔ)器230臨時(shí)保持從圖像放大/縮小單元220提供的圖像 數(shù)據(jù)。圖像存儲(chǔ)器230從控制器270接收?qǐng)D像數(shù)據(jù)將被保持在圖像 存儲(chǔ)器230中的地址。將保持在圖像存儲(chǔ)器230中的圖像數(shù)據(jù)提供 給估計(jì)器250和圖像信號(hào)輸入單元260。
參考數(shù)據(jù)存儲(chǔ)器240預(yù)先保持面部參考數(shù)據(jù)，并將面部參考數(shù) 據(jù)提供給估計(jì)器250。面部參考數(shù)據(jù)用于估計(jì)器250執(zhí)行的面部準(zhǔn) 確度的估計(jì)。面部參考數(shù)據(jù)的面部大小被固定，使得當(dāng)估計(jì)面部準(zhǔn) 確度時(shí)，從將與面部參考數(shù)據(jù)進(jìn)行比較的圖像數(shù)據(jù)中提取出與面部 參考數(shù)據(jù)的面部大小相對(duì)應(yīng)的圖像數(shù)據(jù)。
估計(jì)器250基于從圖像存儲(chǔ)器230提供的圖像數(shù)據(jù)估計(jì)面部準(zhǔn) 確度。為了面部準(zhǔn)確度的估計(jì)，4吏用面部參考數(shù)據(jù)和用于計(jì)算面部 準(zhǔn)確度的加權(quán)系數(shù)。因此，估計(jì)器250分別從參考數(shù)據(jù)存儲(chǔ)器240 和控制器270接收面部參考數(shù)據(jù)和加權(quán)系數(shù)。估計(jì)器250從提供至 其的圖像數(shù)據(jù)中提取出預(yù)定大小的圖像數(shù)據(jù)，使得圖像數(shù)據(jù)的面部 大小與面部參考lt據(jù)的面部大d、一致。
現(xiàn)在，將描述面部準(zhǔn)確度的估計(jì)。通過(guò)使用估計(jì)元素組合的綜 合只見(jiàn)點(diǎn)來(lái)估計(jì)面部準(zhǔn)確度。例如，估計(jì)元素包4舌大小、坐標(biāo)值、匹 配程度、正面度、以及垂直度。大小元素表示圖像數(shù)據(jù)的整個(gè)區(qū)域 中面部區(qū)域的大小。隨著大小的相對(duì)增加，面部準(zhǔn)確度相對(duì)增大。 坐標(biāo)值元素表示圖像數(shù)據(jù)的整個(gè)區(qū)域中面部的坐標(biāo)值。隨著由坐標(biāo) 值表示的位置更加接近中心，面部準(zhǔn)確度相對(duì)增大。匹配程度元素 表示關(guān)于面部參考數(shù)據(jù)確定的面部相似性。隨著匹配程度的相對(duì)增
加，面部準(zhǔn)確度相3于增大。正面度元素表示關(guān)于面部參考ft據(jù)確定 的面部正面度。隨著面部的方向更加向前，正面度相對(duì)增大，并且 面部準(zhǔn)確度也相應(yīng)地相對(duì)增大。垂直度元素表示關(guān)于面部參考凄t據(jù) 確定的面部的垂直度。隨著傾斜更接近于零，垂直度相對(duì)增大，并 且面部準(zhǔn)確度也相應(yīng)地相對(duì)增大。通過(guò)將這些元素乘以加權(quán)系數(shù)并
將結(jié)果相力口，可如期地^U亍面部才企測(cè)
面部準(zhǔn)確度
=(面禾口4又重)x (面部區(qū)i或大小^直)
+ (坐標(biāo)4又重)x (面部區(qū)^5戈的坐標(biāo)^f直)
+ (匹酉己一又f ) x (匹酉己禾呈K直)
+ (正面度—又重)x (正面度的^f直) +(垂直度權(quán)重)x (垂直度的值)
由控制器270提供用于各個(gè)估計(jì)元素的加權(quán)系數(shù)。將通過(guò)估計(jì) 器250計(jì)算的面部準(zhǔn)確度4是供給4全測(cè)結(jié)果輸出單元280。
圖像信號(hào)輸出單元260接收從圖像存儲(chǔ)器230提供的圖像數(shù) 據(jù)，并將圖像數(shù)據(jù)提供(輸出)給圖像存儲(chǔ)單元140。類(lèi)似于估計(jì) 器250，當(dāng)提供圖像數(shù)據(jù)時(shí)，圖像信號(hào)輸出單元260提取出預(yù)定大 小的圖像數(shù)據(jù)。
控制器270控制由面部檢測(cè)器200中的圖像放大/縮小單元 220、圖像存儲(chǔ)器230、以及估計(jì)器250執(zhí)行的處理。為了這種控制， 在圖像放大/縮小單元220、圖^f象存儲(chǔ)器230、以及估計(jì)器250中分 別使用放大/縮小率、存儲(chǔ)地址、以及用于計(jì)算面部準(zhǔn)確度的加權(quán)系
數(shù)。因此，控制器270將這些參數(shù)提供給上述部件?？刂破?70從 成像設(shè)備100的控制器150接收用于計(jì)算面部準(zhǔn)確度的加權(quán)系數(shù)。
才全測(cè)結(jié)果輸出單元280 4妻收從估計(jì)器250纟是供的面部準(zhǔn)確度， 并將面部準(zhǔn)確度提供(輸出)至成像設(shè)備100的控制器150。面部 準(zhǔn)確度凈皮保持在面部準(zhǔn)確度161中。
圖3是示出該實(shí)施例中的面部表情檢測(cè)器300的功能結(jié)構(gòu)實(shí)例 的示圖。面部表情檢測(cè)器300包括圖像信號(hào)輸入單元310、圖像放 大/縮小單元320、圖^象存儲(chǔ)器330、參考數(shù)據(jù)存儲(chǔ)器340、估計(jì)器 350、圖像信號(hào)輸出單元360、控制器370、及檢測(cè)結(jié)果輸出單元380。
圖像信號(hào)輸入單元310接收由成像設(shè)備100的部件提供(輸入) 的圖像數(shù)據(jù)，并將圖像數(shù)據(jù)提供給圖像放大/縮小單元320。更具體 地，圖像信號(hào)輸入單元310從信號(hào)處理器120、圖像壓縮擴(kuò)展器180、 以及圖4象存儲(chǔ)單元140接收?qǐng)D像數(shù)據(jù)。
圖像放大/縮小單元320放大或縮小與從圖像信號(hào)輸入單元310 提供的圖像數(shù)據(jù)相對(duì)應(yīng)的圖像。圖像放大/縮小單元320執(zhí)行放大或 縮小， -使得包括在圖像數(shù)據(jù)中的各種大小的面部圖像被方欠大或縮小 至預(yù)定大小。圖像放大/縮小單元320從控制器370接收用于放大或 縮小的放大率或縮小率的值。將已經(jīng)經(jīng)受圖像放大/縮小單元320的 放大或縮小的圖像數(shù)據(jù)提供給圖像存儲(chǔ)器330 。
圖像存儲(chǔ)器330臨時(shí)保持從圖像放大/縮小單元320提供的圖像 數(shù)據(jù)。圖4象存儲(chǔ)器330從控制器370接收?qǐng)D像數(shù)據(jù)將一皮保持在圖傳-存儲(chǔ)器330中的地址。將保持在圖像存儲(chǔ)器330中的圖像數(shù)據(jù)提供 》會(huì)估計(jì)器350和圖4象信號(hào)輸出單元360。
參考數(shù)據(jù)存儲(chǔ)器340預(yù)先保持面部表情參考數(shù)據(jù)(參考面部表 情)，并將面部表情參考數(shù)據(jù)提供給估計(jì)器350。面部表情參考數(shù)據(jù)
被用于估計(jì)器350的面部表情相關(guān)性的估計(jì)。為每種面部表情類(lèi)型
提供參考面部表情數(shù)據(jù)。面部表情參考數(shù)據(jù)的面部大小被固定，使 得當(dāng)估計(jì)面部表情相關(guān)性時(shí)，從將與面部表情參考數(shù)據(jù)進(jìn)行比較的 圖像數(shù)據(jù)中提取出與面部表情參考數(shù)據(jù)的面部大小相對(duì)應(yīng)的圖像 數(shù)據(jù)。
估計(jì)器350基于從圖像存儲(chǔ)器330提供的圖像數(shù)據(jù)估計(jì)面部表 情相關(guān)性。為了面部表情相關(guān)性的估計(jì)，使用面部表情參考數(shù)據(jù)和 面部表情類(lèi)型指定信息。因此，估計(jì)器350分別從參考凄t據(jù)存儲(chǔ)器 340和控制器370接收這些參數(shù)。估計(jì)器350從-提供至其的圖<象數(shù) 據(jù)中4是耳又出預(yù)定大小的圖像數(shù)據(jù)，使得圖像數(shù)據(jù)的面部大小與面部 表情參考數(shù)據(jù)的面部大d、一致。
現(xiàn)在，將描述面部表情相關(guān)性的估計(jì)。在面部表情相關(guān)性的估 計(jì)中，根據(jù)由面部表情類(lèi)型指定信息指定的面部表情類(lèi)型(例如， "笑")，將圖像數(shù)據(jù)中的面部圖像與面部表情參考數(shù)據(jù)(例如， "笑，，參考數(shù)據(jù))進(jìn)行比較，以估計(jì)與參考面部表情的相關(guān)程度作 為面部表情相關(guān)性。即，隨著面部圖像變得與面部表情參考數(shù)據(jù)更 加相似，面部表情相關(guān)性增大。從控制器370提供用于估計(jì)面部表 情相關(guān)性的面部表情類(lèi)型指定信息。將通過(guò)估計(jì)器350估計(jì)的面部 表情相關(guān)性提供給檢測(cè)結(jié)果輸出單元380。
圖像信號(hào)輸出單元360接收從圖像存儲(chǔ)器330提供的圖像數(shù) 據(jù)，并將圖像數(shù)據(jù)提供(輸出)至圖像存儲(chǔ)單元140。類(lèi)似于估計(jì) 器350，當(dāng)提供圖像數(shù)據(jù)時(shí)，圖像信號(hào)輸出單元360提取出預(yù)定大
小的圖像數(shù)據(jù)。 控制器370控制由面部表情檢測(cè)器300中的圖像放大/縮小單元
320、圖〗象存儲(chǔ)器330、以及估計(jì)器350 4丸行的處理。為了這個(gè)控制， 在圖像放大/縮小單元320、圖像存儲(chǔ)器330、以及估計(jì)器350中分 別使用放大/縮小率、存儲(chǔ)地址、以及面部表情類(lèi)型指定信息。因此， 控制器370將這些參數(shù)提供至上述部件?？刂破?70從成像設(shè)備100 的控制器150中接收面部表情類(lèi)型指定信息。
檢測(cè)結(jié)果輸出單元380接收從估計(jì)器350提供的面部表情相關(guān) 性，并將面部表情相關(guān)性提供(輸出)至成像設(shè)備100的控制器150。 面部表情相關(guān)性被保持在面部表情相關(guān)性162中。
圖4是示出在該實(shí)施例中顯示的屏幕實(shí)例的示圖。通過(guò)成傳J殳 備100的用戶界面170中的顯示器171為用戶l是供屏幕。參照?qǐng)D4， 才艮據(jù)面部準(zhǔn)確度評(píng)估器290的評(píng)估結(jié)果，框被疊加在三個(gè)人物的面 部圖像上。更具體地，具有面部準(zhǔn)確度的最高評(píng)估的面部圖像的框 #見(jiàn)覺(jué)上#皮加亮，而正常顯示其它4醫(yī)。通過(guò)基于估計(jì)元素(例如，大 小、坐標(biāo)值、匹配程度、正面度、及垂直度)的組合的綜合觀點(diǎn)來(lái) 估計(jì)面部準(zhǔn)確度，4吏-得面部準(zhǔn)確度可#皮各個(gè)元素的纟又重所影響。然 而，可根據(jù)通過(guò)選擇接收單元172的用戶選擇改變哪個(gè)框被加亮。 屏幕包4舌左側(cè)人物401、正常^匡402、中間人物403、力口亮才匡404、 右側(cè)人物405 、以及正常沖匡406。
左側(cè)人物401《立于顯示區(qū)的左部，并且其臉部朝向側(cè)向。正常 框402被疊加在左側(cè)人物401的面部圖像上。正?？?02表示左側(cè) 人物401的面部圖4象不是三個(gè)人物中具有面部準(zhǔn)確度的最高評(píng)估的
面部圖《象。
中間人物403位于顯示區(qū)的中間部分，并且其臉部朝向前方。 加亮框404 一皮疊加在中間人物403的面部圖<象上。加亮沖匡404表示 中間人物403的面部圖像是三個(gè)人物中具有面部準(zhǔn)確度的最高評(píng)估
的面部圖像。
右側(cè)人物405位于顯示區(qū)的右部，并且其臉部?jī)A斜。正常4匡406 被疊加在右側(cè)人物405的面部圖像上。正?？?06表示右側(cè)人物405 的面部圖像不是三個(gè)人中具有面部準(zhǔn)確度的最高評(píng)估的面部圖像。
圖5是示出在該實(shí)施例中顯示的屏幕的另一個(gè)實(shí)例的示圖。通 過(guò)成^f象i殳備100的用戶界面170中的顯示器171為用戶4是供屏幕。 參照?qǐng)D5,類(lèi)似于圖4所示的屏幕，根據(jù)面部準(zhǔn)確度評(píng)估器2卯的 評(píng)估結(jié)果，框被疊加在三個(gè)人物的面部圖像上。更具體地，具有面 部準(zhǔn)確度的最高評(píng)估的面部圖像的框視覺(jué)上被加亮，而正常顯示其 它框。然而，才艮據(jù)通過(guò)選拷4姿收單元172的用戶選4奪，可將加亮才匡 移動(dòng)至正?？虻奈恢谩Ｆ聊话ㄗ髠?cè)人物411、加亮框412、中間 人物413、正常沖匡414、右側(cè)人物415、以及正常才匡416。
在圖5中，顯示出元素加權(quán)的效果。更具體地，在面部準(zhǔn)確度 的估計(jì)中，盡管面部準(zhǔn)確度隨著由面部圖像的坐標(biāo)值表示的位置變 得更接近于中心而相對(duì)增大，但是可通過(guò)將很小的值設(shè)置為坐標(biāo)值 的加權(quán)系數(shù)來(lái)增大其它面部的面部準(zhǔn)確度。
左側(cè)人物411 #_于顯示區(qū)的左部，并且其臉部朝向前方。力口亮 才匡412萍皮疊力口在左側(cè)人物411的面部圖l象上。力a亮一匡412表示左傷、J 人物411的面部圖像是三個(gè)人中具有面部準(zhǔn)確度的最高評(píng)估的面部 圖像。
中間人物413位于顯示區(qū)的中間部分，并且其臉部朝向側(cè)向。 正?？?14被疊加在中間人物413的面部圖像上。正?？?"表示 中間人物413的面部圖像不是三個(gè)人中具有面部準(zhǔn)確度的最高評(píng)估 的面部圖4象。
右側(cè)人物415位于顯示區(qū)的右部，并且其臉部?jī)A斜。正常框416
沭皮疊加在右側(cè)人物415的面部圖像上。正?？?16表示右側(cè)人物415 的面部圖像不是三個(gè)人中具有面部準(zhǔn)確度的最高評(píng)估的面部圖像。
圖6是示出在該實(shí)施例中顯示的屏幕的又一實(shí)例的示圖。通過(guò) 成像設(shè)備100的用戶界面170中的顯示器171為用戶提供屏幕。參 照?qǐng)D6，類(lèi)似于圖4和5所示的屏幕，才艮據(jù)面部準(zhǔn)確度評(píng)估器290 的^H古結(jié)果，4匡纟皮疊加在大量人物的面部圖<象上。更具體i也，具有 面部準(zhǔn)確度的最高評(píng)估的面部圖像的框視覺(jué)上被加亮，而正常顯示 其它框。然而，根據(jù)通過(guò)選擇接收單元172的用戶選擇，可將加亮 框移動(dòng)至正常框的位置。屏幕包括特定人物421和加亮框422。
在圖6中，顯示出加亮框的移動(dòng)效果。更具體地，盡管面部準(zhǔn) 確度隨著由面部圖像的坐標(biāo)值表示的位置變得更接近于中心而相
等)，但是下面的描述"特定人物421的面部圖像在顯示區(qū)的人物 中具有面部準(zhǔn)確度的最高評(píng)估，，表示已被疊加在中間人物的面部圖 像上的加亮框422已經(jīng)根據(jù)用戶的選沖奪被移動(dòng)至特定人物421的面 部圖像。
特定人物421位于顯示區(qū)的下部。力。亮才匡422尋皮疊加在特定人 物421上。加亮框422表示特定人物421的面部圖像在顯示區(qū)的人 物中具有面部準(zhǔn)確度的最高評(píng)估。
圖7是示出該實(shí)施例中面部表情相關(guān)性轉(zhuǎn)變430的實(shí)例的示 圖。面部表情相關(guān)性轉(zhuǎn)變430示出在面部表情類(lèi)型指定信息指定 "笑，，的情況下面部表情和面部表情相關(guān)性的改變的三個(gè)階段。面 部表形相關(guān)性轉(zhuǎn)變包括(a)嚴(yán)肅面部、(b)微笑面部、以及(c) 笑面部。
嚴(yán)肅面部(a)表示面部表情將^皮確定的面部。嚴(yán)肅面部(a) 的數(shù)據(jù)與"笑"的面部表情參考數(shù)據(jù)不同，使得面部表情相關(guān)性較 低。
微笑面部(b)表示面部表情將被確定的面部。微笑面部(b) 的數(shù)據(jù)更接近于"笑"的面部表情參考數(shù)據(jù)，使得面部表情相關(guān)性 較高。
笑面部(c)表示面部表情將被確定的面部。笑面部(c)的數(shù)
據(jù)與"笑"的面部表情參考數(shù)據(jù)匹配，使得面部表情相關(guān)性顯示出 最大值。
圖8是示出該實(shí)施例中表示面部表情相關(guān)性的時(shí)間變化的曲線 實(shí)例的曲線圖。在面部表情相關(guān)性的時(shí)間變化的該實(shí)例中，示出了 連拍指示的定時(shí)和連拍的時(shí)間間隔。水平軸表示時(shí)間T,其中，由 tl ~ t5定義的時(shí)間間隔恒定。垂直軸表示面部表情相關(guān)性，其#1表 示為評(píng)估值E。此外，在垂直軸上，示出了評(píng)估閾值Eth和評(píng)估差A(yù) E。評(píng)估閾值Eth,皮用作估計(jì)面部表情的參考值。評(píng)估值el、 e4、和 e5對(duì)應(yīng)于圖7中的嚴(yán)肅面部(a)、微笑面部(b )、以及笑面部(c )。
現(xiàn)在，將基于這條曲線描述從面部表情的估計(jì)至圖像存儲(chǔ)的流 程。在時(shí)間tl-t5處分別由白點(diǎn)表示的評(píng)估值el-e5 4皮用作用于 估計(jì)面部表情的數(shù)據(jù)。時(shí)間tl處的評(píng)估值el改變至?xí)r間t2處的評(píng) 估值e2,然后改變至?xí)r間t3處的評(píng)估值e3。在這個(gè)改變期間，枱r 測(cè)出超過(guò)評(píng)估闊值Eth的評(píng)估值，并且以檢測(cè)作為觸發(fā)，在時(shí)間t3 處發(fā)布連拍指示。連拍指示命令圖像的連續(xù)存儲(chǔ)。根據(jù)連拍指示， 存儲(chǔ)表示時(shí)間t4和時(shí)間t5附近的面部表情的圖l象。由黑點(diǎn)表示圖 像被存儲(chǔ)的定時(shí)。在該實(shí)例中，可被存儲(chǔ)的最大圖像數(shù)的設(shè)置為三 個(gè)。在成像設(shè)備100的圖像存儲(chǔ)單元140中存儲(chǔ)圖像。
可選地，可通過(guò)4企測(cè)時(shí)間tl處的評(píng)估值el和時(shí)間t2處的評(píng)估 值e2之間的差超過(guò)評(píng)估差A(yù)E并且時(shí)間t3處的評(píng)估值e3超過(guò)評(píng)估 閾值Eth的情況來(lái)觸發(fā)用于連拍的指示。在這種情況下，可將評(píng)估 閾值Eth選擇為相對(duì)小的值。
圖9示出該實(shí)施例中表示面部表情相關(guān)性的時(shí)間變化的曲線的 另一個(gè)實(shí)例的曲線圖。在該實(shí)例中，示出了用于4亭止更新的指示的 定時(shí)和連拍的時(shí)間間隔。曲線圖中的符號(hào)和軸名與圖8相同。
類(lèi)似于參照?qǐng)D8所描述的情況來(lái)4丸4亍才艮據(jù)該曲線圖的面部表情 的估計(jì)，但是存儲(chǔ)圖像的方法不同。參照?qǐng)D9，從時(shí)間tl之前的定 時(shí)開(kāi)始規(guī)則地存儲(chǔ)圖像，并且當(dāng)存儲(chǔ)圖像的數(shù)量已經(jīng)達(dá)到成像設(shè)備 100的圖像存儲(chǔ)單元140的最大存儲(chǔ)容量時(shí)，執(zhí)行控制，使得從最 先存儲(chǔ)的圖像開(kāi)始順序廢除圖像并保留最近的圖像。該控制被稱(chēng)作 圖4象更新。參照?qǐng)D9，作為圖8所示連拍指示的對(duì)應(yīng)，在時(shí)間t3處 發(fā)布停止圖像更新的指示，使得根據(jù)停止指示保持表示時(shí)間t3之后 面部表情的圖像。由黑點(diǎn)表示圖像被存儲(chǔ)的定時(shí)。在該實(shí)例中，圖 像存儲(chǔ)單元140的最大存儲(chǔ)容量對(duì)應(yīng)于三段圖像數(shù)據(jù)。
圖10是示出作為該實(shí)施例的修改實(shí)例的圖像存儲(chǔ)設(shè)備600的 示圖。圖像存儲(chǔ)設(shè)備600包括像機(jī)單元610、存儲(chǔ)單元620、處理 單元630、 4空制器640、以及用戶界面650。
像才幾單元610拍4聶目標(biāo)圖4象并生成相應(yīng)的運(yùn)動(dòng)圖片數(shù)據(jù)。像才幾 單元610包括變焦透鏡611、光闌612、圖像傳感器613、以及A/D 轉(zhuǎn)換器614。變焦透鏡611是用于拍攝目標(biāo)圖像的透鏡組。變焦透 鏡611根據(jù)從控制器640提供的控制信號(hào)，通過(guò)改變透鏡之間的距 離來(lái)連續(xù)改變其焦點(diǎn)深度(focal depth )。從目標(biāo)反射的光通過(guò)透鏡 組。類(lèi)似于變焦透鏡611，光闌612根據(jù)從控制器640提供的控制 信號(hào)調(diào)節(jié)通過(guò)變焦透4竟611的光量。圖^f象傳感器613 4吏已經(jīng)通過(guò)變焦透鏡611和光闌612的入射光在其上形成圖像，并輸出目標(biāo)圖像 作為運(yùn)動(dòng)圖片數(shù)據(jù)。A/D轉(zhuǎn)換器614將由圖像傳感器613 ^是供的運(yùn) 動(dòng)圖片數(shù)據(jù)從模擬信號(hào)轉(zhuǎn)換成數(shù)字信號(hào)。將通過(guò)像機(jī)單元610生成 的運(yùn)動(dòng)圖片數(shù)據(jù)提供給存儲(chǔ)單元620。
存儲(chǔ)單元620接收從像機(jī)單元610提供的運(yùn)動(dòng)圖片數(shù)據(jù)，并才艮 據(jù)從控制器640提供的控制信號(hào)臨時(shí)存儲(chǔ)運(yùn)動(dòng)圖片數(shù)據(jù)。存儲(chǔ)單元 620包括接點(diǎn)621、存儲(chǔ)器622、以及切換接點(diǎn)623。通過(guò)控制器640 控制4妾點(diǎn)621和切換接點(diǎn)623的打開(kāi)和閉合，使得通過(guò)切換接點(diǎn)623 將由像機(jī)單元610提供的運(yùn)動(dòng)圖片數(shù)據(jù)提供給處理單元630。此外， 當(dāng)閉合4妄點(diǎn)621時(shí)，由4象才幾單元610沖是供的運(yùn)動(dòng)圖片凄史據(jù)一皮臨時(shí)存 儲(chǔ)在存儲(chǔ)器622中，隨后被提供給處理單元630。
接點(diǎn)621是根據(jù)從控制器640提供的控制信號(hào)而打開(kāi)或閉合的 電接點(diǎn)。當(dāng)接點(diǎn)621閉合時(shí)，運(yùn)動(dòng)圖片數(shù)據(jù)被提供給存儲(chǔ)器622。 切換接點(diǎn)623是根據(jù)從控制器640提供的控制信號(hào)而被切換的電接 點(diǎn)。通過(guò)切換接點(diǎn)623的切換，從存儲(chǔ)器622提供的運(yùn)動(dòng)圖片數(shù)據(jù) 或從A/D轉(zhuǎn)換器614提供的運(yùn)動(dòng)圖片數(shù)據(jù)都被提供給處理單元630。
根據(jù)從控制器640提供的用于運(yùn)動(dòng)圖片記錄或靜止圖片記錄的 控制信號(hào)，處理單元630對(duì)從存儲(chǔ)單元620提供的運(yùn)動(dòng)圖片婆t據(jù)才丸 行用于運(yùn)動(dòng)圖片記錄的圖像處理或用于靜止圖片記錄的圖像處理， 并相應(yīng)地將得到的圖像數(shù)據(jù)記錄為運(yùn)動(dòng)圖片或靜止圖片。不同時(shí)執(zhí) 行用于運(yùn)動(dòng)圖片記錄的圖像處理和用于靜止圖片記錄的圖像處理， 而是只扭J亍其中的一種?，F(xiàn)在，將描述在處理單元630中/人用于運(yùn) 動(dòng)圖片記錄的圖像處理向用于靜止圖片記錄的圖像處理的切換實(shí) 例。
當(dāng)響應(yīng)于開(kāi)始運(yùn)動(dòng)圖片記錄的用戶指示開(kāi)始了運(yùn)動(dòng)圖片的記 錄時(shí)，將AM象才幾單元610輸出的運(yùn)動(dòng)圖片凄t據(jù)從切換接點(diǎn)623 l是供
至處理單元630，而不通過(guò)存儲(chǔ)單元620的存儲(chǔ)器622。隨后，處 理單元630對(duì)運(yùn)動(dòng)圖片數(shù)據(jù)執(zhí)行用于運(yùn)動(dòng)圖片記錄的圖像處理。在 用于運(yùn)動(dòng)圖片記錄的圖像處理的同時(shí)，處理單元630執(zhí)行面部檢測(cè) 和面部表情沖企測(cè)以估計(jì)面部表情。如果通過(guò)估計(jì)確定面部表十青變4尋 更接近于參考面部表情，則處理單元630將表示估計(jì)結(jié)果的信息提 供給控制器640。因此，控制器640控制存儲(chǔ)單元620,使得接點(diǎn) 621閉合。因此，從像機(jī)單元610提供的運(yùn)動(dòng)圖片數(shù)據(jù)被臨時(shí)存儲(chǔ) 在存儲(chǔ)器622中。
此夕卜，當(dāng)響應(yīng)于用于停止運(yùn)動(dòng)圖片記錄的用戶指示停止了運(yùn)動(dòng) 圖片的記錄時(shí)，將從面部表情的估計(jì)至運(yùn)動(dòng)圖片記錄結(jié)束期間內(nèi)存 儲(chǔ)在存儲(chǔ)器622中的運(yùn)動(dòng)圖片數(shù)據(jù)提供給處理單元630。處理單元 630對(duì)/人存4諸單元620的存4渚器622才是供的運(yùn)動(dòng)圖片凄t據(jù)寺丸4亍用于 靜止圖片記錄的圖像處理，并將得到的數(shù)據(jù)記錄為靜止圖片。通過(guò) 控制器640彼此獨(dú)立地控制接點(diǎn)621和切換接點(diǎn)623的打開(kāi)或閉合。 例如，基于開(kāi)始運(yùn)動(dòng)圖片記錄后的面部表情的估計(jì)來(lái)閉合接點(diǎn)621, 并將其在運(yùn)動(dòng)圖片記錄結(jié)束后打開(kāi)。才艮據(jù)在開(kāi)始運(yùn)動(dòng)圖片記錄時(shí)以 及在停止運(yùn)動(dòng)圖片記錄期間存儲(chǔ)器622中運(yùn)動(dòng)圖片凄1據(jù)的存在和不 存在來(lái)切換:切^^妄點(diǎn)623。
處理單元630包括像機(jī)信號(hào)處理電路635、運(yùn)動(dòng)圖片記錄單元 631、以及靜止圖片記錄單元632。像機(jī)信號(hào)處理電路635包括面部 檢測(cè)器200、面部準(zhǔn)確度評(píng)估器290、面部表情檢測(cè)器300、以及面 部表情估計(jì)器390。
像才幾信號(hào)處理單元635對(duì)從存儲(chǔ)單元620才是供的運(yùn)動(dòng)圖片數(shù)據(jù) 才丸行伽馬4交正、自動(dòng)增益控制(AGC)等，并且還4丸行預(yù)定的運(yùn)動(dòng) 圖片編碼(例如，MPEG (運(yùn)動(dòng)圖片專(zhuān)家組)編碼)。因此，例如， 運(yùn)動(dòng)圖片凄1據(jù)^皮編碼成與^:字一見(jiàn)頻(DV)標(biāo)準(zhǔn)兼容的才各式。這就 是用于運(yùn)動(dòng)圖片記錄的圖像處理，并且將經(jīng)過(guò)編碼的運(yùn)動(dòng)圖片數(shù)據(jù)
提供給運(yùn)動(dòng)圖片記錄單元631?？蛇x地，代替上述處理，像才幾信號(hào) 處理電路635對(duì)從存儲(chǔ)單元620提供的運(yùn)動(dòng)圖片數(shù)據(jù)執(zhí)行伽馬校 正、自動(dòng)增益控制等，并且還執(zhí)行預(yù)定的靜止圖片編碼。此外，像 機(jī)信號(hào)處理電路635執(zhí)行壓縮，使得例如運(yùn)動(dòng)圖片數(shù)據(jù)被編碼成與 JPEG (聯(lián)合圖片專(zhuān)家組)標(biāo)準(zhǔn)兼容的格式。這就是用于靜止圖片記 錄的圖像處理，并且將經(jīng)過(guò)編碼的靜止圖片數(shù)據(jù)4是供給靜止圖片記 錄單元632。
運(yùn)動(dòng)圖片記錄單元631是專(zhuān)用于編碼運(yùn)動(dòng)圖片數(shù)據(jù)的存儲(chǔ)介 質(zhì)。靜止圖片記錄單元632是專(zhuān)用于編碼靜止圖片數(shù)據(jù)的存儲(chǔ)介質(zhì)。 例如，這些介質(zhì)為存儲(chǔ)磁帶、數(shù)字通用盤(pán)(DVDs)、或硬盤(pán)。
用戶界面650為圖像存儲(chǔ)設(shè)備600的用戶才是供界面。用戶界面 650將來(lái)自用戶的指示提供給控制器640,并為用戶展示與從處理 單元630提供的運(yùn)動(dòng)圖片數(shù)據(jù)相對(duì)應(yīng)的圖像。用戶界面650包括靜 止圖片記錄按鈕651、運(yùn)動(dòng)圖片記錄開(kāi)始/停jM^鈕6S2、效果選擇 按鈕653、變焦開(kāi)關(guān)654、圖像質(zhì)量i殳置按鈕655、以及液晶面才反 656。
當(dāng)用戶發(fā)布用于記錄靜止圖片的指示時(shí)，操作靜止圖片記錄按 鈕651。例如，在記錄運(yùn)動(dòng)圖片期間按下靜止圖片記錄按鈕651時(shí)， 在處理單元630中用于運(yùn)動(dòng)圖片記錄的處理的同時(shí)，將所拍4聶的圖 像數(shù)據(jù)臨時(shí)存儲(chǔ)在存儲(chǔ)單元620的存儲(chǔ)器622中。當(dāng)用于運(yùn)動(dòng)圖片 記錄的處理停止時(shí)，對(duì)臨時(shí)存儲(chǔ)在存儲(chǔ)器622中的圖<象數(shù)據(jù)#1行靜 止圖片i己錄的處理。
當(dāng)用戶發(fā)布用于開(kāi)始或停止用于運(yùn)動(dòng)圖片記錄的圖像處理的 指示時(shí)，操作運(yùn)動(dòng)圖片記錄開(kāi)始/停止按鈕652。當(dāng)首先按下運(yùn)動(dòng)圖 片記錄開(kāi)始/停止按鈕652時(shí)，開(kāi)始用于運(yùn)動(dòng)圖片記錄的處理，并且
當(dāng)下一次按下運(yùn)動(dòng)圖片記錄開(kāi)始/停止4妄4丑652時(shí)，停止運(yùn)動(dòng)圖片記錄。
當(dāng)用戶發(fā)布改變效果的請(qǐng)求時(shí)，操作效果選擇按鈕653被。這 里，效果是指諸如"油畫(huà)感覺(jué)"或"舊照片感覺(jué)"的圖像顯示效果。
當(dāng)用戶發(fā)布用于改變焦點(diǎn)深度的指示時(shí)，才喿作變焦開(kāi)關(guān)654。 用戶可通過(guò)4要下變焦開(kāi)關(guān)654如所期望i也改變變焦透4竟611的焦點(diǎn)深度。
當(dāng)用戶發(fā)布用于設(shè)置圖像質(zhì)量等級(jí)的請(qǐng)求時(shí)，操作圖像質(zhì)量設(shè) 置按4丑655。例如，用戶了通過(guò)按下圖像質(zhì)量設(shè)置按4丑655在高質(zhì) 量、中質(zhì)量、以及低質(zhì)量中設(shè)置所期望的圖像質(zhì)量。
液晶面板656是液晶顯示器的顯示部。液晶面一反656為用戶展 示所顯示的圖像。例如，在記錄運(yùn)動(dòng)圖片期間，液晶面板656顯示 正在^皮記錄的運(yùn)動(dòng)圖片。
控制器640控制存儲(chǔ)單元620和處理單元630中的處理。控制 器640包括;徵型計(jì)算才幾641、透4竟驅(qū)動(dòng)器642、以及陀螺傳感器643。 樣吏型計(jì)算4幾641是包括中央處理單元和存4諸單元的小凄t據(jù)處理i殳 備。微型計(jì)算機(jī)641自動(dòng)執(zhí)行數(shù)據(jù)的輸入、計(jì)算、處理、以及輸出。 透鏡驅(qū)動(dòng)器642是控制變焦透鏡611和光闌612的軟件。陀螺傳感 器643測(cè)量成像期間的抖動(dòng)。
控制器640控制像機(jī)單元610的成像。更具體地，控制器640 改變變焦透鏡611的焦點(diǎn)深度，以改變?nèi)暗浇胺秶鷥?nèi)的成像區(qū)， 并調(diào)節(jié)光闌612，以限制成像期間的入射光量。此外，控制器640 控制存儲(chǔ)單元620的存儲(chǔ)。更具體地，控制器640通過(guò)打開(kāi)或閉合
接點(diǎn)621和切換接點(diǎn)623來(lái)控制是否將從像機(jī)單元610才是供的運(yùn)動(dòng) 圖片數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器622中。
此外，控制器640控制處理單元630對(duì)運(yùn)動(dòng)圖片數(shù)據(jù)的處理。 更具體地，控制器640將定義用于運(yùn)動(dòng)圖片記錄或靜止圖片記錄的 圖^象處理的參數(shù)提供給處理單元630。隨后，控制器640才艮據(jù)面部 表情估計(jì)器390的面部表情估計(jì)結(jié)果控制存儲(chǔ)單元620。因此，閉 合接點(diǎn)621 ，使得從l象機(jī)單元610提供的運(yùn)動(dòng)圖片數(shù)據(jù)^皮存儲(chǔ)在存 <諸器622中。
此外，控制器640根據(jù)用戶界面650的操作接收指示，并根據(jù) 這些指示控制俜4幾單元610、存儲(chǔ)單元620、以及處理單元630。例 如，當(dāng)，喿作變焦開(kāi)關(guān)654時(shí)，控制器640控制像才幾單元610， <吏得 焦點(diǎn)深度被改變。當(dāng)操作靜止圖片記錄按鈕651時(shí)，控制器640控 制存儲(chǔ)單元620，使得運(yùn)動(dòng)圖片數(shù)據(jù)被臨時(shí)存儲(chǔ)，并將用于靜止圖 片記錄的圖像處理參tU是供給處理單元630。
控制器640基于來(lái)自陀螺傳感器643的輸入檢測(cè)成像期間的像 才幾4牛動(dòng)量。例如，傳4幾抖動(dòng)量用于計(jì)算適當(dāng)才交正已經(jīng)由于^象才幾4牛動(dòng) 而偏移的目標(biāo)位置的一交正量。
圖11是示出通過(guò)該實(shí)施例中的成像設(shè)備100的計(jì)算機(jī)執(zhí)行的 處理(主程序)的實(shí)例的流程圖。首先，檢查當(dāng)前的操作模式是否 是面部檢測(cè)模式(步驟S901)。如果當(dāng)前的操作模式為面部檢測(cè)模 式，則執(zhí)行面部檢測(cè)(步驟S910)。如果當(dāng)前的操作模式不是面部 ^r測(cè)才莫式，則退出處理。在完成面部^r測(cè)(步驟S910)后，4全查面 部是否已經(jīng)被^企測(cè)(步驟S902 )。如果面部已經(jīng)祐」險(xiǎn)測(cè)，則沖丸4亍目 標(biāo)選擇(步驟S920)和面部表情評(píng)估(步驟S930)。隨后，退出處 理。如果確定沒(méi)有才全測(cè)到面部(步驟S902)，則立刻退出處理。
圖12是示出該實(shí)施例中的面部檢測(cè)(步驟S910)過(guò)程的流程 圖。這是由成像i殳備100執(zhí)行的處理(主程序)中所才丸行的子程序。
首先，從圖像存儲(chǔ)單元140獲取用作面部檢測(cè)目標(biāo)的圖像數(shù)據(jù) (步驟S911)。隨后，執(zhí)行放大或縮小，使得將圖像數(shù)據(jù)中各種大 小的面部圖像放大或縮小至預(yù)定大小(步驟S912)。隨后，提取預(yù) 定大小的圖像數(shù)據(jù)，使得圖像數(shù)據(jù)的面部大小與面部參考數(shù)據(jù)的面 部大小相匹配(步-驟S913)。
然后，/人面部4企測(cè)器200的參考數(shù)據(jù)存儲(chǔ)器240獲耳又面部參考 數(shù)據(jù)(步驟S914)?；谏鲜雒娌繀⒖紨?shù)據(jù)和圖像數(shù)據(jù)估計(jì)面部準(zhǔn) 確度，并將估計(jì)結(jié)果纟是供給數(shù)據(jù)存儲(chǔ)器160的面部準(zhǔn)確度161 (步 驟S915 )。
圖13是示出在該實(shí)施例中執(zhí)行的目標(biāo)選擇(步驟S920)過(guò)程 的流程圖。這是在由成像設(shè)備100執(zhí)行的處理(主程序)中所執(zhí)行 的子程序。
首先，基于,人H據(jù)存儲(chǔ)器160的面部準(zhǔn)確度161獲取的面部準(zhǔn) 確度的估計(jì)結(jié)果，對(duì)每,殳圖像數(shù)據(jù)沖丸行面部準(zhǔn)確度的評(píng)估(步驟 S921)，并將評(píng)估結(jié)果提供給控制器150。這里，評(píng)估是指面部準(zhǔn)確 度的評(píng)估，例如，表示哪個(gè)面部圖像具有最高面部準(zhǔn)確度。根據(jù)評(píng) 估結(jié)果，將評(píng)估結(jié)果疊加在顯示在顯示器171的圖像數(shù)據(jù)的面部圖 4象上(步驟S922)。例如，當(dāng)存在多個(gè)面部圖l象時(shí)，具有面部準(zhǔn)確 度的最高評(píng)估的面部圖像框視覺(jué)上被加亮，而正常顯示其它框。此 外，用戶可4艮l居用戶判斷通過(guò)移動(dòng)疊加才醫(yī)來(lái)選4和f壬意一個(gè)面部。
更具體地，檢查用于移動(dòng)框的指示是否已被發(fā)布至選擇接收單 元172 (步驟S923 )。當(dāng)已經(jīng)發(fā)布用于移動(dòng)框的指示時(shí)，選擇由指 示指定的面部(步驟S924)。另一方面，當(dāng)用于移動(dòng)框的指示沒(méi)有
被發(fā)布至選擇接收單元172時(shí)，根據(jù)評(píng)估結(jié)果選擇特定面部(步驟
S925)。例如，特定面部是具有最高面部準(zhǔn)確度的面部，即，具有 視覺(jué)加亮疊加框的面部圖像(步驟S922 )。
圖14是示該實(shí)施例中面部表情檢測(cè)和評(píng)估(步驟S930)過(guò)程 的流程圖。這是由成像設(shè)備100執(zhí)行的處理(主程序)中所4丸行的 子程序。
首先，從圖像存儲(chǔ)單元140獲耳又用作面部表情才企測(cè)目標(biāo)的圖像 數(shù)據(jù)(步驟S931)。隨后，執(zhí)行放大或縮小，使得圖像數(shù)據(jù)中各種 大小的面部圖像被放大或縮小至預(yù)定大小(步驟S932)。然后，提 取預(yù)定大小的圖像數(shù)據(jù)，使得圖像數(shù)據(jù)的面部大小與面部表情參考 數(shù)據(jù)的面部大小相匹酉己(步驟S933)。
隨后，從面部表情檢測(cè)器300的參考數(shù)據(jù)存儲(chǔ)器340獲取面部 表情的參考數(shù)據(jù)(參考面部表情)(步驟S934 )?；谏鲜鰠⒖济娌?表情和圖像數(shù)據(jù)估計(jì)用于指定面部表情類(lèi)型(例如，"笑")的面部 表情相關(guān)性，并將估計(jì)結(jié)果(面部表情相關(guān)性)提供給數(shù)據(jù)存儲(chǔ)器 160的面部表情相關(guān)性162 (步驟S935 )。
然后，計(jì)算在圖Y象婆t據(jù)時(shí)間改變前后的面部表情相關(guān)性的差 (步驟S936)。隨后，參考數(shù)據(jù)存儲(chǔ)器160的參考差164中的參考
差(步驟S937)，并檢查面部表情相關(guān)性的差和參考差之間的關(guān)系 (步驟S938)。如果面部表情相關(guān)性的差超過(guò)參考差，則參照參考
閾值(步驟S939)。另一方面，如果面部表情相關(guān)性的差沒(méi)有超過(guò)
參考差，則程序立刻返回主程序。
在參考數(shù)據(jù)存儲(chǔ)器160的參考閾值165中的參考閾值(步驟 S939)之后，檢查面部表情相關(guān)性和參考閾值之間的關(guān)系(步驟 S941 )。如果面部表情相關(guān)性超過(guò)參考閾值，則成像處理(步驟S950 )
-坡進(jìn)一步稱(chēng)作子程序。另一方面，如果面部表情相關(guān)性沒(méi)有超過(guò)參 考閾^直，則程序立刻返回主禾呈序。
圖15是示出該實(shí)施例中的成像處理(步驟S950)過(guò)程的流程 圖。這是由成像i殳備100寺丸行的處理(主程序)中所執(zhí)行的子程序。
首先，復(fù)位計(jì)算所拍攝圖片數(shù)的圖片計(jì)數(shù)器(步驟S951)。隨 后，參照數(shù)據(jù)存儲(chǔ)器160的連拍間隔166，并等待成像定時(shí)直至連 拍間隔過(guò)去(步驟S952 )。在連拍間隔過(guò)去之后，發(fā)布用于成像控 制的指示(步驟S953)。這里，成像控制是指通過(guò)信號(hào)處理器120 將從成像單元110輸出的圖像數(shù)據(jù)存儲(chǔ)圖像存儲(chǔ)單元140中。在成 像控制后，對(duì)所拍^t聶的圖片數(shù)進(jìn)行計(jì)數(shù)(步驟S954 )。
然后，參照數(shù)據(jù)存儲(chǔ)器160的最大數(shù)167,并檢查所拍攝的圖 片數(shù)和最大數(shù)之間的關(guān)系(步驟S955 )。如果所拍攝的圖片數(shù)超過(guò) 最大數(shù)，則將根據(jù)上述成像控制指示(步驟S953 )存儲(chǔ)在圖像存儲(chǔ) 單元140中的圖像數(shù)據(jù)提供給圖像壓縮擴(kuò)展器180，圖像數(shù)據(jù)在其 中被壓縮(步驟S956)。
作為所拍攝的圖片數(shù)和最大數(shù)之間關(guān)系的檢查結(jié)果，如果所拍 攝的圖片數(shù)沒(méi)有超過(guò)最大數(shù)(步驟S955),則程序立刻返回到上述 等待成像定時(shí)的狀態(tài)(步驟S952)。
在圖^象凄t據(jù)壓縮(步驟S956 )后，壓縮圖像凄t據(jù)^U是供并保存 在圖4象^f呆存單元190中(步-驟S957)。
圖16是示出該實(shí)施例中的常規(guī)成像(步驟S960)過(guò)程的流程 圖。這是單獨(dú)于由成像設(shè)備IOO執(zhí)行的處理(主程序)所執(zhí)行的循 環(huán)。
首先，參考^t據(jù)存儲(chǔ)器160的連拍間隔166,并等^寺成〗象定時(shí) 直至連拍間隔過(guò)去(步驟S961 )。在連拍間隔過(guò)去之后，發(fā)布用于 成像控制的指示(步驟S962)。用于成像控制的指示類(lèi)似于圖15 中用于成像控制的指示(步驟S953)。如上所述，更新通過(guò)常規(guī)成 像(步驟S960 )而存儲(chǔ)在圖像存儲(chǔ)單元140中的圖像凄t據(jù)。更具體 地，當(dāng)圖像數(shù)據(jù)的總數(shù)已達(dá)到圖像存儲(chǔ)單元140的最大存儲(chǔ)容量時(shí)， 從最先存儲(chǔ)的圖像中順序刪除圖像，并保留最近的圖像。圖17是 示出該實(shí)施例中成像和保存過(guò)程的流程圖。這是由成像設(shè)備100執(zhí) 4亍的處理(主程序)中的圖15所示成1象處理(步艱《S950)的部分 修改。用作處理目標(biāo)的圖像數(shù)據(jù)是通過(guò)圖16所示的常規(guī)成像(步 驟S960 )而存儲(chǔ)在圖像存儲(chǔ)單元140中的圖像數(shù)據(jù)。
首先，發(fā)布用于停止成傳^殳備100的圖^f象存4諸單元140中的圖 像更新的指示(步驟S971 )。因此，用戶想要的圖像數(shù)據(jù)被保留在 圖像存儲(chǔ)單元140中。隨后，將保留在圖像存儲(chǔ)單元140中的圖像 數(shù)據(jù)提供給圖像壓縮擴(kuò)展器180,圖像數(shù)據(jù)在其中被壓縮(步驟 S972)。將壓縮圖像lt據(jù)才是供并保存在圖像保存單元l卯中(步驟 S973 )。
圖18是示出4艮據(jù)實(shí)施例的修改由圖像存儲(chǔ)設(shè)備600的計(jì)算枳j 所才;M亍的處理(主禾呈序)實(shí)例的流程圖。
首先，控制圖像存儲(chǔ)設(shè)備600的像機(jī)單元610 (步驟S981 )， 4吏得例如改變變焦透4竟611的焦點(diǎn)深度，并且4吏得限制進(jìn)入光闌612 的光量。隨后，檢查對(duì)用戶界面650的運(yùn)動(dòng)圖片記錄開(kāi)始/停止按鈕 652的用戶指示(步驟S982)。如果沒(méi)有檢測(cè)到指示，則用戶沒(méi)有 指示開(kāi)始或停止。另一方面，如果一全測(cè)到指示，則用戶指示開(kāi)始或 停止。如果沒(méi)有4企測(cè)到指示，則估計(jì)面部表情(步驟S983)。面部 表情估計(jì)確定運(yùn)動(dòng)圖片數(shù)據(jù)中的面部表情是否在預(yù)定期間內(nèi)變得 類(lèi)似于參考面部表情。
如果在面部表情估計(jì)(步驟S983 )中確定面部表情變得類(lèi)似于 參考面部表情，則檢查運(yùn)動(dòng)圖片記錄操作是否被執(zhí)行(步驟S984 )。 如果確定沒(méi)有執(zhí)行運(yùn)動(dòng)圖片記錄操作，則將運(yùn)動(dòng)圖片數(shù)據(jù)記錄為靜 止圖片(步驟S985 )。更具體地，將通過(guò)^f象才幾單元610生成的運(yùn)動(dòng) 圖片凄t據(jù)提供全合處理單元630，而沒(méi)有^皮存儲(chǔ)在存儲(chǔ)單元620的存 儲(chǔ)器622中。隨后，處理單元630對(duì)運(yùn)動(dòng)圖片數(shù)據(jù)執(zhí)行用于靜止圖 片記錄的圖像處理，并將得到的數(shù)據(jù)記錄為靜止圖片(步驟S985)。 另一方面，如果確定執(zhí)行了運(yùn)動(dòng)圖片記錄操作(步驟S984)，則執(zhí) 行運(yùn)動(dòng)圖片數(shù)據(jù)的存儲(chǔ)(步驟S986)。更具體地，將通過(guò)傳4幾單元 610生成的運(yùn)動(dòng)圖片^:據(jù)臨時(shí)存4渚在存儲(chǔ)器622中。
如果在面部表情估計(jì)(步驟S983 )中確定面部表情沒(méi)有變得接 近于參考面部表情，則立刻對(duì)像才幾單元610 #14于控制(步-驟S981 )。
如果確定用戶已經(jīng)對(duì)運(yùn)動(dòng)圖片記錄開(kāi)始Af亭止4妄4丑652發(fā)布了 用于開(kāi)始或停止的指示(步驟S982 )，則檢查運(yùn)動(dòng)圖片記錄操作是 否被執(zhí)行(步驟S987 )。如果確定沒(méi)有執(zhí)行運(yùn)動(dòng)圖片記錄操作，則 開(kāi)始運(yùn)動(dòng)圖片數(shù)據(jù)的運(yùn)動(dòng)圖片記錄(步驟S988)。更具體地，將通 過(guò)像機(jī)單元610生成的運(yùn)動(dòng)圖片數(shù)據(jù)提供給處理單元630，而沒(méi)有 存儲(chǔ)在存儲(chǔ)單元620的存〗諸器622中。然后，處理單元630對(duì)運(yùn)動(dòng) 圖片數(shù)據(jù)執(zhí)行用于運(yùn)動(dòng)圖片記錄的圖像處理，并開(kāi)始將得到的數(shù)據(jù) 記錄為運(yùn)動(dòng)圖片。另 一方面，如果確定執(zhí)行了運(yùn)動(dòng)圖片記錄操作(步 驟S987)，則處理單元630停止運(yùn)動(dòng)圖片記錄(步驟S989)。隨后， 暫停運(yùn)動(dòng)圖片記錄。
當(dāng)暫停運(yùn)動(dòng)圖片記錄時(shí)，4全查是否已將由4象才幾單元610生成的 運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)在存儲(chǔ)器622中(步驟S991)。如果已經(jīng)完成運(yùn) 動(dòng)圖片凄t據(jù)的存儲(chǔ)，則處理單元630 4果存并i己錄靜止圖片(步驟 S992)。更具體地，將存儲(chǔ)在存儲(chǔ)器622中的運(yùn)動(dòng)圖片數(shù)據(jù)提供給
處理單元630。隨后，處理單元630對(duì)運(yùn)動(dòng)圖片數(shù)據(jù)執(zhí)行用于靜止 圖片記錄的圖像處理，并將所得到的數(shù)據(jù)記錄為靜止圖片。
如上所述，根據(jù)實(shí)施例，成像設(shè)備100可估計(jì)圖像數(shù)據(jù)中的面
部表情和參考面部表情是否在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系。因 此，可以基于估計(jì)存儲(chǔ)包括與參考面部表情最接近的面部表情的圖 像數(shù)據(jù)。
即，可以估計(jì)圖傳4t據(jù)的時(shí)間變化，并記錄用戶想要的圖4象。
盡管在檢測(cè)圖像數(shù)據(jù)的面部表情改變的實(shí)例的上下文中描述 了實(shí)施例，^f旦是不限于面部表情，例如，可才全測(cè)人體4侖廓的改變。
如上所述，根據(jù)實(shí)施例，對(duì)于圖像數(shù)據(jù)中的面部表情，面部表
情才企測(cè)器300估計(jì)面部表情相關(guān)性，面部表情估計(jì)器390估計(jì)面部 表情相關(guān)性和參考面部表情是否在預(yù)定期間內(nèi)達(dá)到具有預(yù)定相關(guān) 關(guān)系，并基于估計(jì)在圖像存儲(chǔ)單元140中存儲(chǔ)預(yù)定期間內(nèi)的圖像數(shù) 據(jù)。因此，用戶可記錄想要的圖像數(shù)據(jù)。
上述實(shí)施例僅為實(shí)現(xiàn)本發(fā)明的實(shí)例，并且實(shí)施例的部件對(duì)應(yīng)于 如下所述的權(quán)利要求中的元件。然而，在不背離本發(fā)明精神的情況 下，可以、沒(méi)有限制;也構(gòu)想各種4奮改。
例如，權(quán)利要求中的面部表情相關(guān)性估計(jì)裝置對(duì)應(yīng)于面部表情 檢測(cè)器300。例如，權(quán)利要求中的面部表情估計(jì)裝置對(duì)應(yīng)于面部表 情估計(jì)器390。例如，權(quán)利要求中的圖像數(shù)據(jù)存儲(chǔ)裝置對(duì)應(yīng)于圖像 存儲(chǔ)單元140。例如，權(quán)利要求中的圖像存儲(chǔ)控制裝置對(duì)應(yīng)于控制 器150。
例如，片又利要求中的運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置對(duì)應(yīng)于存儲(chǔ)器622。例如，權(quán)利要求中的面部圖像檢測(cè)裝置對(duì)應(yīng)于面部檢測(cè)器200。
例如，；f又利要求中的面部準(zhǔn)確度評(píng)估裝置對(duì)應(yīng)于面部準(zhǔn)確度評(píng) 估器290。
例如，權(quán)利要求中的選^^接收裝置對(duì)應(yīng)于選4和接收單元172。
例如，權(quán)利要求中的成像裝置對(duì)應(yīng)于成像單元110。
例如，權(quán)利要求中估計(jì)面部表情相關(guān)性對(duì)應(yīng)于步驟S935。例如， 權(quán)利要求中估計(jì)面部表情對(duì)應(yīng)于步驟S938或步驟S938和S941。 例如，權(quán)利要求中控制圖像存儲(chǔ)對(duì)應(yīng)于步驟S935或步驟S962和 S971。
上述實(shí)施例中的處理過(guò)程可^皮認(rèn)為是包括一系列過(guò)程的方法、 使計(jì)算機(jī)執(zhí)行一 系列過(guò)程的程序、或在其上記錄有程序的記錄介質(zhì)。
權(quán)利要求
1.一種圖像存儲(chǔ)設(shè)備，包括面部表情相關(guān)性估計(jì)裝置，用于估計(jì)表示面部圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性，所述面部圖像包括在時(shí)變圖像數(shù)據(jù)中；面部表情估計(jì)裝置，用于通過(guò)基于所述面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)所述面部圖像中的所述面部表情和所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制裝置，用于執(zhí)行控制，使得從進(jìn)行所述檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù)存儲(chǔ)裝置中。
2. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備，其中，當(dāng)所述面部表情相關(guān)性超過(guò)預(yù)定程度時(shí)，所述面 部表情估計(jì)裝置檢測(cè)出所述面部圖像中的所述面部表情和所 述預(yù)定參考面部表情具有所述預(yù)定相關(guān)關(guān)系。
3. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備，其中，當(dāng)所述面部表情相關(guān)性的改變梯度超過(guò)預(yù)定值并 且所述面部表情相關(guān)性超過(guò)預(yù)定程度時(shí)，所述面部表情估計(jì)裝 置檢測(cè)出所述面部圖像中的所述面部表情和所述預(yù)定參考面 部表情具有所述預(yù)定相關(guān)關(guān)系。
4. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備，其中，所述圖像存儲(chǔ)控制裝置使從進(jìn)行所述檢測(cè)開(kāi)始的 所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)存儲(chǔ)在所述圖像數(shù)據(jù)存儲(chǔ)裝 置中。
5. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備，其中，所述圖像存儲(chǔ)控制裝置使所述圖像數(shù)據(jù)存儲(chǔ)裝置 執(zhí)行更新，從而存儲(chǔ)新的圖像數(shù)據(jù)，并在從進(jìn)行所述檢測(cè)開(kāi)始 經(jīng)過(guò)所述預(yù)定期間之后，使所述圖像^據(jù)存〗渚裝置停止更新。
6. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備，其中，所述圖像存儲(chǔ)控制裝置執(zhí)行控制，使得從進(jìn)行所 述檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的多個(gè)所述圖像數(shù)據(jù)被保留在 所述圖像數(shù)據(jù)存儲(chǔ)裝置中。
7. 根據(jù)權(quán)利要求1所述的圖像存儲(chǔ)設(shè)備，進(jìn)一步包括運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝置，用于將所述圖像數(shù)據(jù)存儲(chǔ)為運(yùn) 動(dòng)圖片數(shù)據(jù)，其中，所述圖像存儲(chǔ)控制裝置使從進(jìn)行所述^r測(cè)開(kāi)始的 所述預(yù)定期間內(nèi)的所述圖像凄t據(jù)從所述運(yùn)動(dòng)圖片數(shù)據(jù)存儲(chǔ)裝 置保存至所述圖像數(shù)據(jù)存儲(chǔ)裝置。
8. —種圖像存儲(chǔ)設(shè)備，包括面部圖像檢測(cè)裝置，用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的 面部圖4象；面部表情相關(guān)性估計(jì)裝置，用于估計(jì)表示所4企測(cè)的面部 圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面 部表情相關(guān)性；面部表情估計(jì)裝置，用于通過(guò)基于所述面部表情相關(guān)性 的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)所述面部圖像中的所述面部表情和所 述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況； 以及圖像存儲(chǔ)控制裝置，用于執(zhí)行控制，使得從進(jìn)行所述檢 測(cè)開(kāi)始的所述預(yù)定期間中的所述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù) 存儲(chǔ)裝置中。
9. 一種圖像存儲(chǔ)設(shè)備，包括面部圖像檢測(cè)裝置，用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的 多個(gè)面部圖^f象；面部準(zhǔn)確度評(píng)估裝置，用于評(píng)估所4企測(cè)的多個(gè)面部圖 <象 的面吾卩準(zhǔn)確度；面部表情相關(guān)性估計(jì)裝置，用于估計(jì)表示預(yù)定參考面部 表情和在所述多個(gè)面部圖^象的所述面部準(zhǔn)確度中具有最高面 部準(zhǔn)確度的面部圖 <象中的面部表情之間的相關(guān)程度的面部表 情相關(guān)性；面部表情估計(jì)裝置，用于通過(guò)基于所述面部表情相關(guān)性 的轉(zhuǎn)變進(jìn)4于估計(jì)，來(lái)4企測(cè)所述預(yù)定參考面部表情和具有所述最 高面部準(zhǔn)確度的所述面部圖4象中的所述面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制裝置，用于執(zhí)行控制，使得從進(jìn)行所述檢 測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù) 存儲(chǔ)裝置中。
10. —種圖4象存儲(chǔ)設(shè)備，包括面部圖像檢測(cè)裝置，用于檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中的 多個(gè)面部圖《象；選擇接收裝置，用于接收對(duì)所檢測(cè)的多個(gè)面部圖像中將 :帔用于估計(jì)的面部圖 <象的選4奪；面部表情相關(guān)性估計(jì)裝置，用于估計(jì)表示所選擇的面部 圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性；面部表情估計(jì)裝置，用于通過(guò)基于所述面部表情相關(guān)性 的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)所選擇的面部圖像中的所述面部表情 和所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的 情況；以及圖像存儲(chǔ)控制裝置，用于執(zhí)行控制，使得從進(jìn)行檢測(cè)開(kāi) 始的所述預(yù)定期間中的所述圖像^據(jù)一皮保留在圖i象凄t據(jù)存儲(chǔ) 裝置中。一種成像設(shè)備，包括成像裝置，用于對(duì)時(shí)變目標(biāo)進(jìn)行成像并輸出相應(yīng)的圖像 數(shù)據(jù)；面部表情相關(guān)性估計(jì)裝置，用于估計(jì)表示包括在所述圖 像數(shù)據(jù)中的面部圖像中的面部表情和預(yù)定參考面部表情之間 的相關(guān)程度的面部表情相關(guān)性；面部表情估計(jì)裝置，用于通過(guò)基于所述面部表情相關(guān)性 的轉(zhuǎn)變進(jìn)4亍估計(jì)，來(lái)沖全測(cè)所述面部圖"f象中的所述面部表情和所 述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況； 以及圖像存儲(chǔ)控制裝置，用于執(zhí)行控制，使得從進(jìn)行所述檢 測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)一皮保留在圖傳H據(jù) 存儲(chǔ)裝置中。
11. —種圖像存4諸方法，包括以下步驟估計(jì)表示面部圖像中的面部表情和預(yù)定參考面部表情之 間的相關(guān)程度的面部表情相關(guān)性，所述面部圖像包括在時(shí)變圖 像數(shù)據(jù)中；通過(guò)基于所述面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)4金測(cè) 所述面部圖像中的所述面部表情和所述預(yù)定參考面部表情在 予頁(yè)定期間內(nèi)具有子頁(yè)定相關(guān)關(guān)系的情況；以及執(zhí)行控制，使得從所述一企測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所 述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù)存儲(chǔ)裝置中。
12. —種用于4吏計(jì)算枳4丸行以下步驟的程序估計(jì)表示面部圖像中的面部表情和預(yù)定參考面部表情之 間的相關(guān)程度的面部表情相關(guān)性，所述面部圖像包括在時(shí)變圖 像數(shù)據(jù)中；通過(guò)基于所述面部表情相關(guān)性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè) 所述面部圖像中的所述面部表情和所述預(yù)定參考面部表情在 預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及執(zhí)行控制，使得從進(jìn)行所述檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi) 的所述圖像數(shù)據(jù)被保留在圖像數(shù)據(jù)存儲(chǔ)裝置中。
13. 一種圖像存儲(chǔ)設(shè)備，包括面部表情相關(guān)性估計(jì)器，被配置為估計(jì)表示面部圖像中 的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情 相關(guān)性，所述面部圖^f象包4舌在時(shí)變圖^f象凄t提中；面部表情估計(jì)器，；陂配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)4企測(cè)所述面部圖像中的所述面部表情和所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制器，被配置為執(zhí)行控制，使得從進(jìn)行所述 才全測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖傳H據(jù)^皮4呆留在圖傳-凄t 據(jù)存儲(chǔ)單元中。
14. —種圖像存儲(chǔ)i殳備，包括面部圖像檢測(cè)器，被配置為檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中 的面部圖j象；面部表情相關(guān)性估計(jì)器，被配置為估計(jì)表示所檢測(cè)的面 部圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的 面部表情相關(guān)性；面部表情估計(jì)器，被配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)所述面部圖像中的所述面部表情和 所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情 況；以及圖像存儲(chǔ)控制器，被配置為執(zhí)行控制，使得從進(jìn)行所述 檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù) 據(jù)存儲(chǔ)單元中。
15. —種圖像存儲(chǔ)"i殳備，包括面部圖像檢測(cè)器，被配置為檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中 的多個(gè)面部圖4象；面部準(zhǔn)確度評(píng)估器，— 皮配置為評(píng)估所4企測(cè)的多個(gè)面部圖 <象的面部準(zhǔn)確度；面部表情相關(guān)性估計(jì)器，被配置為估計(jì)表示預(yù)定參考面 部表情和在所述多個(gè)面部圖^象的所述面部準(zhǔn)確度中具有最高面部準(zhǔn)確度的面部圖 <象中的面部表情之間的相關(guān)考呈度的面部表情相關(guān)性；面部表情估計(jì)器，纟皮配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)所述預(yù)定參考面部表情和具有所述 最高面部準(zhǔn)確度的所述面部圖^f象中的所述面部表情在預(yù)定期 間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制器，被配置為執(zhí)行控制，使得從進(jìn)行所述 檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù) 據(jù)存儲(chǔ)單元中。
16. —種圖像存儲(chǔ)設(shè)備，包括面部圖像檢測(cè)器，被配置為檢測(cè)包括在時(shí)變圖像數(shù)據(jù)中 的多個(gè)面部圖^象；選擇接收單元，被配置為接收對(duì)所檢測(cè)的多個(gè)面部圖像 中將被用于估計(jì)的面部圖像的選擇；面部表情相關(guān)性估計(jì)器，被配置為估計(jì)表示所選才奪的面 部圖 <象中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的 面部表情相關(guān)性；面部表情估計(jì)器，被配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)所選擇的面部圖像中的所述面部表 情和所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系 的f青況；以及圖像存儲(chǔ)控制器，被配置為執(zhí)行控制，使得從進(jìn)行所述 檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù) 據(jù)存儲(chǔ)單元中。
17.—種成l"象i殳備，包4舌成4象單元，,皮配置為對(duì)時(shí)變目標(biāo)進(jìn)行成像并輸出相應(yīng)的 圖像數(shù)據(jù)；面部表情相關(guān)性估計(jì)器，被配置為估計(jì)表示包括在所述 圖像數(shù)據(jù)中的面部圖像中的面部表情和預(yù)定參考面部表情之 間的相關(guān)程度的面部表情相關(guān)性；面部表情估計(jì)器，被配置為通過(guò)基于所述面部表情相關(guān) 性的轉(zhuǎn)變進(jìn)行估計(jì)，來(lái)檢測(cè)所述面部圖像中的所述面部表情和 所述預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情 況；以及圖像存儲(chǔ)控制器，被配置為執(zhí)行控制，使得從進(jìn)行所述 檢測(cè)開(kāi)始的所述預(yù)定期間內(nèi)的所述圖像數(shù)據(jù)被保留在圖像數(shù) 據(jù)存^諸單元中。
全文摘要
一種圖像存儲(chǔ)設(shè)備包括面部表情相關(guān)性估計(jì)器，用于估計(jì)表示面部圖像中的面部表情和預(yù)定參考面部表情之間的相關(guān)程度的面部表情相關(guān)性，面部圖像包括在時(shí)變化圖像數(shù)據(jù)中；面部表情估計(jì)器，用于基于面部表情相關(guān)性的轉(zhuǎn)變，通過(guò)估計(jì)來(lái)檢測(cè)面部圖像中的面部表情和預(yù)定參考面部表情在預(yù)定期間內(nèi)具有預(yù)定相關(guān)關(guān)系的情況；以及圖像存儲(chǔ)控制器，用于執(zhí)行控制，使得從檢測(cè)開(kāi)始的預(yù)定期間內(nèi)的圖像數(shù)據(jù)被保持在圖像數(shù)據(jù)存儲(chǔ)單元中。
文檔編號(hào)H04N5/76GK101175187SQ20071016569
公開(kāi)日2008年5月7日 申請(qǐng)日期2007年10月31日 優(yōu)先權(quán)日2006年10月31日
發(fā)明者辻村貴 申請(qǐng)人:索尼株式會(huì)社