專利名稱：圖像識別設(shè)備及其控制方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種適合于諸如攝像機等的攝像設(shè)備的圖像識別設(shè)備及其控制方法。
背景技術(shù)：
近來已經(jīng)提出了具有識別圖像中包含的特定被攝體的被攝體識別功能的攝像設(shè) 備。利用被攝體識別功能，攝像設(shè)備可以優(yōu)先針對識別出的被攝體控制聚焦和曝光。具有 被攝體識別功能的攝像設(shè)備首先從該攝像設(shè)備通過被攝體識別處理所獲得的圖像數(shù)據(jù)檢 測包含特定被攝體的被攝體圖像區(qū)域。然后，攝像設(shè)備從檢測到的被攝體圖像區(qū)域的圖像 數(shù)據(jù)提取用以將被攝體區(qū)域識別為識別對象的特征信息。攝像設(shè)備將提取出的特征信息與 數(shù)據(jù)庫中預(yù)先登記的圖像的特征信息進行比較?；谕ㄟ^比較所獲得的類似度，攝像設(shè)備 識別與識別對象相對應(yīng)的登記對象，或者判斷是否存在相應(yīng)的登記對象。例如，日本特開2003-187352號公報提出了進行用于將人物的面部檢測為特定被 攝體區(qū)域的人物識別、提取該面部的特征信息并判斷具有該面部的人物的系統(tǒng)。在本說明 書中，識別與諸如面部等的檢測到的圖像相對應(yīng)的人物(被攝體)的處理將被稱為“識別”。如上所述，在被攝體識別時，通過將識別對象與數(shù)據(jù)庫中預(yù)先登記的對象進行比 較來計算類似度。對要計算的類似度設(shè)置預(yù)定閾值。如果計算出的類似度等于或高于預(yù)定 閾值，則判斷為識別對象與登記數(shù)據(jù)庫中的對象一致。當從識別對象的圖像和登記數(shù)據(jù)庫中的對象的圖像所獲得的特征量幾乎相等時， 類似度高。然而，即使當識別對象和數(shù)據(jù)庫中登記的對象表示同一被攝體時，如果諸如被 攝體方向或亮度等的被攝體狀態(tài)改變，則從這些對象圖像所獲得的特征量(即，所比較的 被攝體和對象的特性)彼此不同，并且類似度變低。由于(1)識別對象與數(shù)據(jù)庫中登記的 對象不一致、或者( 數(shù)據(jù)庫中登記的對象的狀態(tài)與用作為識別對象的被攝體的狀態(tài)不一 致，因此類似度低于預(yù)定閾值。也就是說，不能僅根據(jù)類似度值判斷為識別對象是數(shù)據(jù)庫中 未登記的被攝體。

發(fā)明內(nèi)容
期望解決以上問題，并且本發(fā)明的實施例提供一種意圖更精確地判斷為從圖像檢 測到的被攝體未登記在數(shù)據(jù)庫中的圖像識別設(shè)備及其控制方法。根據(jù)本發(fā)明的一個方面，提供一種圖像識別設(shè)備，用于在輸入圖像中識別被攝體， 所述圖像識別設(shè)備包括數(shù)據(jù)庫，在所述數(shù)據(jù)庫中，與被攝體的標識相關(guān)聯(lián)地登記有通過對 所述被攝體進行攝像所獲得的圖像或圖像特征、以及所述被攝體的被攝體可識別性狀態(tài)， 作為登記圖像信息；第一計算部件，用于計算所輸入的被攝體圖像的被攝體可識別性狀態(tài) 與所述登記圖像信息中的被攝體可識別性狀態(tài)之間的一致度；第二計算部件，用于計算所 輸入的被攝體圖像的圖像特征與所述登記圖像信息中的圖像特征之間的類似度；以及識別 部件，用于執(zhí)行識別處理，以基于所述類似度和所述一致度來識別所輸入的被攝體圖像的 被攝體是否是與所述登記圖像信息的被攝體相同的被攝體，其中，當所述第二計算部件計算出所述類似度低于第一閾值、并且所述第一計算部件計算出所述一致度等于或高于第二 閾值時，所述識別部件識別出所輸入的被攝體圖像的被攝體不同于所述登記圖像信息的被 攝體。此外，根據(jù)本發(fā)明的另一方面，提供一種圖像識別設(shè)備的控制方法，所述圖像識別 設(shè)備在輸入圖像中識別被攝體，所述控制方法包括登記步驟，用于將通過對被攝體進行攝 像所獲得的圖像或圖像特征、以及與所述被攝體有關(guān)的被攝體可識別性狀態(tài)作為登記圖像 信息與所述被攝體的標識相關(guān)聯(lián)地登記在數(shù)據(jù)庫中；第一計算步驟，用于計算所輸入的被 攝體圖像的被攝體可識別性狀態(tài)與所述登記圖像信息中的被攝體可識別性狀態(tài)之間的一 致度；第二計算步驟，用于計算所輸入的被攝體圖像的圖像或圖像特征與所述登記圖像信 息中的圖像或圖像特征之間的類似度；以及識別步驟，用于執(zhí)行識別處理，以基于所述類似 度和所述一致度來識別所述被攝體圖像的被攝體是否是與所述登記圖像信息的被攝體相 同的被攝體，其中，當計算出所述類似度低于第一閾值、并且所述一致度等于或高于第二閾 值時，在所述識別步驟中識別出所述被攝體圖像的被攝體不同于所述登記圖像信息的被攝 體。通過以下參考附圖對典型實施例的說明，本發(fā)明的其它特征將變得明顯。


圖1是示出根據(jù)第一實施例的攝像設(shè)備的配置的框圖；圖2是示出根據(jù)第一實施例的識別處理的流程圖；圖3是示出根據(jù)第一實施例的識別處理的圖；圖4是示出根據(jù)第二實施例的攝像設(shè)備的配置的框圖；圖5是示出根據(jù)第二實施例的識別處理的流程圖；以及圖6是示出根據(jù)第二實施例的識別處理的圖。
具體實施例方式現(xiàn)在將參考附圖來說明本發(fā)明的優(yōu)選實施例。第一實施例圖1是示出具有根據(jù)第一實施例的圖像識別設(shè)備的攝像設(shè)備100的示意配置的框 圖。攝像設(shè)備100具有進行以下的面部識別的功能該面部識別用于從通過攝像所獲得的 圖像數(shù)據(jù)檢測人物的面部作為特定被攝體區(qū)域，提取該面部的特征信息，并且識別具有該 面部的人物。表示被攝體圖像的光束通過攝像鏡頭101會聚，并且入射諸如CXD(電荷耦合器 件)圖像傳感器或CMOS (互補金屬氧化物半導體)圖像傳感器等的攝像裝置102。攝像裝 置102根據(jù)入射光束的強度而輸出針對各像素的電信號。該電信號是視頻信號。模擬信號 處理單元103對從攝像裝置102輸出的視頻信號進行諸如相關(guān)雙采樣(CDQ等的模擬信號處理。A/D轉(zhuǎn)換單元104將從模擬信號處理單元103輸出的視頻信號轉(zhuǎn)換成數(shù)字數(shù)據(jù)，從 而生成數(shù)字圖像。將該數(shù)字圖像作為要處理的圖像輸入至攝像控制單元105和圖像處理單 元106。圖像處理單元106對所輸入的要處理的圖像執(zhí)行包括伽瑪校正和白平衡處理的圖像處理。除了 通常的圖像處理以外，圖像處理單元106具有使用從(后面要說明的)被攝 體檢測單元109和被攝體識別單元111供給的、與圖像中的特定被攝體區(qū)域有關(guān)的信息來 進行圖像處理的功能。將從圖像處理單元106輸出的視頻信號發(fā)送至顯示單元107。顯示 單元107是例如LCD (液晶顯示器)或有機EL (電致發(fā)光)顯示器，并且顯示視頻信號。顯 示單元107可以用作用以順次顯示按時間序列檢測到的圖像的電子取景器(EVF)。將視頻 信號記錄在記錄介質(zhì)108 (例如，可拆卸存儲卡)上。注意，記錄目的地可以是照相機的內(nèi) 置存儲器、插入至照相機中的存儲器或可通信地連接的外部裝置。還將從圖像處理單元106輸出的視頻信號(要處理的輸入圖像)供給至被攝體檢 測單元109。被攝體檢測單元109檢測該圖像中的特定被攝體，并且指定被攝體的數(shù)量和被 攝體區(qū)域。如上所述，本實施例中的目標被攝體可以是人物的面部。由此檢測方法可以是 已知的面部檢測方法。例如，已知的面部檢測技術(shù)包括使用與面部有關(guān)的知識(膚色信息 以及諸如眼睛、鼻子和嘴等的部位)的方法、以及基于以神經(jīng)網(wǎng)絡(luò)為代表的學習算法配置 面部檢測用的識別單元的方法。對于高的檢測精度，通常組合多個面部檢測方法來進行面 部檢測。例子包括如日本特開2002-251380號公報所述的、使用小波變換和圖像特征量來 進行面部檢測的方法。從被攝體檢測單元109輸出的信息包括如下數(shù)量的被攝體位置、大 小、傾斜和檢測結(jié)果可靠性等，該數(shù)量是檢測到的被攝體的數(shù)量。狀態(tài)判斷單元110訪問數(shù)據(jù)庫112，以判斷(后面要說明的)被攝體識別單元111 中的識別對象的狀態(tài)(即，可識別性)與數(shù)據(jù)庫112中預(yù)先登記的對象的狀態(tài)彼此是否一 致，或者判斷一致度。后面將說明狀態(tài)判斷單元110的詳細內(nèi)容。被攝體識別單元111從被攝體檢測單元109所檢測到的被攝體的圖像數(shù)據(jù)(被攝 體圖像)提取特征信息以將被攝體區(qū)域識別為識別對象。被攝體識別單元111將提取出 的特征信息與數(shù)據(jù)庫112中預(yù)先登記的被攝體圖像的特征信息進行比較。更具體地，被攝 體識別單元111將被攝體圖像的圖像特征與數(shù)據(jù)庫112中登記的被攝體的圖像特征進行 比較。例如，通過使用與在面部檢測時提取出的面部部位有關(guān)的信息，被攝體識別單元111 獲得多個類型的項的值，例如，該多個類型的項包括右眼和左眼的中心(例如，瞳孔)之間 的距離、右眼和左眼的大小的平均值、連接眼睛的中心和眼角的直線相對于連接右眼和左 眼的中心的直線的斜率、嘴的寬度、從右眼和左眼的中心之間的平分點到鼻尖的距離、以及 從右眼和左眼的中心之間的平分點到下巴尖的距離。被攝體識別單元111使各項的值標準 化，以使得任意項(例如，右眼和左眼的中心之間的距離)的值與預(yù)定值一致。被攝體識別 單元111使用預(yù)先準備的表來將各項的值轉(zhuǎn)換成點。被攝體識別單元111針對這些項的各 種組合，計算不同項的點的比，例如，包括右眼和左眼的大小的平均值的點相對于右眼和左 眼的中心之間的距離的點的比、以及從右眼和左眼的中心之間的平分點到下巴尖的距離的 點相對于嘴寬度的點的比。被攝體識別單元111在數(shù)據(jù)庫112中預(yù)先登記的這些人物的比 數(shù)據(jù)中讀出人物的比數(shù)據(jù)，并且獲得各計算出的比相對于所讀出的比數(shù)據(jù)的百分比(％ )。 被攝體識別單元111獲得針對項的各種組合所計算出的百分比(％)的平均值，并且將該平 均值設(shè)置為該人物的識別評價值。技術(shù)人員將理解存在獲得識別評價值的其它方式，并且 以上給出的例子是幾種可能性中的一個例子?；诒硎就ㄟ^比較所獲得的類似度的識別評 價值，被攝體識別單元111識別與識別對象相對應(yīng)的登記對象，并且判斷是否存在相應(yīng)的 登記對象。例如，對識別評價值設(shè)置預(yù)定閾值。當所獲得的識別評價值等于或大于預(yù)定閾值時，可以判斷為識別對象是數(shù)據(jù)庫112中登記的對象。在以下兩種情況下，識別評價值小 于預(yù)定閾值(1)識別對象不同于數(shù)據(jù)庫112中登記的對象，或者(2)識別對象與登記數(shù)據(jù)庫中的對象一致，但不能獲得等于或大于預(yù)定閾值的識 別評價值。當例如圖像中的被攝體的狀態(tài)(例如，面部方向)不同時，發(fā)生識別對象與數(shù)據(jù)庫 112中登記的對象一致、但不能獲得等于或大于預(yù)定閾值的識別評價值的現(xiàn)象。換言之，所 輸入的對象不可識別為與數(shù)據(jù)庫中登記的對象相同。由于該原因，當識別評價值小于預(yù)定 閾值、并且狀態(tài)判斷單元110判斷為這兩個對象的狀態(tài)彼此一致(或狀態(tài)一致度等于或高 于預(yù)定閾值，這意味著被攝體的可識別性足夠相似，以使得如果這兩個對象是同一被攝體， 則將檢測到這兩個對象是同一被攝體)時，被攝體識別單元111判斷為識別對象是不同于 數(shù)據(jù)庫中的被攝體的被攝體。換言之，不會僅僅因為正在識別的面部中的一個面部轉(zhuǎn)過臉 去而使得被攝體識別單元111沒有發(fā)現(xiàn)所輸入的面部和數(shù)據(jù)庫的面部相同。相反，更可靠 地得出面部實際上不同這一事實。狀態(tài)判斷單元110中的狀態(tài)是由使被攝體識別單元111的精度下降的因素所限定 的。使被攝體識別單元111的精度下降的因素依賴于被攝體識別單元111的算法等，因此 基于被攝體識別單元111的特性來定義狀態(tài)判斷單元110中的狀態(tài)。狀態(tài)或可識別性狀態(tài) 的例子包括面部方向、亮度、表情、隱蔽度(例如，被攝體是否戴眼鏡或蓄胡須)和被攝體區(qū) 域大小。在數(shù)據(jù)庫112中，與被攝體相關(guān)聯(lián)地登記目標被攝體圖像、或者被攝體識別用的 圖像特征量和被攝體可識別性狀態(tài)?！氨粩z體可識別性狀態(tài)”意味著登記了圖像的構(gòu)圖。該 構(gòu)圖可以包括人物面對的方向(即，直接面向拍攝圖像的照相機或面向一側(cè)或面向側(cè)面)。 可選地，被攝體可識別性狀態(tài)可以表示正在攝像的被攝體是否部分模糊。換言之，被攝體可 識別性狀態(tài)與以上所述的被攝體“狀態(tài)”相同?？梢詫⒍鄠€被攝體登記在數(shù)據(jù)庫112中。此 夕卜，還可以將針對同一被攝體的多個數(shù)據(jù)登記在數(shù)據(jù)庫中。在這種情況下，被攝體可以登記 有多個不同的狀態(tài)。注意，可以將被攝體識別圖像登記在數(shù)據(jù)庫112中。在本說明書中，將 數(shù)據(jù)庫112中與被攝體相關(guān)聯(lián)地登記的圖像特征量和被攝體可識別性狀態(tài)、或圖像統(tǒng)稱為 “登記圖像信息”。攝像控制單元105基于從A/D轉(zhuǎn)換單元104輸出的視頻信號，控制攝像鏡頭的(均 未示出的)調(diào)焦控制機構(gòu)和曝光控制機構(gòu)。當控制調(diào)焦控制機構(gòu)和曝光控制機構(gòu)時，攝像 控制單元105可以使用從被攝體檢測單元109和被攝體識別單元111供給的目標被攝體區(qū) 域提取結(jié)果的信息。因此，攝像設(shè)備100具有進行考慮到所拍攝圖像中特定被攝體區(qū)域的 信息的攝像處理的功能。攝像控制單元105還控制攝像裝置102的輸出定時和輸出像素等。將參考圖2來解釋根據(jù)第一實施例的被攝體識別處理的序列。 圖像處理單元106讀取通過利用A/D轉(zhuǎn)換單元104對經(jīng)由攝像裝置102所獲得的 所拍攝圖像進行數(shù)字化所獲得的圖像作為輸入圖像(步驟S201)。被攝體檢測單元109檢 測該輸入圖像中的被攝體區(qū)域(步驟S202)。狀態(tài)判斷單元110和被攝體識別單元111獲 得被攝體檢測單元109所檢測到的被攝體區(qū)域的圖像作為要識別的被攝體圖像。作為被攝 體檢測單元109的檢測結(jié)果的信息，獲得檢測結(jié)果的數(shù)量、各檢測結(jié)果在圖像中的位置和大小以及檢測結(jié)果的可靠性等。狀態(tài)判斷單元110和被攝體識別單元111對被攝體檢測單 元109所提取出的、作為識別對象的各被攝體執(zhí)行步驟S203 S209中的處理。還可以從 被攝體檢測單元109所提取出的多個被攝體中選擇主被攝體，并且僅對作為識別對象的所 選擇的被攝體進行步驟S203 S209中的處理。例如，要選擇的主被攝體是檢測被攝體區(qū) 域(被攝體圖像)時評價值最大的被攝體或被攝體區(qū)域的面積最大的被攝體。狀態(tài)判斷單元110計算用以判斷被攝體檢測單元109所提取出的被攝體的狀態(tài) 與數(shù)據(jù)庫112中登記的被攝體的狀態(tài)一致的程度的狀態(tài)一致度(步驟S203(第一計算處 理))。狀態(tài)一致度越高意味著狀態(tài)類似度越高。狀態(tài)一致判斷要素的例子是面部方向。在判斷面部方向的一致度時，從識別對象 的圖像和數(shù)據(jù)庫中登記的對象的圖像提取諸如眼睛和嘴等的面部部位的特征點，并且根據(jù) 提取出的特征點之間的幾何關(guān)系來估計面部方向。比較識別對象(即，要識別的被攝體圖 像)的所估計的面部方向和數(shù)據(jù)庫中登記的對象(即，被攝體)的面部方向，由此判斷狀態(tài) 一致度。注意，狀態(tài)一致度判斷時的狀態(tài)是影響被攝體識別單元111的精度的因素就可以 了，并不限于面部方向。也就是說，這里使用的狀態(tài)是根據(jù)被攝體識別單元111的系統(tǒng)和算 法所定義的，并且除了面部方向以外，還包括“亮度”、“表情”、“隱蔽度”和“大小”。將例示 判斷各狀態(tài)的一致度的方法。當使用“亮度”作為狀態(tài)時，計算識別對象的圖像中的亮度值 的平均值、和數(shù)據(jù)庫中登記的對象的圖像中的亮度值的平均值，并且在這兩個平均值之間 的差是根據(jù)數(shù)據(jù)庫圖像計算出的平均值的20%以下的情況下，判斷為亮度狀態(tài)彼此一致， 并且百分比越低，狀態(tài)一致度越高。隨著圖像變暗，更難以提取被攝體識別單元111獲得識 別評價值所使用的與面部部位有關(guān)的信息。因而，對于較低的數(shù)據(jù)庫圖像亮度，基準值20% 變?yōu)楦訃栏?即，更低)的值。當使用“表情”時，從識別對象的圖像和數(shù)據(jù)庫中登記的 對象的圖像提取諸如眼睛和嘴等的面部部位的特征點，并且根據(jù)眼睛張開(眼高相對于眼 寬)的程度、嘴形(嘴的兩角是否比嘴的中央高)和眼角的位置等來判斷各圖像中的面部 表情。例如，當眼角向下、眼睛張開的程度低、并且嘴的兩角向上時，判斷為人物正在微笑。 對于表情，僅當所判斷出的表情彼此一致時，才判斷為狀態(tài)彼此一致。當使用“隱蔽度”時， 從識別對象的圖像和數(shù)據(jù)庫中登記的對象的圖像檢測諸如面具和眼鏡等的隱蔽特征，并且 在各個圖像中檢測到的隱蔽特征(或者，實際上為被攝體的隱蔽部位)的面積相對于被攝 體(諸如面部等)的面積的比之間的差是數(shù)據(jù)庫圖像中的隱蔽特征的面積相對于該被攝體 (即，面部)的比的5%以下的情況下，判斷為隱蔽特征狀態(tài)彼此一致，并且百分比越低，狀 態(tài)一致度越高。當使用“大小”、并且從被攝體檢測單元109輸出的面部大小是數(shù)據(jù)庫中登 記的面部大小的一半以下時，判斷為大小狀態(tài)彼此不一致。相反，大小彼此越接近，得出的 狀態(tài)一致度越高。 然后，被攝體識別單元111將被攝體檢測單元109提取出的被攝體圖像的圖像特 征與數(shù)據(jù)庫112中登記的被攝體的圖像特征進行比較，從而計算第二計算處理中的識別評 價值(步驟S204)。該識別評價值表示要識別的被攝體圖像和數(shù)據(jù)庫112中登記的被攝體 之間的類似度。識別評價值越大表示識別對象和數(shù)據(jù)庫112中登記的被攝體彼此一致的可 能性越高。當數(shù)據(jù)庫112中存在多個被攝體時，以數(shù)據(jù)庫112中登記的被攝體的數(shù)量的次 數(shù)執(zhí)行狀態(tài)判斷單元110的處理(步驟S203)和被攝體識別單元111的處理(步驟S204)。 也就是說，對于一個識別對象，獲得了如下數(shù)量的狀態(tài)一致度和識別評價值，該數(shù)量是數(shù)據(jù)庫112中登記的被攝體的數(shù)量。
被攝體識別單元111將識別評價值與第一閾值進行比較，并且如果識別評價值等 于或大于第一閾值，則判斷為識別對象是與數(shù)據(jù)庫112中登記的被攝體一致的被攝體(步 驟S205中為“是”一步驟S206)。如果識別評價值小于第一閾值(S205中為“否”)，則被 攝體識別單元111將狀態(tài)一致度與第二閾值進行比較。如果狀態(tài)一致度等于或高于第二閾 值、即要識別的被攝體的狀態(tài)與數(shù)據(jù)庫中登記的被攝體的狀態(tài)一致，則被攝體識別單元111 判斷為識別對象是與數(shù)據(jù)庫112中登記的被攝體不同的被攝體(步驟S207中為“是”一步 驟S208)。如果狀態(tài)一致度低于預(yù)定閾值(步驟S207中為“否”)，則在未判斷出識別對象 是與數(shù)據(jù)庫中的被攝體不同還是與數(shù)據(jù)庫中的被攝體一致的情況下，被攝體識別單元111 判斷為不能進行判斷(步驟S207中為“否”一步驟S209)。將參考圖3來例示上述的根據(jù)第一實施例的被攝體識別處理。在圖3中，狀態(tài)判斷 單元110判斷面部方向的一致度。在圖3中，附圖標記301表示數(shù)據(jù)庫中登記的圖像；并且 附圖標記302 304表示輸入圖像。輸入圖像302相對于登記圖像301的識別評價值等于 或大于第一閾值，因此判斷為識別對象是與數(shù)據(jù)庫中的被攝體相同的被攝體。輸入圖像303 相對于登記圖像301的識別評價值小于第一閾值，狀態(tài)一致度等于或高于第二閾值(即， 這兩個圖像的面部面向同一方向，因此識別評價值的差異不是由于狀態(tài)的差異引起的)，由 此判斷為識別對象是與數(shù)據(jù)庫中登記的對象不同的被攝體。輸入圖像304相對于登記圖像 301的識別評價值小于第一閾值，狀態(tài)一致度小于第二閾值，由此并未判斷出識別對象是與 數(shù)據(jù)庫中登記的對象一致的被攝體還是與數(shù)據(jù)庫中登記的對象不同的被攝體。換言之，不 能進行關(guān)于來自輸入圖像的被攝體與所存儲的被攝體圖像是否相同的判斷。如上所述，根據(jù)第一實施例，對于要識別的被攝體圖像，在與數(shù)據(jù)庫中登記的被攝 體比較時，獲得通過被攝體識別所獲得的識別評價值、和與被攝體狀態(tài)有關(guān)的狀態(tài)一致度。 當識別評價值小于預(yù)定閾值時，通過參考狀態(tài)一致度來判斷識別對象是否不同于所登記的 被攝體。換言之，可以更加精確地判斷為識別對象是被攝體識別數(shù)據(jù)庫中未登記的被攝體。在如圖2所示的步驟S207中，僅使用狀態(tài)一致度來進行判斷，但本發(fā)明不限于此。 例如，當在步驟S204中獲得的識別評價值小于第三閾值(其中，第三閾值小于第一閾值)、 并且狀態(tài)一致度高于第二閾值(S207)時，可以判斷為識別對象不同于數(shù)據(jù)庫中登記的被 攝體(步驟S208)。同樣，僅當識別評價值等于或大于第一閾值、并且狀態(tài)一致度等于或高 于第四閾值時，處理才可以從步驟S205進入步驟S206，其中，第四閾值與第二閾值相同或 不同，并且包括在必須滿足S205和S207這兩者為肯定才得到S206的實施例中。通過該設(shè) 置，僅當類似度高、并且狀態(tài)在一定程度上一致時，才可以判斷為要識別的被攝體與數(shù)據(jù)庫 中登記的被攝體一致。為了將被攝體圖像登記在數(shù)據(jù)庫112中，對于用戶而言，向人物分配 ID，從所獲取的圖像中選擇與該ID相對應(yīng)的圖像，并將該圖像存儲在數(shù)據(jù)庫112中，這就足 夠了。還可以當被攝體識別單元111獲得比第一閾值高出預(yù)定值以上的識別評價值時，將 具有該識別評價值的圖像自動添加至數(shù)據(jù)庫112，作為具有該識別評價值的特定人物的圖 像。第二實施例圖4是示出根據(jù)第二實施例的攝像設(shè)備的框圖。將主要解釋根據(jù)第二實施例的攝 像設(shè)備100的配置和操作與第一實施例中攝像設(shè)備100的配置和操作的不同之處。在圖4中，與圖1中的附圖標 記相同的附圖標記表示具有與第一實施例中的配置相同的配置、并 執(zhí)行與第一實施例中的操作和處理相同的操作和處理的單元。被攝體追蹤單元401基于對于連續(xù)幀從被攝體檢測單元109供給的檢測結(jié)果之間 的位置類似度和大小類似度來在這些連續(xù)幀之間追蹤同一被攝體。通過在運動圖像中指定 同一被攝體，可以保持并應(yīng)用被攝體識別單元111的針對該被攝體的過去的結(jié)果。執(zhí)行判斷單元402判斷被攝體識別單元111是否要對被攝體檢測單元109提取出 的各被攝體執(zhí)行識別處理。此外，執(zhí)行判斷單元402從數(shù)據(jù)庫112中登記的被攝體中，選擇 要進行針對識別對象的識別處理的被攝體。配置如圖4所示的執(zhí)行判斷單元402使得可以 使用狀態(tài)判斷單元110的結(jié)果、和被攝體識別單元111的過去的結(jié)果，并且從數(shù)據(jù)庫112中 登記的被攝體中選擇(由被攝體識別單元111)要進行識別處理的被攝體。如果被攝體追蹤單元401可以在時間序列上連續(xù)的運動圖像中指定同一被攝體， 則可以繼承被攝體識別單元111的過去的結(jié)果，從而省略了被攝體識別單元111進一步進 行識別處理。也就是說，當識別評價值滿足預(yù)定閾值、并且判斷為被攝體已被登記在數(shù)據(jù)庫 112中時，可以通過利用被攝體追蹤單元401在后續(xù)幀中指定被攝體來繼承該判斷。在以上所述的第一實施例中，如果被攝體識別單元111所獲得的識別評價值小于 預(yù)定閾值、并且狀態(tài)判斷單元110所獲得的一致度高，則判斷為識別對象不同于數(shù)據(jù)庫112 中登記的被攝體。在本實施例中，對于連續(xù)幀中的同一識別對象，可以省略利用數(shù)據(jù)庫112 中登記的被攝體的識別處理。假定在數(shù)據(jù)庫112中針對同一被攝體(即具有相同標識的被 攝體)登記了多種類型的圖像特征和狀態(tài)，并且根據(jù)與圖像特征和/或狀態(tài)中的一個的對 照，判斷為識別對象不同于登記對象。在這種情況下，針對與該被攝體有關(guān)的、數(shù)據(jù)庫112 中登記的所有的圖像特征和狀態(tài)，可以省略識別對象的識別處理。此外，當沒有剩余要由被 攝體識別單元111進行識別處理的被攝體時，可以判斷為識別對象是數(shù)據(jù)庫中未登記的被 攝體。將參考圖5來解釋根據(jù)第二實施例的該被攝體識別處理的序列。在與圖2中的步驟S201和S202相同的步驟S501和S502中，被攝體檢測單元109 從通過對所拍攝圖像進行數(shù)字化所獲得的輸入圖像獲得被攝體區(qū)域(被攝體圖像)。針對 被攝體檢測單元109提取出的各被攝體，執(zhí)行步驟S503 S513。被攝體追蹤單元401在 時間序列上連續(xù)的幀之間追蹤同一被攝體(步驟S503)。更具體地，如果在被攝體檢測單 元109檢測到的被攝體中存在連續(xù)幀之間的位置類似度和大小類似度滿足預(yù)定標準的被 攝體，則被攝體追蹤單元401判斷為存在同一被攝體。如果不存在連續(xù)幀之間的位置類似 度和大小類似度滿足預(yù)定標準的被攝體，則被攝體追蹤單元401將被攝體看作為新出現(xiàn)的 被攝體。執(zhí)行判斷單元402針對由被攝體追蹤單元401判斷為不是新被攝體的被攝體(識 別對象)，判斷在過去的幀中是否已經(jīng)判斷為該被攝體與數(shù)據(jù)庫112中登記的特定被攝體 一致、或者在過去的幀中是否已經(jīng)判斷為該被攝體未登記在數(shù)據(jù)庫中(是否已經(jīng)判斷為該 被攝體不同于數(shù)據(jù)庫112中登記的所有被攝體)(步驟S504)。如果已經(jīng)判斷為識別對象與 特定被攝體一致、或者識別對象未登記在數(shù)據(jù)庫中，則執(zhí)行判斷單元402使處理返回至步 驟S501 (步驟S504中為“是”)，以跳過針對該被攝體的狀態(tài)一致度判斷和被攝體識別處理。 如果尚未判斷為識別對象與數(shù)據(jù)庫中登記的特定被攝體一致、并且尚未判斷為識別對象不同于數(shù)據(jù)庫112中的登記的所有被攝體，則被攝體識別單元111判斷數(shù)據(jù)庫112中是否剩 余要進行針對識別對象的被攝體識別的登記圖像信息(步驟S504中為“否”一步驟S505)。 如果數(shù)據(jù)庫112中沒有剩余要進行被攝體識別的登記圖像信息，則該識別對象不同于數(shù)據(jù) 庫112中登記的所有被攝體。因而，被攝體識別單元111判斷為識別對象未登記在數(shù)據(jù)庫 中(步驟S505中為“否”一步驟S506)。之后，處理返回至步驟S501。 相反，如果數(shù)據(jù)庫112中剩余要進行針對目標被攝體(識別對象)的被攝體識別 的登記圖像信息，則執(zhí)行步驟S507 S513中的處理。注意，針對在步驟S505中已經(jīng)判斷 為要進行針對識別對象的被攝體識別的、數(shù)據(jù)庫112中登記的所有圖像(步驟S505中為 “是”)，執(zhí)行步驟S507 S513。首先，狀態(tài)判斷單元110判斷要進行被攝體識別的識別對 象的狀態(tài)一致度(步驟S507)。步驟S507 S513中的處理與圖2的步驟S203 S209中 的處理相同。通過步驟S507 S513中的處理，獲得以下結(jié)果之一 識別對象與數(shù)據(jù)庫中登記的被攝體一致(步驟S510)， 識別對象不同于數(shù)據(jù)庫中登記的被攝體(步驟S512)，以及 不能進行判斷(步驟S513)。如果在步驟S512中判斷為識別對象不同于數(shù)據(jù)庫 中登記的被攝體，則從要進行針對該識別對象的識別的被攝體中排除與登記的該被攝體相 關(guān)聯(lián)的登記圖像信息。在步驟S510中，可以從要進行針對其它識別對象的識別的登記圖像 信息中排除與被判斷為與識別對象一致的被攝體相關(guān)聯(lián)的登記圖像信息。例如，如果在已 經(jīng)進行了面部識別等的一個圖像中不存在多個識別對象，則可以消除不需要的識別處理。 這樣，結(jié)果被繼承到下一幀(步驟S503)，判斷是否執(zhí)行被攝體識別(步驟S504)，并且選擇 數(shù)據(jù)庫中要進行被攝體識別的被攝體(步驟S505)。因此，第二實施例可以縮短處理時間。將參考圖6來例示根據(jù)第二實施例的被攝體識別的結(jié)果。在圖6中，狀態(tài)判斷單 元110判斷面部方向的一致度。在圖6中，附圖標記601 603表示數(shù)據(jù)庫中登記的被攝 體的登記圖像。登記圖像601和602表示不同面部方向的同一被攝體(對象A)，并且分別 給予標識(ID)A-I和A-2。登記圖像603表示與登記圖像601和602的被攝體不同的被攝 體(具有ID B-I的對象B)。附圖標記604 607表示場景1中的輸入圖像；并且附圖標 記608 611表示場景2中的輸入圖像。附圖標記612表示場景1的被攝體識別執(zhí)行結(jié)果 表；并且附圖標記613表示場景2的被攝體識別執(zhí)行結(jié)果表。在步驟S510、S512和S513中 更新執(zhí)行結(jié)果表612和613。將解釋場景1的執(zhí)行結(jié)果。在幀1中，針對具有數(shù)據(jù)庫ID =A-I的圖像的識別對象 的識別評價值等于或大于閾值，因此判斷為該識別對象與數(shù)據(jù)庫中的對象一致。在針對具 有數(shù)據(jù)庫ID :A-2的圖像的識別處理中，識別評價值小于閾值，狀態(tài)一致度低于閾值，并且 判斷為不能進行判斷。在針對具有數(shù)據(jù)庫ID =B-I的圖像的識別處理中，識別評價值小于閾 值，狀態(tài)一致度等于或高于閾值，并且判斷為識別對象是不同于對象B的被攝體。由于判斷 為幀1中的識別對象是由數(shù)據(jù)庫ID =A-I所表示的對象A，因此該結(jié)果被繼承到幀2以后的 幀，并且既不執(zhí)行被攝體識別也不執(zhí)行狀態(tài)一致度判斷(步驟S 504中為“否”)。這在結(jié) 果表612中表示為空白。已將第一個輸入圖像604判斷為與具有ID =A-I的登記圖像相同， 因此對于對同一面部攝像的其余的幀2 4，可以使用該參考。將解釋場景2的執(zhí)行結(jié)果。在幀1中，判斷為針對數(shù)據(jù)庫ID =A-U ID :A_2和ID B-I的識別對象的識別評價值小于閾值，狀態(tài)一致度低于閾值，并且判斷為不能進行判斷。因而，即使在幀2中，也對數(shù)據(jù)庫中登記的所有的被攝體執(zhí)行被攝體識別和狀態(tài)一致度判 斷。作為幀2的結(jié)果，對于數(shù)據(jù)庫ID =A-I和ID =B-I,由于識別評價值小于閾值并且狀態(tài)一 致度低于閾值，因此判斷為不能進行判斷。對于數(shù)據(jù)庫ID :A-2,由于識別評價值小于閾值 并且狀態(tài)一致度等于或高于閾值，因此判斷為識別對象是不同于由數(shù)據(jù)庫ID :A-2所表示 的對象A的被攝體。繼承了該結(jié)果(識別對象不是對象A)，并且在幀3中，對數(shù)據(jù)庫ID =A-I 和ID :A-2，既不執(zhí)行被攝體識別也不執(zhí)行狀態(tài)一致度判斷。因此，在輸入圖像的幀3中，僅 對數(shù)據(jù)庫ID =B-I執(zhí)行被攝體識別和狀態(tài)一致度判斷。作為幀3的結(jié)果，由于對于數(shù)據(jù)庫 ID =B-I的識別評價值小于閾值并且狀態(tài)一致度等于或高于閾值，因此判斷為識別對象是 不同于由數(shù)據(jù)庫ID =B-I所表示的對象B的被攝體。由于判斷為場景2中的識別對象不同 于數(shù)據(jù)庫中的所有對象(在該例子中，對象A和B)，因此判斷為該識別對象未登記在數(shù)據(jù)庫 中(步驟S506)。在幀4以后的幀中，由于知道這些幀中的被攝體不是數(shù)據(jù)庫 中的被攝體之 一，因此對該被攝體既不執(zhí)行被攝體識別也不執(zhí)行狀態(tài)一致度判斷。如上所述，根據(jù)第二實施例，繼承了在過去的幀中獲得的、針對同一識別對象的被 攝體識別和狀態(tài)一致度判斷的判斷結(jié)果，從而提高了處理效率。已經(jīng)說明了本發(fā)明的優(yōu)選實施例，但本發(fā)明不限于這些優(yōu)選實施例，并且可以在 不背離本發(fā)明的范圍的情況下對本發(fā)明進行各種變形和修改。本發(fā)明的一些可能的變形例 如下。在上述實施例中，可以基于狀態(tài)判斷單元110的結(jié)果來更加高效率地進行處理。 例如，當識別對象與數(shù)據(jù)庫中的對象的狀態(tài)一致度低時，被攝體識別單元111不太可能獲 得滿足預(yù)定閾值的識別評價值。因而，當識別對象與數(shù)據(jù)庫中的對象的狀態(tài)一致度低時，對 于該幀，可以省略被攝體識別單元111基于數(shù)據(jù)庫所進行的處理。在上述實施例中，檢測人物的面部作為被攝體。然而，本發(fā)明不限于人物的面部， 并且還可應(yīng)用于諸如寵物等的動物的臉。本發(fā)明不限于面部，并且可應(yīng)用于人物、動物和機 動車等，只要執(zhí)行了用以提取并指定目標被攝體的被攝體識別即可。以上實施例已經(jīng)說明了攝像設(shè)備，但本發(fā)明不限于攝像設(shè)備，并且還可應(yīng)用于諸 如打印機或顯示屏等的再現(xiàn)設(shè)備?？梢詫⒈景l(fā)明應(yīng)用于通過使用再現(xiàn)數(shù)據(jù)作為被攝體識別 處理的數(shù)據(jù)的再現(xiàn)設(shè)備。與僅將輸入圖像與數(shù)據(jù)庫圖像進行比較相比，上述實施例可以更精確地判斷為從 圖像檢測到的被攝體未登記在數(shù)據(jù)庫中。還可以通過讀出并執(zhí)行存儲裝置上所記錄的程序以進行上述實施例的功能的系 統(tǒng)或設(shè)備的計算機(或者諸如CPU(中央處理單元)或MPU(微處理單元)等的裝置)以 及通過以下方法來實現(xiàn)本發(fā)明的方面，其中，由系統(tǒng)或設(shè)備的計算機通過例如讀出并執(zhí)行 存儲裝置上所記錄的程序以進行上述實施例的功能，來進行該方法的步驟。為了該目的，例 如，經(jīng)由網(wǎng)絡(luò)或者從用作存儲裝置的各種類型的記錄介質(zhì)(例如，計算機可讀介質(zhì))向計算 機提供該程序。盡管已經(jīng)參考典型實施例說明了本發(fā)明，但是應(yīng)該理解，本發(fā)明不限于所公開的 典型實施例。所附權(quán)利要求書的范圍符合最寬的解釋，以包含所有這類修改以及等同結(jié)構(gòu) 和功能。
權(quán)利要求
1.一種圖像識別設(shè)備，用于在輸入圖像中識別被攝體，所述圖像識別設(shè)備包括 數(shù)據(jù)庫，在所述數(shù)據(jù)庫中，與被攝體的標識相關(guān)聯(lián)地登記有通過對所述被攝體進行攝像所獲得的圖像或圖像特征、以及所述被攝體的被攝體可識別性狀態(tài)，作為登記圖像信 息；第一計算部件，用于計算所輸入的被攝體圖像的被攝體可識別性狀態(tài)與所述登記圖像 信息中的被攝體可識別性狀態(tài)之間的一致度；第二計算部件，用于計算所輸入的被攝體圖像的圖像特征與所述登記圖像信息中的圖 像特征之間的類似度；以及識別部件，用于執(zhí)行識別處理，以基于所述類似度和所述一致度來識別所輸入的被攝 體圖像的被攝體是否是與所述登記圖像信息的被攝體相同的被攝體，其中，當所述第二計算部件計算出所述類似度低于第一閾值、并且所述第一計算部件 計算出所述一致度等于或高于第二閾值時，所述識別部件識別出所輸入的被攝體圖像的被 攝體不同于所述登記圖像信息的被攝體。
2.根據(jù)權(quán)利要求1所述的圖像識別設(shè)備，其特征在于，當所述第二計算部件計算出所 述類似度等于或高于所述第一閾值時，所述識別部件識別出所述被攝體圖像的被攝體與所 述登記圖像信息的被攝體相同。
3.根據(jù)權(quán)利要求1或2所述的圖像識別設(shè)備，其特征在于，當所述第二計算部件計算出 所述類似度低于所述第一閾值、并且所述第一計算部件計算出所述一致度低于所述第二閾 值時，所述識別部件判斷為不能進行關(guān)于所述被攝體圖像的被攝體是否是所述登記圖像信 息的被攝體的判斷。
4.根據(jù)權(quán)利要求1或2所述的圖像識別設(shè)備，其特征在于，還包括 輸入部件，用于輸入形成運動圖像的連續(xù)圖像作為所述輸入圖像；追蹤部件，用于在所述運動圖像的至少兩幀中追蹤所輸入的被攝體圖像；以及 確定部件，用于確定所述識別部件是否要對所述追蹤部件所追蹤的所輸入的被攝體圖 像和所述數(shù)據(jù)庫中登記的登記圖像信息執(zhí)行所述識別處理，其中，所述確定部件確定所述識別部件是否要使用在所述數(shù)據(jù)庫中登記的登記圖像信 息中、除了被攝體已經(jīng)被判斷為與所輸入的被攝體圖像的被攝體不同的登記圖像信息以外 的登記圖像信息，對所述追蹤部件所追蹤的被攝體圖像執(zhí)行所述識別處理。
5.根據(jù)權(quán)利要求4所述的圖像識別設(shè)備，其特征在于， 所述數(shù)據(jù)庫包含針對一個被攝體的多個登記圖像信息，以及所述確定部件確定所述識別部件是否要使用在所述數(shù)據(jù)庫中登記的登記圖像信息中、 除了與已經(jīng)被判斷為與所輸入的被攝體圖像的被攝體不同的被攝體有關(guān)的所有的登記圖 像信息以外的登記圖像信息，對所述追蹤部件所追蹤的所輸入的被攝體圖像的至少一幀執(zhí) 行所述識別處理。
6.根據(jù)權(quán)利要求4所述的圖像識別設(shè)備，其特征在于，當已經(jīng)判斷為所有的登記圖像 信息均具有與所輸入的被攝體圖像不同的被攝體時，所述識別部件判斷為所輸入的被攝體 圖像的被攝體是未登記的被攝體。
7.根據(jù)權(quán)利要求4所述的圖像識別設(shè)備，其特征在于，當已經(jīng)判斷為所輸入的被攝體 圖像的被攝體與所述登記圖像信息的被攝體相同時，所述確定單元確定所述識別部件將不對所述追蹤部件所追蹤的被攝體圖像執(zhí)行所述識別處理。
8.根據(jù)權(quán)利要求1或2所述的圖像識別設(shè)備，其特征在于，所述第二計算部件僅針對所 述一致度等于或高于所述第二閾值的登記圖像信息計算與所輸入的被攝體圖像的類似度。
9.根據(jù)權(quán)利要求1或2所述的圖像識別設(shè)備，其特征在于，所述被攝體可識別性狀態(tài)包 括被攝體方向、被攝體亮度、被攝體隱蔽度以及在所述被攝體是面部的情況下的面部表情 至少之一。
10.一種圖像識別設(shè)備的控制方法，所述圖像識別設(shè)備在輸入圖像中識別被攝體，所述 控制方法包括登記步驟，用于將通過對被攝體進行攝像所獲得的圖像或圖像特征、以及與所述被攝 體有關(guān)的被攝體可識別性狀態(tài)作為登記圖像信息與所述被攝體的標識相關(guān)聯(lián)地登記在數(shù) 據(jù)庫中；第一計算步驟，用于計算所輸入的被攝體圖像的被攝體可識別性狀態(tài)與所述登記圖像 信息中的被攝體可識別性狀態(tài)之間的一致度；第二計算步驟，用于計算所輸入的被攝體圖像的圖像或圖像特征與所述登記圖像信息 中的圖像或圖像特征之間的類似度；以及識別步驟，用于執(zhí)行識別處理，以基于所述類似度和所述一致度來識別所述被攝體圖 像的被攝體是否是與所述登記圖像信息的被攝體相同的被攝體，其中，當計算出所述類似度低于第一閾值、并且所述一致度等于或高于第二閾值時，在 所述識別步驟中識別出所述被攝體圖像的被攝體不同于所述登記圖像信息的被攝體。
全文摘要
本發(fā)明涉及一種圖像識別設(shè)備及其控制方法。該圖像識別設(shè)備從要處理的圖像中檢測特定被攝體圖像，計算該被攝體圖像的被攝體可識別性狀態(tài)與登記圖像信息中的被攝體的被攝體可識別性狀態(tài)之間的一致度，并且計算該被攝體圖像的圖像特征與登記圖像信息中的圖像特征之間的類似度?；谠擃愃贫群鸵恢露?，圖像識別設(shè)備識別被攝體圖像的被攝體是否是登記圖像信息的被攝體。當類似度低于第一閾值、并且一致度等于或高于第二閾值時，圖像識別設(shè)備識別出被攝體圖像的被攝體不同于登記圖像信息的被攝體。
文檔編號G06K9/00GK102147856SQ201110035718
公開日2011年8月10日 申請日期2011年2月10日 優(yōu)先權(quán)日2010年2月10日
發(fā)明者辻良介 申請人:佳能株式會社