專利名稱：對象檢測設備、圖像拾取設備、對象檢測方法和程序的制作方法
技術領域：
本發(fā)明涉及用于從圖像檢測對象(例如，人的面部)的對象檢測設備和圖像拾取 設備、對象檢測方法、以及用于使得計算機執(zhí)行該方法的程序。
背景技術：
已經開發(fā)了用于識別通過圖像拾取設備(如數(shù)字照相機或數(shù)字攝像機)捕獲的圖 像中包含的對象是什么的對象識別技術。例如，作為對象識別技術，已經提出了一種面部檢 測技術，用于通過使用如亮度和顏色的特征，通過圖像處理從捕獲的圖像中檢測面向前方 的人的面部。然而，人的面部可能不是正面。人的面部可能轉向任一側(例如，左側或右 側)。因此，例如，當僅檢測正面時，難以檢測轉向另一方向的面部，因此，不能適當?shù)貦z測人 的面部。因此，已經開發(fā)了特定對象檢測設備。該特定對象檢測設備包括多個確定單元，使 用樹形層次結構對面部的方向提供每個所述確定單元。該特定對象檢測設備根據(jù)通過樹 形結構指示的分支順序確定面部的方向，并檢測面部(例如，參見日本未審專利申請公開 No. 2007-109229,并且特別參見圖2)。

發(fā)明內容
根據(jù)上述現(xiàn)有技術，因為通過順序確定面部的方向來檢測面部，所以可檢測正面 以外的面部。即，可檢測朝向不同方向之一的人的面部。然而，在上述現(xiàn)有技術中，例如，如果在到達葉節(jié)點(leaf)之前做出的確定中出 現(xiàn)錯誤，則形成目標面部的方向和葉節(jié)點的不適當組合。因此，使用葉節(jié)點的面部檢測不能 適當?shù)剡\行。因此，本發(fā)明提供了一種對象檢測設備、圖像拾取設備、對象檢測方法和程序，其能夠增加對象的檢測精度。根據(jù)本發(fā)明實施例，提供了一種對象檢測設備、用于在對象檢測設備中使用的對 象檢測方法、以及用于使得計算機執(zhí)行對象檢測方法的程序。該對象檢測設備包括評估信 息存儲單元，配置為存儲用于計算多個對象的每個的評估值的評估信息，所述評估值用于 評估所述對象的哪一個包含在圖像中；確定信息存儲單元，配置為與每個對象相關聯(lián)地存 儲用于確定對象是否包含在圖像中的確定信息；計算單元，配置為通過使用評估信息從圖 像的多個區(qū)域提取特征、并比較兩個提取的特征，計算對于每個對象的評估值；以及確定單 元，配置為使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在圖像中，所述對象與 對該對象計算的評估值當中滿足預定條件的評估值有關。通過使用該對象檢測設備、對象 檢測方法或程序，從圖像的多個區(qū)域提取特征。通過使比較兩個提取的特征，對于每個對象 計算評估值，并且使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在圖像中，所述 對象與對該對象計算的評估值當中滿足預定條件的評估值有關。上述確定信息是用于計算下述評估值的信息，當從圖像的多個區(qū)域提取特征、并通過比較提取的特征中的兩個特征來確定所述對象是否包含在所述圖像中時，使用所述評 估值，并且所述評估信息可以是用于使用下述條件計算對象的評估值的信息，所述條件比 用于使用確定信息計算對象的評估值的條件較不嚴格。以此方式，可通過使用在下述條件 下的評估信息計算對象的評估值，所述條件比用于使用確定信息計算對象的評估值的條件 較不嚴格。所述對象檢測設備還可包括選擇單元，配置為從對所述對象計算的評估值中從頂 部起選擇預定數(shù)量的具有高的值的評估值。所述確定單元可使用與關于選擇的評估值的對 象相關聯(lián)的確定信息進行確定。因此，可通過從對所述對象計算的評估值中從頂部起選擇 預定數(shù)量的具有高的值的評估值、并使用與關于選擇的評估值的對象相關聯(lián)的確定信息進 行確定。所述選擇單元可從預定數(shù)量的評估值中選擇高于預定值的評估值作為滿足預定 條件的評估值。因此，可從預定數(shù)量的評估值中選擇高于預定值的評估值。所述評估信息可包括圖像中的兩個位置、閾值和分配給每個對象的權重值的組 合。所述計算單元可從通過所述兩個位置標識的圖像的兩個區(qū)域提取特征，比較提取的特 征和閾值，使用對每個對象的比較結果計算權重值，并計算對于每個對象的評估值。因此， 可從通過所述兩個位置標識的圖像的兩個區(qū)域提取特征、比較提取的特征和閾值、使用對 每個對象的比較結果計算權重值，計算對于每個對象的評估值。所述對象檢測設備還可包括位置計算單元，配置為通過將評估信息中包含的兩 個位置關于圖像的中心旋轉預定角度，計算圖像中的兩個新的位置，用于計算關于多個新 對象的評估值；以及第二確定信息存儲單元，配置為與新對象相關聯(lián)地存儲在將對象旋轉 預定角度后與多個新對象的每個有關的預定信息。所述計算單元可對通過每個新對象的 兩個新計算位置標識的圖像的兩個區(qū)域執(zhí)行權重值的計算，并且計算對每個新對象的評估 值。所述確定單元可使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在圖像中，該 對象與對對象計算的評估值和對新對象計算的評估值當中的滿足預定條件的評估值有關。 因此，可通過經將評估信息中包含的兩個位置關于圖像的中心旋轉預定角度，計算兩個新 的位置，并對通過每個新對象的兩個新計算位置標識的圖像的兩個區(qū)域計算權重值，計算 對每個新對象的評估值。因此，可以使用與下述對象相關聯(lián)的確定信息，確定該對象是否包 含在圖像中，該對象與對對象計算的評估值和對新對象計算的評估值當中的滿足預定條件 的評估值有關。所述計算單元可計算從兩個區(qū)域提取的特征之間的差值，比較計算的差值和閾 值，并且基于比較結果計算評估值。因此，可計算從兩個區(qū)域提取的特征之間的差值。計算 的差值可與閾值比較，并且可基于比較結果計算評估值。所述評估信息可包括多個組合，并且所述計算單元可通過順序計算每個組合的對 象的權重值，計算每個對象的評估值。因此，通過順序計算每個組合的對象的權重值，可對 每個對象計算評估值。 所述確定單元可使用與關于滿足預定條件的評估值的對象相關聯(lián)的確定信息，從 圖像的多個區(qū)域提取特征，比較兩個提取的特征，計算與滿足預定條件的評估值相關聯(lián)的 每個對象的評估值，并且基于所述評估值確定所述對象是否包含在圖像中。因此，可使用與 關于滿足預定條件的評估值的對象相關聯(lián)的確定信息，從圖像的多個區(qū)域提取特征。可通過比較兩個提取的特征，對于與滿足預定條件的評估值相關聯(lián)的每個對象計算評估值，并 且可使用所述評估值進行確定。所述確定單元可確定使用確定信息計算的對象的評估值當中的、與最高評估值有 關的對象包含在圖像中。因此，可確定使用確定信息計算的對象的評估值當中的、與最高評 估值有關的對象包含在圖像中。如果最高評估值高于預定值，則所述確定單元可確定與最高評估值有關的對象包 含在圖像中。因此，如果最高評估值高于預定值，則可確定與最高評估值有關的對象包含在 圖像中。所述多個對象可以是朝向不同方向的人的面部。因此，可確定面部是否包含在圖 像中。所述多個對象可以是包括狗和貓中的至少一個的動物。因此，可確定狗和貓的至 少一個是否包含在圖像中。根據(jù)本發(fā)明另一實施例，提供了一種圖像拾取設備、用于在圖像拾取設備中使用 的處理方法、以及用于使得計算機執(zhí)行該處理方法的程序。該圖像拾取設備包括評估信息 存儲單元，配置為存儲用于計算評估值的評估信息，所述評估值用于評估多個對象的哪一 個包含在圖像中；確定信息存儲單元，配置為與每個對象相關聯(lián)地存儲用于確定對象是否 包含在圖像中的確定信息；圖像拾取單元 ，配置為通過捕獲被攝體的圖像生成捕獲的圖像； 圖像檢索單元，配置為從捕獲的圖像檢索要確定的圖像；計算單元，配置為通過使用評估信 息從要確定的圖像的多個區(qū)域提取特征、并比較兩個提取的特征，計算對于每個對象的評 估值；以及確定單元，配置為使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在圖 像中，所述對象與對該對象計算的評估值當中滿足預定條件的評估值有關。因此，可從要確 定的圖像的多個區(qū)域提取特征，并通過比較兩個提取的特征，對于每個對象計算評估值。隨 后，可使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在圖像中，所述對象與對該 對象計算的評估值當中滿足預定條件的評估值有關。 根據(jù)本發(fā)明實施例，可有利地提高檢測對象的精度。


圖1是根據(jù)本發(fā)明第一實施例的圖像拾取設備的功能框圖；圖2是根據(jù)本發(fā)明第一實施例的相機控制單元的功能框圖；圖3是根據(jù)本發(fā)明第一實施例的面部檢測單元的功能框圖；圖4是根據(jù)本發(fā)明第一實施例的學習設備的功能框圖；圖5A和5B圖示根據(jù)本發(fā)明第一實施例的、用于由學習設備執(zhí)行的學習處理的訓 練圖像的示例；圖6A和6B是根據(jù)本發(fā)明第一實施例的權重保持單元中保持的信息的示意性圖 示；圖7A和7B是根據(jù)本發(fā)明第一實施例的、用于在權重分布信息生成單元中生成權 重分布信息的方法的示意性圖示；圖8A和8B示意性圖示通過根據(jù)本發(fā)明第一實施例的權重分布信息生成單元生成 的權重分布信息和訓練圖像之間的關系；
圖9A到9C示意性圖示通過根據(jù)本發(fā)明第一實施例的權重分布信息生成單元生成 的權重分布信息和通過最佳閾值確定單元確定的閾值之間的關系；圖IOA到IOC示意性圖示根據(jù)本發(fā)明第一實施例的、將對應于通過弱學習器確定 單元確定的弱學習器的各個值記錄到面部檢測字典中的方法；圖IlA和IlB圖示對訓練圖像中的兩個點的組合生成的兩個權重分布曲線；圖12A到12C圖示用于通過根據(jù)本發(fā)明第一實施例的學習設備的學習處理的訓 練 圖像的示例；圖13A和13B是根據(jù)本發(fā)明第一實施例的權重保持單元中保持的信息的示意性圖 示；圖14A到14C示意性圖示用于在根據(jù)本發(fā)明第一實施例的權重分布信息生成單元 中生成權重分布信息的方法；圖15A和15B示意性圖示通過根據(jù)本發(fā)明第一實施例的權重分布信息生成單元生 成的權重分布信息和訓練圖像之間的關系；圖16A和16B示意性圖示通過根據(jù)本發(fā)明第一實施例的權重分布信息生成單元生 成的權重分布信息和通過最佳閾值確定單元確定的閾值之間的關系；圖17A到17C示意性圖示根據(jù)本發(fā)明第一實施例的、將對應于通過弱學習器確定 單元確定的弱學習器的各個值記錄到面部檢測字典中的方法；圖18是圖示通過根據(jù)本發(fā)明第一實施例的學習設備執(zhí)行的對象檢測字典生成處 理的處理過程的流程圖；圖19是圖示通過根據(jù)本發(fā)明第一實施例的學習設備執(zhí)行的對象檢測字典生成處 理的弱學習器確定子處理的處理過程的流程圖；圖20A和20B圖示根據(jù)本發(fā)明第一實施例的、用于計算要確定的圖像的多個評估 值的示例性評估值計算字典；圖21A和21B圖示根據(jù)本發(fā)明第一實施例的、用于確定要確定的圖像中是否包含 面部的面部確定字典的示例；圖22A到22D是根據(jù)本發(fā)明第一實施例的、用于檢索要經歷通過面部檢測單元執(zhí) 行的面部檢測處理的圖像的方法的示意性圖示；圖23A和23B圖示根據(jù)本發(fā)明第一實施例的、通過圖像檢索單元檢索的要確定的 圖像和通過評估值計算單元對要確定的圖像計算的評估值的示例；圖24A到24D圖示根據(jù)本發(fā)明第一實施例的、通過圖像檢索單元檢索的要確定的 圖像和通過面部確定單元對要確定的圖像計算的評估值的示例；圖25A到25C是根據(jù)本發(fā)明第一實施例的、通過面部檢測單元執(zhí)行的面部檢測處 理的處理流程的示意性圖示；圖26圖示根據(jù)本發(fā)明第一實施例的、經歷通過面部檢測單元執(zhí)行的面部檢測處 理的捕獲圖像和通過面部檢測單元執(zhí)行的面部檢測處理的檢測結果；圖27是圖示根據(jù)本發(fā)明第一實施例的、通過圖像拾取設備執(zhí)行的捕獲圖像記錄 處理的處理流程的流程圖；圖28是圖示根據(jù)本發(fā)明第一實施例的、通過圖像拾取設備執(zhí)行的捕獲圖像記錄 處理的面部檢測處理的處理流程的流程圖29是圖示根據(jù)本發(fā)明第一實施例的、通過圖像拾取設備執(zhí)行的面部檢測處理的確定處理的處理流程的流程圖；圖30是圖示根據(jù)本發(fā)明第一實施例的、通過圖像拾取設備執(zhí)行的面部檢測處理 的第一評估值計算子處理的處理流程的流程圖；圖31是圖示根據(jù)本發(fā)明第一實施例的、通過圖像拾取設備執(zhí)行的面部檢測處理 的第二評估值計算子處理的處理流程的流程圖；圖32是根據(jù)本發(fā)明第二實施例的面部檢測單元的功能框圖；圖33A到33D圖示根據(jù)本發(fā)明第二實施例的、可通過使用位置計算單元計算兩個 新的點的位置來計算其評估值的對象的示例；圖34A到34D圖示根據(jù)本發(fā)明第二實施例的、通過位置計算單元計算的兩個新的 點的和使用這兩個新的點的位置計算的評估值之間的關系示例；圖35A到35E是根據(jù)本發(fā)明第二實施例的、通過面部檢測單元執(zhí)行的面部檢測處 理的處理流程的示意性圖示；圖36圖示根據(jù)本發(fā)明第二實施例的、通過面部檢測單元可檢測的面部和檢測結 果的示例；以及圖37是圖示通過根據(jù)本發(fā)明第二實施例的圖像拾取設備執(zhí)行的面部檢測處理的 處理流程的流程圖。
具體實施例方式將在下面描述本發(fā)明的示例性實施例。將按以下順序進行描述。1.第一實施例(面部檢測控制用于從圖像進行面部檢測的示例和用于面部檢測 的字典信息的生成的示例)2.第二實施例(面部檢測控制用于從圖像進行面部檢測的修改)1.第一實施例圖像拾取設備的示例性配置圖1是根據(jù)本發(fā)明第一實施例的圖像拾取設備100的功能框圖。圖像拾取設備100 包括透鏡單元111、圖像拾取單元112、系統(tǒng)控制單元120、存儲器單元130、外部接口(I/F) 單元140、記錄單元150、操作輸入單元160、顯示單元170、音頻輸出單元180和相機控制單 元200。例如，圖像拾取設備100可通過數(shù)字照相機實現(xiàn)，該數(shù)字照相機捕獲對象的圖像，生 成圖像數(shù)據(jù)，提取圖像的特征，并隨后使用提取的特征執(zhí)行各種圖像處理。透鏡單元111包括會聚從對象輸出的光的多個透鏡(例如，變焦透鏡和聚焦透 鏡)。來自對象的入射光經由透鏡單元111提供到圖像拾取單元112。圖像拾取單元112包括圖像拾取設備(未示出)和信號處理單元(未示出)，該圖 像拾取設備具有電子快門功能，該信號處理單元用于處理從圖像拾取設備輸出的信號并生 成捕獲的圖像(圖像數(shù)據(jù))。也就是說，在圖像拾取單元112中，在圖像拾取設備上形成通 過透鏡單元111入射的對象的光學圖像，該圖像拾取設備執(zhí)行成像操作。信號處理設備對 成像信號執(zhí)行信號處理。因此，生成捕獲的圖像。此后生成的捕獲圖像提供到存儲捕獲圖 像的存儲單元130。注意，通過相機控制單元200順序設置用于生成捕獲圖像的相機參數(shù) (成像參數(shù))。
在系統(tǒng)控制單元120的控制下，相機控制單元200使用經由存儲器單元130從圖 像拾取單元112提供的捕獲圖像，控制圖像拾取單元112。將參照圖2在下面更詳細描述相 機控制單元200。系統(tǒng)控制單元120執(zhí)行圖像拾取設備100的整體控制。例如，系統(tǒng)控制單元120 根據(jù)通過操作輸入單元160從用戶輸入的操作，執(zhí)行控制。此外，系統(tǒng)控制單元120控制在 顯示單元170上屏幕(如菜單屏幕)的顯示、從記錄單元150讀取捕獲圖像和記錄捕獲圖 像到記錄單元150、以及經由外部I/F單元140與網(wǎng)絡和外部計算機通信。此外，當監(jiān)視圖 像捕獲操作時，系統(tǒng)控制單元120控制在顯示單元170上顯示通過圖像拾取單元112生成 的捕獲圖像。圖像拾取設備100的存儲器單元130是為了暫時存儲例如捕獲圖像的主存儲器單 元。例如，存儲器單元130從動態(tài)隨機存取存儲器(DRAM)形成。也就是說，通常，經由存儲 器單元130在圖像拾取設備100的各個單元之間交換捕獲圖像。外部I/F單元140是包括輸入和輸出端子的外部接口(如通用串行總線端口 )。 外部I/F單元140提供用于將圖像拾取設備100與外部計算機和網(wǎng)絡連接的接口。在系統(tǒng)控制單元120的控制下，記錄單元150記錄通過圖像拾取單元112生成的 捕獲圖像。此外，在系統(tǒng)控制單元120的控制下，記錄單元150讀取記錄的捕獲圖像，并將 捕獲圖像提供到系統(tǒng)控制單元120。如閃存的記錄介質可用作記錄單元150。記錄單元150 可并入到圖像拾取設備100中，或可移除地安裝在圖像拾取設備100中。 操作輸入單元160接收通過用戶執(zhí)行的輸入操作，并且將根據(jù)接收的用戶操作生 成的信號輸入到系統(tǒng)控制單元120。例如，當按下用于指令捕獲圖像的記錄的快門按鈕時， 根據(jù)快門按鈕的按下生成的信號輸出到系統(tǒng)控制單元120。在系統(tǒng)控制單元120的控制下，顯示單元170顯示各種圖像。例如，顯示單元170 顯示通過圖像拾取單元112生成的捕獲圖像、從記錄單元150讀取的捕獲圖像以及提供給 用戶的菜單屏幕。在系統(tǒng)控制單元120的控制下，音頻輸出單元180輸出各種音頻信息。例如，揚聲 器可用作音頻輸出單元180。圖2是根據(jù)本發(fā)明第一實施例的相機控制單元200的功能框圖。除了相機控制單 元200的功能配置外，圖2圖示了圖1中示出的圖像拾取單元112、系統(tǒng)控制單元120和存 儲器單元130的配置。相機控制單元200包括順序控制單元210、相機參數(shù)控制單元220、 面部檢測單元230、以及存儲器單元I/F240。在存儲器單元130和相機參數(shù)控制單元220 之間、以及存儲器單元130和面部檢測單元230之間經由存儲器單元I/F 240交換捕獲圖 像。在從系統(tǒng)控制單元120接收捕獲圖像記錄待機命令時，順序控制單元210啟動，并 且維持其中可記錄通過圖像拾取單元112生成的捕獲圖像的捕獲圖像記錄待機模式。在該 捕獲圖像記錄待機模式中，通過圖像拾取單元112生成的捕獲圖像順序記錄到存儲器單元 130中。例如，存儲器單元130中要存儲的捕獲圖像以1/60秒的間隔更新。此外，順序控 制單元210執(zhí)行控制，使得相機參數(shù)控制單元220基于存儲器單元130中存儲的當前捕獲 圖像(通過圖像拾取單元112生成的最近捕獲圖像)，設置相機參數(shù)。此外，順序控制單元 210執(zhí)行控制，使得面部檢測單元230對于存儲器單元130中存儲的當前捕獲圖像執(zhí)行面部檢測處理。此時，如果面部檢測單元230輸出顯示檢測到面部的面部檢測信息，則順序控制 單元210將指示檢測到面部的信息輸出到系統(tǒng)控制單元120和相機參數(shù)控制單元220。相機參數(shù)控制單元220設置關于捕獲圖像的相機參數(shù)。相機參數(shù)控制單元220然 后使用設置的相機參數(shù)控制通過圖像拾取單元112執(zhí)行的圖像捕獲操作。更具體地，當被 順序控制單元210觸發(fā)時，相機參數(shù)控制單元220經由存儲器單元I/F 240獲得存儲器單 元130中存儲的當前捕獲圖像。相機參數(shù)控制單元220然后評估當前捕獲圖像，并且確定 如快門速度、曝光和白平衡的相機參數(shù)。當從當前捕獲圖像中檢測到面部時，相機參數(shù)控制 單元220基于檢測到的面部和當前捕獲圖像的評估，確定如快門速度、曝光和白平衡的相 機參數(shù)。例如，當檢測到面部時，基于捕獲圖像中檢測到的面部的位置和大小，確定對于檢 測到的面部最佳的相機參數(shù)。面部檢測單元230從存儲器單元130中存儲的當前捕獲圖像檢測面部。當檢測到 面部時，面部檢測單元230將面部檢測信息輸出到順序控制單元210。更具體地，在從順序 控制單元210接收到觸發(fā)時，面部檢測單元230經由存儲器單元I/F 240獲得存儲器單元 130中存儲的當前捕獲圖像，并且對當前捕獲圖像執(zhí)行面部檢測處理。在本實施例中，面部 檢測信息指關于檢測到的面部的信息。例如，面部檢測信息包括捕獲圖像中的檢測到的面 部的位置和大小、面部的類型(例如，面部的朝向)、以及指示該面部是多個面部之一的可 能性的分數(shù)。下面將參照圖3更詳細描述面部檢測單元230。圖3是圖示根據(jù)本發(fā)明第一實施例的面部檢測單元230的示例性功能結構的框 圖。面部檢測單元230包括圖像獲得單元231、圖像縮小單元232、圖像檢索單元233、評估 值計算單元235、選擇單元236、面部確定單元237、確定結果輸出單元238、評估值計算字典 存儲單元300、以及面部確定字典存儲單元310。圖像獲得單元231經由存儲器單元I/F 240獲得存儲器單元130中存儲的捕獲圖 像。圖像獲得單元231將獲得的捕獲圖像輸出到圖像縮小單元232。圖像縮小單元232按預定百分比順序縮小從圖像獲得單元231輸出的捕獲圖像的 大小，并生成具有不同大小的多個圖像。圖像縮小單元232將生成的圖像順序輸出到圖像 檢索單元233。下面將參照圖22A到22D更詳細描述捕獲圖像的縮小的處理。圖像檢索單元233從圖像縮小單元232輸出的每個圖像檢索在預定區(qū)域中包含的 圖像。圖像檢索單元233然后將檢索的圖像(要確定的圖像)輸出到評估值計算單元235 和面部確定單元237。下面將參照圖22k到22D更詳細描述檢索圖像的處理。評估值計算字典存儲單元300對每個對象存儲用于計算評估值的評估值計算字 典，該評估值評估多個對象中的哪個包含在從圖像檢索單元233輸出的圖像中。評估值計 算字典存儲單元300將存儲的評估值計算字典提供給評估值計算單元235。參照轉向不同 方向的多個面部作為多個對象來描述本發(fā)明的第一實施例。下面將參照圖5A到17C更詳 細描述用于生成評估值計算字典的方法。此外，下面將參照圖20A和20B更詳細描述評估 值計算字典中存儲的信息。注意，評估值計算字典存儲單元300是權利要求中定義的評估 信息存儲單元的示例。面部確定字典存儲單元310與每個對象相關聯(lián)地存儲面部確定字典。面部確定字 典用于確定特定對象是否包含在從圖像檢索單元233輸出的圖像中。面部確定字典存儲單 元310將存儲的面部確定字典提供到面部確定字典存儲器239。在本實施例中，面部確定字典存儲單元310存儲用于多個對象的每個的面部確定字典，所述多個對象對應于使用評估 值計算字典存儲單元300中存儲的評估值計算字典計算的評估值。下面將參照圖5到17 更詳細地描述用于生成面部確定字典的方法。此外，下面將參照圖21更詳細描述面部確定 字典中存儲的信息。注意，面部確定字典存儲單元310是權利要求中定義的確定信息存儲 單元的示例和第二確定信息存儲單元的示例。面部確定字典存儲器239是存儲從面部確定字典存儲單元310中存儲的多個面部 確定字典中選擇的一個或多個面部確定字典的工作存儲器。面部確定字典存儲器239將存 儲的面部確定字典中包含的信息提供到面部確定單元237。評估值計算單元235從自圖像檢索單元233輸出的要確定的圖像的多個區(qū)域提取 特征。此后，評估值計算單元235比較兩個提取的特征量，并同時計算多個對象的評估值。 評估值計算單元235然后將對于每個對象的計算的評估值輸出到選擇單元236。當計算評 估值時，使用評估值計算字典存儲單元300中存儲的評估值計算字典。下面將參照圖23A 到25C更詳細描述通過評估值計算單元235執(zhí)行的評估值的計算。注意，評估值計算單元 235是權利要求中定義的計算單元的示例。選擇單元236從自評估值計算單元235輸出的對象的評估值選擇滿足預定條件的 評估值。此后，選擇單元236將關于涉及選擇的評估值的對象的信息(即，選擇對象信息) 輸出到面部確定單元237。例如，可確定條件，使得從對象的評估值中從頂部起選擇預定數(shù) 量的高評估值。此外，可以從這樣選擇的值中選擇高于預定值的評估值作為最終評估值。下 面將參照圖23A到25C更詳細描述通過選擇單元236執(zhí)行的選擇評估值的方法。面部確定單元237執(zhí)行面部確定處理，其中確定面部是否包含在從圖像檢索單元 233輸出的確定目標圖像中。此后，面部確定單元237將確定結果輸出到確定結果輸出單元 238。例如，輸出確定結果包括捕獲圖像中的檢測到的面部的位置和大小、面部的類型(例 如，面部的朝向)、以及指示面部是多個面部之一的可能性的分數(shù)。更具體地，面部確定單元 237指示面部確定字典存儲器239保持與關于通過選擇單元236選擇的評估值的對象相關 聯(lián)地存儲在面部確定字典存儲單元310中的面部確定字典。此后，面部確定單元237使用 面部確定字典存儲器239中保持的面部確定字典，從自圖像檢索單元233輸出的要確定的 圖像中的多個區(qū)域提取特征。通過比較兩個提取的特征，面部確定單元237對每個面部確 定字典計算評估值。隨后，使用評估值，面部確定單元237確定面部是否包含在從圖像檢索 單元233輸出的要確定的圖像中。下面將參照圖23A到25C更詳細描述通過面部確定單元 237執(zhí)行的面部確定處理。注意，面部確定單元237是權利要求中定義的確定單元的示例。當面部確定單元237輸出指示面部包含在從圖像檢索單元233輸出的要確定的圖 像中的確定結果時，確定結果輸出單元238將指示在捕獲圖像中檢測到面部的面部檢測信 息輸出到順序控制單元210。面部檢測信息包括從捕獲圖像檢測到的面部的位置和大小、面 部的類型(例如，面部的朝向)、以及指示面部是多個面部之一的可能性的分數(shù)。學習設備的示例性配置接下來，將參照附圖詳細描述根據(jù)本發(fā)明第一實施例的學習設備。該學習設備生成在面部檢測處理中使用的評估值計算字典和面部確定字典。如這里所使用的，術語“學 習，，指使用多個數(shù)據(jù)項搜索數(shù)據(jù)中的模式。圖4是根據(jù)本發(fā)明第一實施例的學習設備800的功能框圖。學習設備800包括訓練圖像輸入單元801、亮度差值計算單元802、權重分布信息生成單元803、最佳閾值確定 單元804、弱學習器確定單元805、以及權重計算單元806。此外，學習設備800包括權重更 新單元807、記錄控制單元808、權重保持單元810以及面部檢測字典存儲單元820。在該 實施例中，將描述生成用于檢測人的面部的面部檢測字典的示例。面部檢測字典對應于圖 3中示出的評估值計算字典存儲單元300中存儲的評估值計算字典和面部確定字典存儲單 元310中存儲的面部確定字典。注意，學習設備800通過使用如Real AdaBoost的學習算 法實現(xiàn)。訓練圖像輸入單元801用于輸入用作訓練樣本的訓練圖像。訓練圖像輸入單元 801將輸入的訓練圖像直接輸出到用于每種類型的訓練圖像的亮度差值計算單元802和權 重更新單元807。根據(jù)本發(fā)明第一實施例，使用被規(guī)范化為24X24像素圖像作為輸入到訓 練圖像輸入單元801的訓練圖像。此外，當生成用于檢測人的面部的面部檢測字典時，包含 人的面部的樣本圖像(訓練正面圖像)和不包含人的面部的樣本圖像(訓練非面部圖像) 作為訓練圖像輸入到訓練圖像輸入單元801。在此情況下，作為訓練正面圖像，例如，可使用 被規(guī)范化使得面部的雙眼對準圖像中的相同位置處的圖像。此外，例如，大約10，000個圖 像輸入為訓練正面圖像，并且大約100，000個圖像輸入為訓練非面部圖像。下面將參照圖 5A和12C更詳細描述這些圖像的示例。亮度差值計算單元802計算從訓練圖像輸入單元801輸出的訓練圖像中的兩點之 間的亮度差值。亮度差值計算單元802然后將計算的差值與訓練圖像和用于計算的兩點相 關聯(lián)地輸出到權重分布信息生成單元803。在該示例中，用于相同兩點的兩種差值計算方法 (即，當兩點的亮度值通過“A”和“B”表示時，計算“A-B”和“B-A”)導致相同的絕對值。因 此，對于兩種計算方法，可執(zhí)行使用任一方法的計算，并且可以排除使用另一方法的計算。 也就是說，亮度差值計算單元802對于訓練圖像的兩個像素的每個組合(576C2 = 165，600) 計算亮度差值。權重分布信息生成單元803生成指示分配給當前訓練圖像的權重的分布的權重 分布信息，從亮度差值計算單元802輸出對該當前訓練圖像的兩點之間的亮度差值。對訓 練正面圖像和訓練非面部圖像的每個生成權重分布信息。隨后，權重分布信息生成單元803 將獲得的權重分布信息與兩點的當前組合相關聯(lián)地輸出到最佳閾值確定單元804和權重 更新單元807。注意，分配給訓練圖像的權重存儲在權重保持單元810中。下面將參照圖 7A、7B、8A和8B、圖14A到14C、以及圖15A和15B更詳細描述生成權重的分布的處理。最佳閾值確定單元804使用從權重分布信息生成單元803輸出的權重分布信息， 確定對于兩點的每個組合的最佳閾值。此后，最佳閾值確定單元804將確定的最佳閾值和 用于確定的權重分布信息以及兩點的組合相關聯(lián)地輸出到弱學習器確定單元805。下面將 參照圖8A和8B以及15A和15B更詳細描述確定最佳閾值的處理。弱學習器確定單元805使用通過權重分布信息生成單元803生成的權重分布信 息，確定最佳弱學習器。更具體地，弱學習器確定單元805選擇從最佳閾值確定單元804輸 出的最佳閾值之一，并將對應于該閾值的權重分布信息的弱學習器確定為最佳弱學習器。 此后，弱學習器確定單元805將選擇的閾值與最佳弱學習器和對應于該弱學習器的權重分 布信息相關聯(lián)地輸出到權重計算單元806、權重更新單元807和記錄控制單元808。下面將 參照圖9A到9C和16A和16B更詳細描述確定弱學習器的處理。
權重計算單元806使用對應于從弱學習器確定單元805輸出的最佳弱學習器的權 重分布信息計算權重(從加權多數(shù)判定獲得的值)。權重計算單元806然后將計算的權重 值輸出到記錄控制單元808。下面將參照圖IOA到IOC和17A到17C更詳細描述該權重計
算處理。權重更新單元807更新對應于權重保持單元810中存儲的每個訓練圖像的權重。 更具體地，權重更新單元807使用從權重分布信息生成單元803輸出的權重分布信息、對應 于從弱學習器確定單元805輸出的最佳弱學習器的最佳閾值、以及從權重計算單元806輸 出的權重值，更新每個權重。下面將參照圖IOA到IOC和17A到17C更詳細描述權重的更新。記錄控制單元808將從權重計算單元806輸出的權重值與閾值和從弱學習器確定 單元805輸出的最佳弱學習器相關聯(lián)。記錄控制單元808然后將權重值、閾值和最佳弱學 習器存儲在面部檢測字典存儲單元820中。下面將參照圖IOA到IOC和17A到17C更詳細 描述該面部檢測字典。權重保持單元810保持分配給從訓練圖像輸入單元801輸出的訓練圖像的權重。 此外，權重保持單元810將保持的權重提供到權重分布信息生成單元803。權重保持單元 810中保持的權重由權重更新單元807更新。下面將參照圖6A和6B以及13A和13B更詳 細描述權重保持單元810中保持的內容。圖5A和5B圖示根據(jù)本發(fā)明第一實施例、用于通過學習設備800執(zhí)行的學習處理 的訓練圖像的示例。圖5A圖示包括多個訓練正面圖像的訓練正面圖像組830。圖5B圖示 包括多個訓練非面部圖像的訓練非面部圖像組840。為了簡化，在圖5A和5B中示出的示例 中，簡化的圖像示出為訓練圖像。例如，如圖5A中的訓練正面圖像831到834所示，包括人的面部(正面)圖像的多 個樣本圖像用作訓練正面圖像。此外，如圖5B中示出的訓練非面部圖像841到844所示， 每個不包括面部的多個樣本圖像用作訓練非面部圖像。在該示例中，使用大約10，000個訓 練正面圖像和大約100，000個訓練非面部圖像生成面部檢測字典。這些訓練圖像對于這些 類型的每一個順序輸入到訓練圖像輸入單元801。圖6A和6B是根據(jù)本發(fā)明第一實施例的權重保持單元810中保持的信息的示意性 圖示。圖6A圖示在權重保持單元810中保持其權重的訓練圖像。圖6B圖示對應于訓練圖 像并且保持在權重保持單元810中的信息。此外，圖6A中示出的信息項和6B中示出的信 息項之間的對應通過連接信息項的箭頭示出。注意，圖6A和6B中示出的訓練正面圖像組 830和訓練非面部圖像組840中包含的訓練圖像表示圖5A和5B中示出的訓練圖像中的一 些。在描述圖6A和6B中將使用與在描述圖5A和5B中利用的標號相同的標號。權重保持單元810保持訓練圖像標識信息(Xi)Sll和權重(W。812、以及面部圖像 /非面部圖像指示信息(Yi) 813。對于從訓練圖像輸入單元801輸出的每個訓練圖像，這樣 的信息通過權重更新單元807存儲并更新。 訓練圖像標識信息(Xi)Sll是用于標識輸入到訓練圖像輸入單元801的訓練圖像 的標識信息。例如Xi與訓練圖像相關聯(lián)地存儲，其中i是整數(shù)(1 < i < k)。圖6B圖示當K 個訓練圖像輸入到訓練圖像輸入單元801時包含的信息的情況。例如，K可以設為110000。權重(WD812表示分配給輸入到訓練圖像輸入單元801的每個訓練圖像的權重。權重(W。812通過權重更新單元807順序更新。在該示例中，權重(W。是被規(guī)范化以便滿
足下面的等式的值 K
注意，相同值(1/K)分配給緊接在訓練圖像輸入到訓練圖像輸入單元801之后的 每個訓練圖像作為權重(WJ。這里，索引i對應于訓練圖像標識信息(Xi)Sll的i，并且t 表示當執(zhí)行提升時的循環(huán)計數(shù)器，例如，t范圍可以從2000到3000。面部圖像/非面部圖像指示信息(yi)813用于指示輸入到訓練圖像輸入單元 801的訓練圖像的類型。例如，對于訓練正面圖像保持“1”，并且對于訓練非面部圖像保持 “_1”。根據(jù)從訓練圖像輸入單元801輸出的訓練圖像的類型，由權重更新單元807存儲該 面部圖像/非面部圖像指示信息。面部檢測字典的生成的示例圖7A和7B是根據(jù)本發(fā)明第一實施例、用于在權重分布信息生成單元803中生成 權重分布信息的方法的示意性圖示。圖7A圖示分別使用訓練正面圖像組830和訓練非面部 圖像組840中包含的訓練圖像的訓練正面圖像831和832以及訓練非面部圖像842和844 計算亮度差值的示例。類似地，該計算可應用到其他訓練圖像。此外，在位于每個訓練圖像 的下面部分并通過虛線指示的矩形中，示出分配給訓練圖像的權重(W。。權重(W。與訓 練圖像相關聯(lián)地存儲在權重保持單元810中。首先，亮度差值計算單元802提取每個訓練圖像中的相同兩點的亮度，并對訓練 圖像計算兩點之間的亮度差值。例如，如圖7A所示，提取訓練正面圖像831和832以及訓 練非面部圖像842和844中的兩點(像素位置Pll和P12)的亮度值，并計算兩個亮度值之 間的差。圖7B示意性圖示用于使用每個訓練圖像中的兩點之間的亮度差值生成權重分布 信息的方法。圖7B是用作權重分布信息的權重分布曲線圖，其中橫軸表示亮度差值(范圍 從-255到255)，并且縱軸表示權重的累積值。權重分布信息生成單元803將與訓練圖像相關聯(lián)地存儲在權重保持單元810中的 權重(W。與通過亮度差值計算單元802計算的差值的類相加，從所述訓練圖像計算差值。 例如，如圖7B所示，權重(W；, W2S WiS \1)分別與對訓練正面圖像831和832和訓練非面 部圖像842和844計算的差值的類相加。以類似方式，對于每個其他訓練圖像，將對應于訓 練圖像的權重(W。與計算的差值的類順序相加。以此方式，生成權重分布信息。注意，因 為對緊接在訓練圖像輸入到訓練圖像輸入單元801之后的每個訓練圖像分配相同值(1/K) 作為權重(W。，所以當t = 1時將相同權重(Wi1)順序相加。類似地，對于兩點的其他組合 (各點的其他對)，將分配給每個訓練圖像的權重(W。順序相加。以此方式，生成權重分布 信息。圖8A和8B中示出對每個訓練圖像中的兩點(像素位置Pll和P12)的組合以上述 方式生成的權重分布信息的示例。圖8A和8B示意性圖示根據(jù)本發(fā)明第一實施例、通過權重分布信息生成單元803 生成的權重分布信息與訓練圖像之間的關系。圖8A圖示訓練正面圖像組830和訓練非面 部圖像組840中包含的訓練圖像。這些訓練圖像與圖5A和5B中示出的訓練圖像類似。
圖8B圖示對兩點(像素位置Pll和P12)的組合生成的權重分布曲線(權重分布 信息)850。權重分布曲線850通過使用用于生成圖7A和7B所示的權重信息的方法、并通 過使用對每種訓練圖像的曲線將對每類順序相加的權重(WJ)的累積值相互連接而形成。 通過利用權重分布曲線，可以獲得根據(jù)訓練圖像的種類而出現(xiàn)的特定權重分布狀態(tài)。此外， 通過利用權重分布曲線，可以獲得對面部圖像和非面部圖像獨立生成的權重分布。例如，在 圖8B所示的權重分布曲線850中，在右側凹陷的曲線對應于面部圖像，并且在左側凹陷的 曲線對應于非面部圖像。通常，權 重曲線的特性根據(jù)用于計算亮度差值的兩點的組合而不 同。接下來描述確定用于區(qū)分面部和非面部的閾值的方法。例如，設d表示圖8B所示 的權重分布曲線850的橫軸的整數(shù)值(-255 ( d ( 255)，并且設thl表示橫軸的常數(shù)整數(shù) 值(-255 ( thl ( 255)。然后，設Pl+(CI)表示小于常數(shù)值thl的d的范圍內的訓練正面圖 像的權重分布曲線中的值，并且設PH+(d)表示大于或等于常數(shù)值thl的d的范圍內的訓練 正面圖像的權重分布曲線中的值。此外，設IV(d)表示小于常數(shù)值thl的d的范圍內的訓 練非面部圖像的權重分布曲線中的值，并且設PH_(d)表示大于或等于常數(shù)值thl的d的范 圍內的訓練非面部圖像的權重分布曲線中的值。在圖8B中，小于常數(shù)thl的d的范圍內的 面部圖像的權重分布曲線(Pj(d))用細虛線示出，而大于或等于常數(shù)thl的d的范圍內的 面部圖像的權重分布曲線(PH+(d))用粗虛線示出。此外，小于常數(shù)thl的d的范圍內的非 面部圖像的權重分布曲線(&-(d))用粗實線示出，而大于或等于常數(shù)thl的d的范圍內的 非面部圖像的權重分布曲線(pH-(d))用細實線示出。在此情況下，最佳閾值確定單元804計算常數(shù)值thl的任一側上的權重分布的和。 例如，常數(shù)thl的任一側上的和PH+、PL\ Ph-和Pf如下計算此后，最佳閾值確定單元804如下計算對于計算的權重分布Ρη+、ΡΛΡη_和P^的和 的值Tl 接下來，最佳閾值確定單元804確定最小化計算的值Tl的常數(shù)值thl。常數(shù)值thl 用作對于與圖8B所示的權重分布曲線850對應的兩點(像素位置Pll和P12)的組合的閾 值thl。類似地，對于訓練圖像中的兩點的其他組合(對)，可使用權重分布信息確定閾值。 圖9A到9C中示出對于每個訓練圖像中的兩點的組合以此方式生成的權重分布信息和使用權重分布信息確定的閾值的示例。圖9A到9C示意性圖示通過根據(jù)本發(fā)明第一實施例的權重分布信息生成單元803 生成的權重分布信息和通過最佳閾值確定單元804確定的閾值之間的關系。除了權重分布 信息和閾值外，圖9A到9C圖示與權重分布信息和閾值對應的訓練圖像中的兩點的組合。注 意，在圖9A到9C中，在訓練正面圖像組830和訓練非面部圖像組840中包含的訓練圖像中， 僅示出訓練正面圖像832和訓練非面部圖像842。此外，訓練圖像中的兩點的組合、權重分 布信息和閾值之間的關系與圖8A和8B中所示的關系相同。作為圖9A中示出的權重分布 曲線850，通過曲線851表示對應于訓練非面部圖像的權重分布曲線，并且通過曲線852表 示對應于訓練正面圖像的權重分布曲線。圖9B圖示對訓練圖像中的兩點(像素位置P21和P22)的組合生成的權重分布 曲線853和基于權重分布曲線853確定的閾值th2之間的關系。此外，作為權重分布曲線 853，通過曲線854表示對應于訓練非面部圖像的權重分布曲線，并且通過曲線855表示對 應于訓練正面圖像的權重分布曲線。圖9C圖示對訓練圖像中的兩點(像素位置Pjl和Pj2)的組合生成的權重分布 曲線856和基于權重分布曲線856確定的閾值thj之間的關系。此外，作為權重分布曲線 856，通過曲線857表示對應于訓練非面部圖像的權重分布曲線，并且通過曲線858表示對 應于訓練正面圖像的權重分布曲線。以此方式，最佳閾值確定單元804使用權重分布曲線(權重分布信息)來確定對 訓練圖像中的兩點的各對的閾值thl到thj。此后，弱學習器確定單元805從所確定的閾值 thl到thj當中選擇最小化使用等式(6)計算的值T1的閾值。因此，選擇對應于所選擇的 閾值的權重分布信息的弱學習器作為最佳弱學習器。圖10A到10C示意性圖示根據(jù)本發(fā)明第一實施例、用于將對應于通過弱學習器確 定單元805確定的弱學習器的各值記錄在面部檢測字典中的方法。圖10A圖示對應于通過 弱學習器確定單元805確定的閾值thr的訓練圖像中的兩點(像素位置Prl和Pr2)的組 合和權重分布曲線860。注意，在圖10A中，通過粗線表示指示閾值thr的位置的線。此夕卜， 作為權重分布曲線860，通過曲線861表示對應于訓練非面部圖像的權重分布曲線，并且通 過曲線862表示對應于訓練正面圖像的權重分布曲線。圖10B圖示計算通過弱學習器確定單元805確定的閾值thr的兩個權重的權重計 算單元806。即，權重計算單元806使用權重分布曲線860的閾值thr的任一側的權重分布 的和PH+、PL+、PH_和PL_，如下計算權重h (x)(兩個權重hH (x)和hL (x)) 其中，x表示用于標識要檢測的圖像的標識符。
圖10C示意性圖示其中對應于通過弱學習器確定單元805確定的弱學習器的各值 記錄在面部檢測字典821中的示例。面部檢測字典821存儲在面部檢測字典存儲單元820 中。更具體地，通過弱學習器確定單元805確定的閾值thr記錄在面部檢測字典821的閾 值(0 )824中。此外，對應于閾值thr的組合(像素位置Prl和Pr2的組合)的兩點之一 (像素位置Prl)存儲在面部檢測字典821的位置1 (ul，vl)822中，并且另一點(像素位置 Pr2)存儲在面部檢測字典821的位置2(u2，v2)823中。這里，例如，當訓練圖像的左上角定 義為原點時，水平方向上的訓練圖像的兩個位置通過“ul”和“u2”表示，并且垂直方向上的 訓練圖像的位置通過“vl”和“v2”表示。對閾值thr計算的權重h(x)(兩個權重！^⑴和 hL(x))存儲在面部檢測字典821的權重(a)825中。例如，權重hH(x)存儲在權重(a)825 的條目(H)中，并且權重存儲在權重(a)825的條目(L)中。這些值通過記錄控制 單元808存儲在面部檢測字典821中。隨后，權重更新單元807使用下面的等式來計算對每個訓練圖像分配的權重 (+1
r t+i w' expC-Yih.CXi)) WH = - 權重更新單元807然后更新權重保持單元810中保持的權重。該更新稱為“提升 (boosting)”。這里，1^和71表示與當前訓練圖像Xi(參照圖6A和6B)相關聯(lián)地保持在權 重保持單元810中的值，ht(Xi)表示根據(jù)對兩點(像素位置Prl和Pr2)的組合計算的訓練 圖像的亮度差值確定的值，該兩點對應于通過弱學習器確定單元805確定的閾值thr。更具 體地，當對當前訓練圖像\計算的亮度差值Pd> thr時，使用等式(7)計算的權重hH(Xi) 用作ht(Xi)。相反，當Pd< thr時，利用等式(8)計算的權重hJXi)用作ht(Xi)。因此，例 如，對于基于通過弱學習器確定單元805確定的閾值錯誤地確定的訓練圖像，可以增加權 重。因此，可以增加訓練圖像對弱學習器確定處理的下一循環(huán)的影響。如上所述，盡管對緊 接在訓練圖像輸入到訓練圖像輸入單元801之后的每個訓練圖像分配相同的值(1/K)，但 是根據(jù)每個訓練圖像更新t = 2之后確定的權重(W。。隨后，重復上述處理，直到達到預定的循環(huán)數(shù)或達到預定的精度。以此方式，根據(jù)本發(fā)明第一實施例，對于低于通過弱學習器確定單元805確定的 閾值的亮度差值的范圍和大于或等于所述閾值的范圍計算不同的權重值。結果，可以容易 地區(qū)分在面部檢測處理中難以區(qū)分的圖像，并且因此可以提高面部檢測的精度。圖11A和11B圖示對在訓練圖像中的兩點的組合生成的兩個權重分布曲線。圖 11A所示的權重分布曲線850類似于圖9A所示的權重分布曲線850。在該情況下，因為對 應于訓練非面部圖像的曲線的特性和對應于訓練正面圖像的曲線的特性對于低于閾值的 范圍和大于或等于閾值的范圍是顯著的，所以認為可以容易地進行鑒別。圖11B圖示權重分布曲線865的示例，使用該權重分布曲線865，在低于閾值thlO 的范圍內難以區(qū)分面部和非面部，但在大于或等于閾值thlO的范圍內相對容易地區(qū)分面 部和非面部。作為權重分布曲線865，通過曲線866表示對應于訓練非面部圖像的權重分布 曲線，并且通過曲線867表示對應于訓練正面圖像的權重分布曲線。也就是說，因為在小于閾值thlO的范圍內非面部和面部的權重分布狀態(tài)共存，所以認為鑒別是困難的。然而，在 大于或等于閾值thlO的范圍內幾乎不存在非面部的權重分布，而存在大的面部的權重分 布。因此，認為可以相對容易地進行鑒別。即使在此情況下，通過在小于閾值的范圍內和大 于或等于閾值10th的范圍內使用不同的權重，也可以顯著有效地檢測面部。因此，因為可 減小弱學習器的數(shù)量，所以可以以高速執(zhí)行面部檢測處理。此外，即使當減小弱學習器的數(shù) 量時，也可增加面部檢測的精度。當使用以上述方式生成的面部檢測字典821來執(zhí)行面部檢測處理時，使用面部檢 測字典821中包含的在t = 1到T處的信息項，對檢測目標圖像x (24X24像素如下計算最
xI,24像素)
故意假設(hypotheSiS)H(X) 當通過使用等式(7)和(8)計算通過等式(10)指示的最終假設H(x)并且執(zhí)行面 部確定時的處理流程如下圖示 例如，當對圖像x執(zhí)行面部檢測處理時，提取對應于面部檢測字典821的第t行中 的位置l(ul，vl)822和位置2(u2，v2)823的圖像x中的兩點的亮度值。此后，計算兩點的 亮度值之間的差值。比較該差值和面部檢測字典821的閾值(0 )824中包含的值。例如， 設Dt表示兩點的亮度值之間的差值，并且設tht表示閾值(0 ) 824中包含的值。然后，如果 Dt>tht，則選擇權重(a)825的(H)中包含的值(即，通過等式(7)所示的權重hH(x))。 然而，如果Dt<tht，則選擇權重(a)825的(L)中包含的值(即，通過等式⑶所示的權 重hjx))。隨后，通過將選擇的權重(a)825(H或L)中包含的值順序求和，獲得最終假設 H(x)。如果H(x) <0，則確定面部不包含在當前圖像x中。然而，如果H(x)彡0，則確定面 部包含在當前圖像x中。下面將參照圖22k到25C更詳細描述面部確定處理。用于檢測多個不同對象的字典的生成的示例在上面的描述中，圖示了使用包含用作對象的人的面部的訓練正面圖像、和不包
18含人的面部的訓練非面部圖像生成面部檢測字典的示例。然而，通過應用上述計算方法，可 生成用于同時檢測多個不同對象的字典。更具體地，為了檢測多個不同對象，可生成用于同 時計算用于確定每個對象是否包含在圖像中的評估值的字典。也就是說，可生成用于對多 個類同時執(zhí)行確定處理的字典。下面描述生成用于同時檢測正面和檢測轉向左邊的側面的 面部檢測字典的示例。功能結構與圖4所示的功能結構相同。因此，與描述圖4時使用的 標號相同的標號將用于描述下面的附圖。下面將主要描述不同功能，并且不重復相同功能 的描述。圖12A到12C圖示用于通過根據(jù)本發(fā)明第一實施例的學習設備800執(zhí)行的學習處 理的訓練圖像的示例。圖12A圖示包括多個訓練正面圖像的訓練正面圖像組830。圖12B 圖示包括多個訓練側面圖像的訓練側面圖像組870。圖12C圖示包括多個訓練非面部圖像 的訓練非面部圖像組840。注意，圖12A和12C中示出的訓練正面圖像組830和訓練非面 部圖像組840分別與圖5A和5B中示出的訓練正面圖像組830和訓練非面部圖像組840相 同。因此，與描述圖5A和5B時使用的標號相同的標號將用于描述圖12A和12C，并且不重 復其描述。為了簡化，在圖12A到12C所示的示例中，簡化的圖像示出為訓練圖像。例如，如通過圖12B中所示的訓練側面圖像871到874所示，其每個包括人的側 面(轉向左邊的面部)的多個樣本圖像用作訓練側面圖像。此外，在該示例中，使用大約 10，000個訓練正面圖像、大約10，000個訓練側面圖像和大約100，000個訓練非面部圖像生 成面部檢測字典。這些訓練圖像對于這些種類的每個順序地輸入到訓練圖像輸入單元801。圖13A和13B是根據(jù)本發(fā)明第一實施例的權重保持單元810中保持的信息的示意 性圖示。如圖13A和13B中所示，類信息814額外提供為權重保持單元810中保持的信息 項，并且對每類保持權重。其他信息項與圖6A和6B中所示的權重保持單元810中的信息 項相同。因此，與描述圖6A和6B中使用的標號相同的標號將用于描述圖13A和13B，并且 不重復其描述。下面主要描述不同信息。圖13A圖示在權重保持單元810中保持其權重的 訓練圖像。圖13B圖示對應于訓練圖像并保持在權重保持單元810中的信息。此外，圖13A 所示的信息項與圖13B所示的信息項之間的對應通過連接信息項的箭頭示出。注意，圖13A 中示出的訓練側面圖像組870中包含的訓練圖像表示圖12A和12B中示出的訓練圖像的一 些。將使用相同的標號來描述相同的訓練圖像。此外，在該示例中，訓練正面圖像組830中 包含的圖像的數(shù)量和訓練側面圖像組870中包含的圖像的數(shù)量相同。訓練圖像標識信息(Xi)811包含用于標識訓練圖像的Xi(l彡i彡K)。在圖13B所 示的示例中，訓練正面圖像組830中包含的圖像的數(shù)量和訓練非面部圖像組840中包含的 圖像的數(shù)量的和是K。此外，訓練側面圖像組870中包含的圖像的數(shù)量和訓練非面部圖像組 840中包含的圖像的數(shù)量的和是K。例如，K可以設為110000。此外，例如，訓練圖像標識信 息(Xi)811包含與訓練側面圖像871相關聯(lián)的Xl。如上所述，權重％,。/)812包含對每類的權重。也就是說，如圖13B所示，對訓練 正面圖像組830和訓練非面部圖像組840中包含的訓練圖像的類、以及訓練側面圖像組870 和訓練非面部圖像組840中包含的訓練圖像的類的每個保持權重。這里，對訓練非面部圖 像組840中包含的訓練圖像，將對所有類使用相同圖像。然而，通過權重更新單元807順序 更新的權重值是不同的。此外，對緊接在訓練圖像輸入到訓練圖像輸入單元801之后的每 個訓練圖像分配相同值(1/K)作為權重(Wi,。/)。此外，例如，權重％,。/)812包含與訓練側面圖像871相關聯(lián)的^。這里，Cj對應于類信息(Cj) 814中包含的…，并且表示該權重 所屬的類。如在訓練正面圖像的情況下，面部圖像/非面部圖像指示信息(yi)813對訓練側 面圖像包含“1”。例如，面部圖像/非面部圖像指示信息(yi)813包含與訓練側面圖像871 相關聯(lián)的“1”。類信息(Cj)814包含用于標識類的信息。例如，對訓練正面圖像保持“Cl”，并且 對訓練側面圖像保持“c2”。此外，對屬于訓練正面圖像的類的訓練非面部圖像的權重保 持“Cl”，并且對屬于訓練側面圖像的類的訓練非面部圖像的權重保持“c2”。例如，類信 息(Cj)814對屬于訓練正面圖像的類的訓練非面部圖像844的權重包含“Cl”，并且類信息 (Cj)814對屬于訓練側面圖像的類的訓練非面部圖像844的權重包含“c2”。圖14A到14C示意性圖示根據(jù)本發(fā)明第一實施例、使用權重分布生成單元803生 成權重分布信息的方法。圖14A到14C所示的方法的示例是圖7A和7B所示的方法的修改。 在圖14A到14C所示的方法中，除了用于訓練正面圖像和訓練非面部圖像的權重分布信息 外，生成用于訓練側面圖像和訓練非面部圖像的權重分布信息。因此，與描述圖7A和7B中 使用的標號相同的標號將用于描述圖14A到14C，并且不重復相同功能的描述。如圖14A所示，用于計算每個訓練圖像中的兩點之間的亮度差值的方法類似于圖 7A所示的情況。此外，如圖14B所示，用于基于訓練側面圖像和訓練非面部圖像的每個中的 兩點之間的亮度差值生成權重分布信息的方法類似于圖7B所示的方法。注意，與圖7B所示的權重分布信息不同，圖14C所示的權重分布信息是關于訓練 側面圖像和訓練非面部圖像的權重分布信息。然而，用于基于訓練側面圖像和訓練非面部 圖像的每個中的兩點之間的亮度差值生成權重分布信息的方法類似于圖7B所示的方法。更具體地，權重分布信息生成單元803將與訓練圖像相關聯(lián)地保持在權重保持單 元810中的權重(Wi,。/)與通過亮度差值計算單元802計算的差值的類相加，從所述訓練圖 像計算差值。對每個類執(zhí)行該相加處理。也就是說，對與圖14B所示的訓練正面圖像和訓 練非面部圖像相關聯(lián)的權重分布曲線圖、以及與圖14C所示的訓練側面圖像和訓練非面部 圖像相關聯(lián)的權重分布曲線圖的每個執(zhí)行該相加處理。例如，如圖14B所示，對應于每個訓 練圖像的權重(Wu^WK,。/)與對訓練正面圖像831和訓練非面部圖像844計算的差值的類 相加。此外，如圖14C所示，對應于每個訓練圖像的權重(Wi,。？，WK,。2t)與對訓練側面圖像 871和訓練非面部圖像844計算的差值的類相加。在該示例中，對于訓練非面部圖像，對于 圖14B所示的權重分布曲線圖和圖14C所示的權重分布曲線圖的每個同時執(zhí)行相加處理。 類似地，對于其他訓練圖像，將對應于訓練圖像的權重％,。/)順序相加，并且生成權重分布 信息。此外，對于訓練圖像中的兩個點的其他組合(對)，將與訓練圖像相關聯(lián)的權重(W。 以類似方式順序相加，并且生成權重分布信息。圖15A和15B中示出以此方式對每個訓練 圖像中的兩點(像素位置P11和P12)的組合生成的權重分布信息的示例。圖15A和15B示意性圖示根據(jù)本發(fā)明第一實施例、通過權重分布信息生成單元803 生成的權重分布信息與訓練圖像之間的關系。圖15A圖示訓練正面圖像組830、訓練側面圖 像組870和訓練非面部圖像組840中包含的訓練圖像。這些訓練圖像與圖12A到12C中示 出的一些訓練圖像類似。圖15B圖示對兩點(像素位置P11和P12)的組合生成的權重分布曲線(權重分布信息)875和876。如圖14B所示，權重分布曲線875通過將對訓練正面圖像組和訓練非面 部圖像組中包含的每種訓練圖像順序相加的權重(Wi,。/)的累積值連接而形成。如圖14C所 示，權重分布曲線876通過將對訓練側面圖像組和訓練非面部圖像組中包含的每種訓練圖 像順序相加的權重(Wi.J)的累積值連接而形成。通過利用這些權重分布曲線，可以獲得根 據(jù)訓練圖像的種類出現(xiàn)的特定權重分布狀態(tài)。此外，通過利用權重分布曲線，可以獲得對正 面圖像和非面部圖像、以及對轉向左邊的側面圖像和非面部圖像獨立地生成的權重分布。 例如，在權重分布曲線875中，在右側的凹陷的曲線對應于正面圖像，并且在左側的凹陷的 曲線對應于非面部圖像。此外，在權重分布曲線876中，在右側的凹陷的曲線對應于轉向左 邊的側面圖像，并且在左側的凹陷的曲線對應于非面部圖像。例如，在權重分布曲線875和 876中，當t =丄時，經歷相加處理的訓練圖像是相同的。因此，曲線是相同的。此外，在權 重分布曲線875和876中，對應于正面圖像的曲線和對應于轉向左邊的側面圖像的曲線具 有不同的經歷相加處理的訓練圖像。因此，兩個曲線是不同的。接下來將描述確定用于區(qū)分正面、轉向左邊的側面和非面部的閾值的方法。例如， 設d表示圖15B所示的權重分布曲線875和876的橫軸的整數(shù)值(-255 ^ thl ^ 255)， 并且設thll表示橫軸的常數(shù)整數(shù)值(-255彡thl彡255)。然后，設I\el+(d)表示在小于 常數(shù)值thll的d的范圍內的訓練正面圖像的權重分布曲線中的值，并且設P/1+(d)表示在 大于或等于常數(shù)值thll的d的范圍內的訓練正面圖像的權重分布曲線中的值。此外，設 PLc2+(d)表示在小于常數(shù)值thll的d的范圍內的訓練側面圖像的權重分布曲線中的值，并 且設P/2+(d)表示在大于或等于常數(shù)值thl的d的范圍內的訓練側面圖像的權重分布曲線 中的值。此外，對于類(Cl)，設iVld)表示在小于常數(shù)值thll的d的范圍內的訓練非面部 圖像的權重分布曲線中的值，并且設P/_(d)表示在大于或等于常數(shù)thll的d的范圍內的 訓練非面部圖像的權重分布曲線中的值。此外，對于類(c2)，設fV2_(d)表示在小于常數(shù)值 thll的d的范圍內的訓練非面部圖像的權重分布曲線中的值，并且設P/2_(d)表示在大于 或等于常數(shù)thll的d的范圍內的訓練非面部圖像的權重分布曲線中的值。在此情況下，對于權重分布曲線875和876的每個，最佳閾值確定單元804計算常 數(shù)thll的任一側上的權重分布的和。例如，對于權重分布曲線875，如下計算常數(shù)thll的 任一側上的和 PH。1+、PLcl+> 和 Pl+。
此外，例如對于權重分布曲線876，如下計算常數(shù)thll的任一側上的和PHe2+、Pj2+、
PHc2-和 PLc2。
注意，如上所述，在權重分布曲線875和876中，當t = 1時，對應于非面部圖像的 曲線是相同的。因此，通過等式(13)所示的P/—和通過等式(17)所示的P/—具有相同的 值。類似地，當t = 1時，通過等式(14)所示的IV1-和通過等式(18)所示的PJ2-具有相 同的值。隨后，最佳閾值確定單元804對計算的權重分布P/+、PLcl\ P/_、PLcl\ P/+、Plc2\ 和的和，如下計算值T11。 ...(19)此后，最佳閾值確定單元804確定最小化計算的值Tll的常數(shù)值thll。常數(shù)值 thll用作對于與圖15B所示的權重分布曲線875和876對應的兩點(像素位置Pll和P12) 的組合的閾值thll。類似地，對于訓練圖像中的兩點的其他組合(對)，可以使用權重分布 曲線(權重分布信息)確定閾值。在圖16A和16B中示出以此方式對于每個訓練圖像中的 兩點的組合生成的權重分布信息和使用權重分布信息確定的閾值的示例。圖16A和16B示意性圖示根據(jù)本發(fā)明第一實施例、通過權重分布信息生成單元803 生成的權重分布信息和通過最佳閾值確定單元804確定的閾值之間的關系。除了權重分布 信息和閾值之外，圖16A和16B圖示在對應于權重分布信息和閾值的訓練圖像中的兩點的 組合。注意，在圖16A和16B中，在訓練正面圖像組830、訓練側面圖像組870和訓練非面部 圖像組840中包含的訓練圖像中僅示出訓練正面圖像831、訓練側面圖像871和訓練非面部 圖像844。此外，訓練圖像中兩點的組合、權重分布信息和閾值之間的關系與圖15A和15B 中示出的相同。圖16B圖示為在訓練圖像中的兩點(像素位置Pq 1和Pq2)的組合生成的權重分 布曲線877和878以及基于權重分布曲線877和878確定的閾值thql之間的關系。以此方式，最佳閾值確定單元804使用權重分布信息為訓練圖像中的兩點的對確 定閾值thll到thql。此后，弱學習器確定單元805從確定的閾值thll到thql中選擇最小 化使用等式(19)計算的值Tll的閾值。因此，選擇對應于選擇的閾值的權重分布信息的弱 學習器作為最佳弱學習器。圖17A到圖17C示意性圖示根據(jù)本發(fā)明第一實施例、用于將對應于通過弱學習器 確定單元805確定的弱學習器的各值記錄在面部檢測字典中的方法。圖17A圖示對應于通過弱學習器確定單元805確定的閾值thrll的訓練圖像中的兩點(像素位置Prll和Prl2) 的組合和權重分布曲線880和881。注意，在圖17A中，示出閾值thrll的位置的線通過粗 線表示。此外，作為權重分布曲線880(類Cl)，對應于訓練非面部圖像的權重分布曲線用 曲線882表示，并且對應于訓練正面圖像的權重分布曲線用曲線883表示。此外，作為權重 分布曲線881 (類c2)，對應于訓練非面部圖像的權重分布曲線用曲線884表示，并且對應 于訓練側面圖像的權重分布曲線用曲線885表示。圖17B圖示計算對于通過弱學習器確定單元805確定的閾值thrll的四個權重的 權重計算單元806。S卩，權重計算單元806基于權重分布曲線880和881的閾值thrll的任 一側上的權重分布的和，計算關于正面的權重h(x，C1)和關于轉向左邊的側面的權重h(x， c2)。這里，閾值 thrll 的任一側的權重分布的和是 PH。1+、PLcl+、PHcl_、PLcl_、PH。2+、PLc2+、Phc2_ 和 Plc2^0此外，關于正面的權重h(x，C1)包括兩個權重hH(x，Cl)和k(x，Cl)，并且關于轉向左 邊的側面的權重h(x，c2)包括兩個權重hH(x，c2)和hjx，c2) 0更具體地，基于權重分布曲 線880的閾值thrll的任一側上的權重分布的和，使用下面的等式(20)和(21)計算權重 h(x, C1)。此外，基于權重分布曲線881的閾值thrll的任一側上的權重分布的和，使用下 面的等式(22)和(23)計算權重h(x，c2) 其中，χ表示用于標識要檢測的圖像的標識符。圖17C示意性圖示其中對應于通過弱學習器確定單元805確定的弱學習器的各值 記錄在面部檢測字典826中的示例。面部檢測字典826存儲在面部檢測字典存儲單元820 中。更具體地，通過弱學習器確定單元805確定的閾值thrl 1記錄在面部檢測字典826的閾 值(θ )824中。此外，對應于閾值thrll的兩點(像素位置Prll和Prl2)的組合的兩點之 一(像素位置Prll)存儲在面部檢測字典826的位置l(ul，vl)822中，并且另一點(像素 位置Prl2)存儲在面部檢測字典826的位置2(u2，v2)823中。此外，對閾值thrll計算的 權重h(x，Cl)和h(x，c2)存儲在面部檢測字典826的權重(α 和α 2) 827中。例如，h(x，C1)的權重hH(X，Cl)存儲在權重(α 1)827的條目(H)中，并且h(x，Cl)的權重hL(X，Cl)存 儲在權重(α 1)827的條目(L)中。h(x,c2)的權重hH(x，c2)存儲在權重(α 2)827的條目 (H)中，并且h(x，c2)的權重hL(x，c2)存儲在權重(α 2) 827的條目(L)中。這些值通過記 錄控制單元808存儲在面部檢測字典826中。隨后，權重更新單元807使用下面的等式來計算分配到每個訓練圖像的權重Wi, 權重更新單元807然后更新權重保持單元810中保持的權重。這里，Wi,。/和 表示與當前訓練圖像Xi相關聯(lián)地保持在權重保持單元810中的值(參見圖13A和13B)。 ht(Xi，Ci)表示根據(jù)訓練圖像的亮度差值確定的值，對于與通過弱學習器確定單元805確定 的閾值thrll對應的兩點(像素位置Prll和Prl2)的組合計算所述訓練圖像。這里，Ci表 示與訓練圖像Xi相關聯(lián)地保持在權重保持單元810中的類(參見圖13A和13B)。更具體 地，當“C1 ”包含在與訓練圖像Xi相關聯(lián)地保持在權重保持單元810中的類信息(Ci)814中 時，使用利用等式(20)和(21)之一計算的權重h(x，Cl)。相反，當“C2”包含在與訓練圖像 Xi相關聯(lián)地保持在權重保持單元810中的類信息(Ci)814中時，使用利用等式(22)和(23) 之一計算的權重h(x，c2)。設Pd表示對訓練圖像Xi中的兩點(像素位置Prll和Prl2)的 組合計算的亮度差值。例如，當“Cl”包含在與訓練圖像Xi相關聯(lián)地保持在權重保持單元 810中的類信息(Ci)814中時，如果Pd彡thrll，則使用利用等式(20)計算的權重hH (x，C1)。 然而，如果Pd<thrll，則使用利用等式(21)計算的權重hJX，Cl)。當“c2”包含在類信息 (Ci) 814中時，如果Pd彡thrll，則使用利用等式(22)計算的權重hH (x，c2)。然而，如果Pd <thrll，則使用利用等式(23)計算的權重k(X，c2)。以此方式，根據(jù)亮度差值選擇并使用 ht(Xi，Ci)。因此，例如，對于基于通過弱學習器確定單元805確定的閾值錯誤地確定的訓練 圖像，可以增加權重。因此增加訓練圖像對弱學習器確定處理的下一循環(huán)的影響。如上所 述，盡管對緊接在訓練圖像輸入到訓練圖像輸入單元801之后的每個訓練圖像分配用作權 重％,。/)的相同值(1/K)，但是根據(jù)每個訓練圖像更新在t = 2之后確定的權重％,。/)。隨后，重復上述處理，直到達到預定的循環(huán)數(shù)，或直到達到預定的精度。以此方式，根據(jù)本發(fā)明第一實施例，即使當存在兩個或更多對象時，也可對于小于 通過弱學習器確定單元805確定的閾值的范圍和大于或等于所述閾值的范圍計算不同的 權重值。結果，在同時檢測多個對象的面部檢測處理中，可以容易地區(qū)分難以區(qū)分的圖像， 因此，可以提高面部檢測的精度。在上面的描述中，圖示了生成用于檢測兩個對象(S卩，正面和轉向左邊的側面)的 對象檢測字典的示例。然而，可通過應用上述示例生成用于檢測三個或更多對象的對象檢 測字典。在此情況下，可如下計算每個類(Ci)的權重h(x，Cj)。
此外，在上述示例中，參照轉向不同方向的人的面部進行了描述。然而，例如，即使 當生成關于不同類型的多個對象(例如，狗和貓)的對象檢測字典時，也可應用該示例。此 夕卜，當生成用于屬性確定(例如，男性/女性確定或年齡確定)的屬性確定字典時，也可應 用該示例。當使用以上述方式生成的面部檢測字典826來執(zhí)行面部檢測處理時，使用面部檢
測字典826中包含的t = 1到T的信息項，對檢測目標圖像x(24X24像素)計算關于兩個
對象的每個的最終假設H(X)。也就是說，可通過使用下面的等式，計算關于正面的最終假設
H(x, C1)和關于轉向左邊的側面的最終假設H(x，c2) 隨后，基于Η(χ，C1)≥0還是H(x，C1) < 0，確定正面是否包含在檢測目標圖像χ 中。此外，基于H(x，c2)≥0還是H(x，c2) <0，確定轉向左邊的側面是否包含在檢測目標 圖像χ中。下面將參照圖22Α到25C更詳細描述這種面部確定。如上所述，根據(jù)本發(fā)明第一實施例，通過使用相同的亮度差值，可同時執(zhí)行對于兩 個不同對象的鑒別處理。因此，可以以高速執(zhí)行面部檢測處理。通過學習設備執(zhí)行的示例性操作參照附圖在下面描述由根據(jù)本發(fā)明第一實施例的學習設備800執(zhí)行的示例性操作。圖18是圖示根據(jù)本發(fā)明第一實施例、通過學習設備800執(zhí)行的對象檢測字典生成 處理的處理過程的流程圖。在該示例中，生成用于檢測用作對象的正面的面部檢測字典。此 夕卜，在該示例中，重復執(zhí)行對象檢測字典生成處理直到執(zhí)行對象檢測字典生成處理預定次 數(shù)。首先，多個訓練正面圖像和訓練非面部圖像輸入到訓練圖像輸入單元804(步 驟S1001)。隨后，權重更新單元807將對每個訓練圖像分配的權重(W。初始化(步驟S 1002)。也就是說，對每個訓練圖像分配相同的值的權重(W。。隨后，執(zhí)行弱學習器確定子 處理(步驟S1010)。將參照圖19在下面更詳細描述弱學習器確定子處理。隨后，權重計算單元806基于對應于確定的最佳弱學習器的權重分布信息計算權 重(步驟S1003)。隨后，記錄控制單元808將對應于確定的最佳弱學習器的兩點(兩個像素位置)的組合、閾值和權重值記錄在面部檢測字典中(步驟S1004)。權重更新單元807 然后基于確定的弱學習器，計算要對每個訓練圖像分配的權重Wit+1，并更新權重保持單元 810中保持的權重(步驟S1005)。隨后，確定是否達到預定的計數(shù)(步驟S1006)。如果還 沒有達到預定計數(shù)(步驟S 1006)，則處理返回到步驟S1010。然而，如果已經達到預定計 數(shù)(步驟S1006)，則完成對象檢測字典生成處理。圖19是圖示根據(jù)本發(fā)明第一實施例、通過學習設備800執(zhí)行的對象檢測字典生成處理的弱學習器確定子處理(圖18所示的步驟S1010中的處理)的處理過程的流程圖。首先，亮度差值計算單元802選擇每個訓練圖像中的兩個像素點的組合(對)之 一(步驟S1011)，并且選擇要對其執(zhí)行權重相加的一個訓練圖像(步驟S1012)。隨后，亮 度差值計算單元802提取選擇的訓練圖像中的兩點的亮度值(步驟S1013)，并且計算兩個 提取的點之間的亮度差值(步驟S1014)。隨后，權重分布信息生成單元803將下述權重與 計算的差值的類相加，所述權重與從其計算差值的訓練圖像相關聯(lián)地保持在權重保持單元 810中(步驟S1015)。在該權重相加處理中，對每種訓練圖像將權重相加，并且對每種訓練 圖像生成權重分布信息。隨后，對于輸入訓練圖像輸入單元801的訓練正面圖像和訓練非面部圖像的全部 中的點的相同對，確定是否已經執(zhí)行權重相加處理(步驟S1016)。如果沒有對訓練正面圖 像和訓練非面部圖像的全部中的點的相同對執(zhí)行權重相加處理(步驟S1016)，則處理返回 到S1012。然而，如果已經對訓練正面圖像和訓練非面部圖像的全部中的點的相同對執(zhí)行權 重相加處理(步驟S1016)，則最佳閾值確定單元804使用上述等式(6)來確定生成的權重 分布信息的最佳閾值(步驟S1017)。隨后，確定是否已經對每個訓練圖像中的兩個像素點的所有組合生成權重分布信 息(步驟S1018)。如果沒有對兩個像素點的所有組合生成權重分布信息(步驟S1018)，則 處理返回到步驟S1011。然而，如果已經對兩個像素點的所有組合生成權重分布信息(步驟 S1018)，則弱學習器確定單元805基于確定的最佳閾值確定最佳弱學習器(步驟S1019)。下面將參照附圖詳細描述將學習設備800可生成的各種字典包括在圖像拾取設 備100中的示例性處理。評估值計算字典的示例性結構圖20A和20B圖示根據(jù)本發(fā)明第一實施例、用于計算要確定的圖像的多個評估值 的示例性評估值計算字典。圖20A圖示包括圖像601到609的對象圖像組600，所述圖像 601到609表示對其計算評估值的多個對象。參照轉向不同方向并用作多個對象的人的面 部進行本發(fā)明第一實施例的描述。也就是說，圖像601到609表示轉向不同方向的人的面 部。例如，圖像605是包括正面的圖像。圖像601到604和圖像606到609包括轉向正面 以外的方向的面部。圖20B圖示用于同時計算對應于圖20A所示的圖像601到609的評估值的評估值 計算字典301。評估值計算字典301提供在評估值計算單元235對于通過圖像檢索單元233 檢索的要確定的圖像執(zhí)行評估值計算處理時使用的用于確定的信息(例如，矢量值的弱學 習器)。評估值計算字典301存儲在評估值計算字典存儲單元300中。例如，通過學習設 備800生成評估值計算字典301中記錄的各值。此外，評估值計算字典301中記錄的各值 用作包括僅與確定標準相關的數(shù)據(jù)的確定信息。即，評估值計算字典301不包括圖像。因此，可減小存儲容量。此外，可以以高速執(zhí)行確定處理。評估值計算字典301包含位置1 (ul，vl) 302、位置2 (u2，v2)303、閾值(θ ) 304和 權重(α 1到α 9) 305的T個組合。位置1 (ul，vl)302和位置2 (u2，v2) 303表示兩點的位置。這里，例如，當要確定的 圖像上的左上角定義為原點時，圖像的水平方向上的兩個位置通過“ul”和“u2”表示，并且 圖像的垂直方向上的位置通過“vl”和“v2”表示。 閾值(θ)304表示與位置l(ul，vl)302的亮度值和位置2(u2，v2)303的亮度值之 間的差值有關的閾值。權重(α 1到α 9) 305表示基于位置1 (ul，vl)302的亮度值和位置2 (u2，v2) 303 的亮度值之間的差值和閾值(θ )304的比較結果相加的權重α 1到α 9。權重α 1到α 9 分別用于計算對應于圖20Α所示的圖像601到609的評估值。在圖20Α中，圖像601到609 分別通過箭頭與對應的權重α 1到α 9鏈接。此外，權重α 1到α 9的每個包括兩個不同 值(H和L)。評估值計算字典301使用面部確定字典311到319計算評估值，所述評估值用于 縮窄要經歷面部確定處理的對象。即，評估值計算字典301單獨不用于檢測面部。因此，使 用評估值計算字典301的評估值的精度要求沒有使用面部確定字典311到319的嚴格。例 如，可使用幾千到幾萬個樣本圖像生成評估值計算字典301，并且T =大約100。盡管參照 相同值用于所有記錄(對象)的閾值的情況描述了本發(fā)明第一實施例，但是可使用根據(jù)每 個對象(類)更新的閾值。此外，例如，當生成用于同時計算關于多個對象的評估值的評估 值計算字典時，用于對象的樣本圖像的數(shù)量可能顯著地不同。在此情況下，在評估值計算處 理期間，可根據(jù)樣本圖像的數(shù)量執(zhí)行規(guī)范化或調整操作。下面將參照圖23Α和23Β更詳細 描述使用這些值的評估值的計算。面部確定字典的示例性結構圖21Α和21Β圖示根據(jù)本發(fā)明第一實施例、用于確定面部是否包含在要確定的圖 像中的面部確定字典的示例。圖21Α圖示通過計算對應于圖20Α和21Β中所示的圖像601 至IJ 609的評估值執(zhí)行的面部確定處理中使用的面部確定字典311到319。面部確定字典311 到319用作在面部確定單元237對通過圖像檢索單元233檢索的要確定的圖像執(zhí)行面部確 定處理時使用的確定信息(例如，矢量值的弱學習器)。面部確定字典311到319存儲在 面部確定字典存儲單元310中。面部確定字典311到319中記錄的各值例如通過學習設備 800生成。注意，面部確定字典311到319提供僅包括與確定標準相關的數(shù)據(jù)的確定信息。 艮口，面部確定字典311到319不包括圖像。因此，可減小存儲容量。此外，可以以高速執(zhí)行 確定處理。這里，盡管面部確定字典311到319中的項目的值是不同的，但是項目的格式相 同。因此，在圖21Α中，僅圖示面部確定字典311到319中存儲的信息，并且未示出其他信 息。此夕卜，圖21Β中示出的圖像601到609與分別圖20Α中示出的圖像601到609相同，并 且用作要確定的多個對象。此外，在圖21Α和21Β中，圖21Β中示出的圖像601到609分別 與對應的面部確定字典311到319使用箭頭鏈接。面部確定字典311包含位置1 (ul，vl) 321、位置2 (u2，v2)322、閾值(θ ) 323和權 重(α)324的Z個組合。位置l(ul，vl)321和位置2(u2，v2) 322表示要確定的圖像中的兩點的位置。
閾值(θ )323表示位置l(ul，vl)321的亮度值和位置2 (u2，v2) 322的亮度值之間 的差值的閾值。權重(α)324指示基于位置l(ul，vl)321的亮度和位置2 (u2，v2) 322的亮度之間 的差值和閾值(θ )323的比較結果相加的權重α。此外，權重(α )324包括兩個不同值(H 和L)。如上所述，與使用評估值計算字典301的精度要求相比，面部確定字典311到319 的評估值的精度要求是嚴格的。例如，可使用幾萬個樣本圖像生成面部確定字典311到 319，并且Z = 2000到3000。在此情況下，例如，在生成用于計算關于多個對象的評估值的 面部確定字典時，用于對象的樣本圖像的數(shù)量可能顯著不同。在此情況下，在評估值計算處 理期間，可根據(jù)樣本圖像的數(shù)量執(zhí)行規(guī)范化或調整操作。下面將參照圖24Α到24D更詳細 描述使用這些值的評估值的計算。 圖像中包含的面部的檢測示例圖22Α到22D是根據(jù)本發(fā)明第一實施例、用于檢索要經歷通過面部檢測單元230 執(zhí)行的面部檢測處理的圖像的方法的示意性圖示。圖22Α圖示通過圖像獲得單元231檢索 的捕獲圖像400。圖22Β到22D圖示通過使用圖像縮小單元232縮小捕獲圖像400的大小 而得到的圖像410、420和430。注意，通過圖像檢索單元233執(zhí)行要確定的圖像的檢索。如圖22Α所示，捕獲圖像400包括用作對象的、轉向不同方向的三個人的圖像。如 圖22Β到22D所示，當從捕獲圖像400檢索要確定的圖像時，通過順序縮小捕獲圖像400的 圖像縮小單元232生成圖像410、420和430。例如，檢索窗401位于捕獲圖像400的左上角， 并且檢索檢索窗401中包含的圖像。隨后，檢索窗401向右側(在通過箭頭411和412指 示的方向)偏移一像素，并且檢索檢索窗中包含的圖像。類似地，檢索窗401順序向右側偏 移一像素，并且順序檢索檢索窗401中包含的圖像。當檢索窗401偏移到圖像410的右端、 并且檢索檢索窗401中包含的圖像時，檢索窗401向下偏移一像素，并移動到圖像410的左 端。緊接在檢索窗401移動到圖像410的左端之后，檢索檢索窗401中包含的圖像。此后， 檢索窗401順序向右側偏移一像素，并且順序檢索檢索窗401中包含的圖像。此后，以類似 方式順序檢索檢索窗401中包含的圖像。當檢索窗401偏移到表示圖像410的右下端的位 置413、并且檢索檢索窗401中包含的圖像時，完成從圖像410檢索要確定的圖像的處理。圖22C和22D分別圖示圖像420和430，其中將檢索窗401放置在初始位置，并且將 檢索窗401的最終位置指示為位置421和431。注意，檢索窗401以類似于圖22Β所示的運 動的方式從第一位置移動到最終位置。此外，檢索窗401的大小是恒定的，而不論要檢索的 圖像的大小。執(zhí)行圖像檢索處理，直到經歷通過圖像縮小單元232執(zhí)行的縮小處理的圖像 的大小小于檢索窗401的大小。注意，要經歷縮小處理的原始圖像的大小例如是320X240 像素的圖像。此外，例如圖像縮小單元232可以將圖像的大小縮小到之前圖像的0.83倍的 大小。接下來將參照附圖描述使用評估值計算字典對要確定的圖像執(zhí)行的示例性評估 值計算處理。圖23Α和23Β圖示根據(jù)本發(fā)明第一實施例、通過圖像檢索單元233檢索的要確定 的圖像、和通過評估值計算單元235對要確定的圖像計算的評估值的示例。圖23Α圖示要 確定的圖像的示例440。在圖23Α中，要確定的圖像440的左上角定義為原點。水平軸定義為“U軸”，并且垂直軸定義為“V軸”。然后，對要確定的圖像440執(zhí)行評估值計算處理。例如，設位置441表示對應于圖20B所示的評估值計算字典301的第一行中包含 的位置l(ul，vl) 302的要確定的圖像440的位置。設位置442表示對應于第一行中包含 的位置2(u2，v2)303的要確定的圖像440的位置。此外，設位置443表示對應于評估值計 算字典301的第二行中包含的位置1 (ul，vl)302的要確定的圖像440的位置。設位置444 表示對應于第二行中包含的位置2 (u2，v2)303的要確定的圖像440的位置。此外，設位置 445表示對應于在評估值計算字典301的第三行中包含的位置l(ul，vl)302的要確定的圖 像440的位置。設位置446表示對應于第三行中包含的位置2 (u2,v2) 303的值的要確定的 圖像440的位置。首先，在表示評估值的分數(shù)Sl到S9的每個中設置值“0”，并且使用評估值計算字 典301的第一行中存儲的值執(zhí)行計算。更具體地，提取在評估值計算字典301的第一行中 的、對應于存儲在位置l(ul，vl) 302的值的位置441處的亮度值A(I)、以及對應于存儲在 位置2(u2，v2)303的值的位置442處的亮度值B(I)。此后，如下計算提取的亮度值之間的 差值C(I)C(I) = A(I)-B(I)隨后，比較存儲在評估值計算字典301的第一行中的閾值(θ )304的閾值θ (1) 和計算的亮度值的差值c(i)。因此，確定計算的差值c(i)是否小于閾值Θ (i)0如果計 算的差值C(I)小于閾值Θ (1)，則存儲在評估值計算字典301的第一行中的權重(α 到 α 9)305中的值L分別與分數(shù)Sl到S9順序相加。更具體地，權重α 1 (L)的值與分數(shù)Sl相 力口。權重α 2 (L)的值與分數(shù)S2相加。權重α 3 (L)的值與分數(shù)S3相加。權重α 4 (L)的值 與分數(shù)S4相加。權重α 5 (L)的值與分數(shù)S5相加。權重α 6 (L)的值與分數(shù)S6相加。權 重a7(L)的值與分數(shù)S7相加。權重CiS(L)的值與分數(shù)S8相加。權重α 9 (L)的值與分 數(shù)S9相加。然而，如果計算的差值C(I)大于或等于閾值θ (1)，則存儲在評估值計算字典301 的第一行中的權重(α 1到α 9)305中的值H分別與對應的分數(shù)Sl到S9順序相加。更具體 地，權重α I(H)的值與分數(shù)Sl相加。權重α2(Η)的值與分數(shù)S2相加。權重α 3 (H)的值 與分數(shù)S3相加。權重α 4(H)的值與分數(shù)S4相加。權重α 5 (H)的值與分數(shù)S5相加。權 重α 6(H)的值與分數(shù)S6相加。權重α 7 (H)的值與分數(shù)S7相加。權重α 8 (H)的值與分 數(shù)S8相加。權重α 9 (H)的值與分數(shù)S9相加。隨后，通過使用存儲在評估值計算字典301的第二行中的值重復上述計算。更具 體地，提取存儲在評估值計算字典301的第二行中的、在對應于位置l(ul，vl) 302的值的位 置443處的亮度值A (2)、以及對應于位置2 (u2, v2) 303的值的位置444處的亮度值B (2)。 隨后如下計算提取的亮度值之間的差值C(2)。C (2) = A (2)-B (2)隨后，比較存儲在評估值計算字典301的第二行中的閾值(θ )304的閾值θ (2) 和計算的亮度差值C (2)。因此，確定計算的差值C (2)是否小于閾值θ (2)。如果計算的差 值C (2)小于閾值θ (2)，則存儲在評估值計算字典301的第二行中的權重(α 1到α 9) 305 中的值L分別與分數(shù)Sl到S9相加。然而，如果計算的差值C(2)大于或等于閾值θ (2)， 則存儲在評估值計算字典301的第二行中的權重(α 到α 9)305中的值H分別與分數(shù)Sl到S9順序相加。隨后，通過順序使用評估值計算字典301的第三行到第T行中存儲的值，
重復上述計算。也就是說，當評估值計算單元235使用評估值計算字典301執(zhí)行用于要確定的圖 像440的評估值計算處理時，評估值計算單元235使用評估值計算字典301的第一行到第 T行中存儲的值，如下計算C(i)
C(i) = A(i)-B(i). . . (29)此后，評估值計算單元235確定計算的C(i)是否滿足下面的條件表達式C(i) < θ (i). . . (30)其中，變量i是范圍從1到T的整數(shù)。如果計算的C(i)滿足條件表達式(30)，則評估值計算單元235將α lL(i)到 a9L(i)的值分別與分數(shù)Sl到S9相加。然而，如果計算的C(i)不滿足條件表達式(30)，則 評估值計算單元235將a IH⑴到a9H⑴的值分別與分數(shù)Sl到S9相加。這里，A⑴表 示對應于第1行中存儲的位置l(ul，vl) 302的亮度值，并且B(i)表示對應于第1行中存儲 的位置2(u2，v2)303的亮度值。θ (i)表示第i行中的閾值(θ)304中存儲的值。a lH(i) 至IJ a9H(i)表示第i行中的權重(a 1至IJ a 9) 305的H中存儲的值。a lL(i)到a9L(i)表 示第i行中的權重(a 1到a 9) 305的L中存儲的值。在完成使用評估值計算字典301的第一行到第T行中存儲的值的計算之后獲得的
分數(shù)(評估值)Sl到S9可如下表達 T 當C(i)彡θ (i)時，h(Xi，Cj)表示使用等式(25)計算的a jH(i)，當C(i) < θ⑴ 時，h(Xi，Cj)表示使用等式(26)計算的a jL(i)，并且j = 1到9。圖23B圖示表示對其計算評估值的面部的圖像601到609、以及通過評估值計算 單元235對要確定的圖像440計算的分數(shù)Sl到S9之間的關系。如圖23B所示，當完成使 用評估值計算字典301的第T行中存儲的值的計算時，可獲得九個評估值Sl到S9。圖23B 使用條形曲線圖示意性圖示評估值Sl到S9的級別。以此方式，通過評估值計算單元235計算的評估值Sl到S9輸出到選擇單元236。 選擇單元236然后提取大于或等于閾值447的評估值。例如，從圖23B所示的評估值Sl到 S9中分別提取對應于圖像601和602以及圖像606和608的評估值Sl和S2以及評估值 S6和S8。隨后，選擇單元236從提取的評估值中從頂部起選擇三個高的評估值，并將關于 對應于選擇的評估值的對象的信息(選擇的對象信息)輸出到面部確定單元237。例如， 從提取的評估值Sl和S2以及評估值S6到S8中，選擇頂部的三個評估值S1、S7和S8。圖 23B在條形曲線圖中使用具有斜線的條圖示選擇的評估值Si、S7和S8。隨后，對應于選擇 的評估值Si、S7和S8的選擇的對象信息輸出到面部確定單元237。如果在評估值Sl到S9中不存在大于或等于閾值447的評估值，則選擇單元236 輸出指示該信息的消息到面部確定單元237。然而，如果在評估值Sl到S9中存在1個或2 個大于或等于閾值447的評估值，則選擇單元236將1個或2個評估值輸出到面部確定單 元237。在此情況下，例如，值“0”可用作閾值447。替代地，為了獲得相對低的可靠度，可使用“O”以外的值。接下來，將參照附圖詳細描述使用面部確定字典對要確定的圖像執(zhí)行的面部確定 處理的示例。圖24A到24D圖示根據(jù)本發(fā)明第一實施例、通過圖像檢索單元233檢索的要確定 的圖像和通過面部確定單元237對要確定的圖像計算的評估值的示例。圖24A圖示用作要 確定的圖像的示例的要確定的圖像440。注意，要確定的圖像440與圖23A所示的要確定的 圖像440相同。此外，與圖23A所示的示例類似，在該示例中，對要確定的圖像440設置二 維網(wǎng)格，并執(zhí)行面部確定處理。首先，面部確定單元237從面部確定字典存儲單元310獲得用于確定對應于通過 選擇單元236選擇的評估值的對象的面部確定字典，并將面部確定字典存儲在面部確定字 典存儲器239中。例如，如圖23B所示，當通過選擇單元236選擇評估值S1、S7和S8時，分 別獲得對應于評估值S1、S7和S8的面部確定字典311、317和318，并將其存儲在面部確定 字典存儲器239中。隨后，面部確定單元237使用面部確定字典存儲器239中存儲的面部 確定字典，順序計算與面部確定字典相關的評估值。注意，通過面部確定單元237執(zhí)行的使 用面部確定字典的評估值的計算與通過評估值計算單元235使用評估值計算字典執(zhí)行的 評估值的計算類似，除了權重(α)的數(shù)量不同。例如，A(i)表示對應于面部確定字典311的第i行中存儲的位置l(ul，vl)321 的亮度值，并且B(i)表示對應于第i行中存儲的位置2 (u2，v2)321的亮度值。C(i)表示 亮度值A(i)和亮度值B(i)之間的差值。θ (i)表示面部確定字典311的第i行中的閾值 (θ)323中存儲的值。α H(i)表示第i行中的權重(α )324的H中存儲的值。aL(i)表示 第i行中的權重(a)324的L中存儲的值。例如，當使用面部確定字典311對于要確定的圖像440執(zhí)行評估值計算處理時，值 “0”設為表示評估值的分數(shù)S。面部確定單元237然后通過順序使用面部確定字典311的 第1行到第Z行中存儲的值，如下計算C(i)C(i) = A(i)-B(i). . . 32隨后，面部確定單元237確定計算的C(i)是否滿足下面的條件表達式C(i) < θ (i). . . 33其中，變量i是范圍從1到Z的整數(shù)。如果計算的C (i)滿足條件表達式(33)，則面部確定單元237將a L(i)的值與分 數(shù)S相加。另一方面，如果計算的C(i)不滿足條件表達式(33)，則面部確定單元237將 aH(i)的值與分數(shù)S相加在完成使用面部確定字典311的第1行到第Z行中存儲的值的計算之后獲得的分
數(shù)(評估值)S如下表示。 T 其中，當C(i)彡Qi時，h(xi)表示用等式(7)計算的ciH(i)，并且當C(i) < θ 時，h(xi)表示用等式(8)計算的a L(i)0以類似方式，可對于其他面部確定字典312到319計算分數(shù)(評估值)S。注意，在圖24A到24D以及圖25A到25C中，使用面部確定字典311到319計算的評估值通過評估 值SSl到SS9表示。圖24B圖示表示對其計算評估值的面部的圖像601、607和608、以及通過面部確定 單元237對要確定的圖像440計算的評估值SSl、SS7和SS8之間的關系。如圖24B所示， 當使用面部確定字典311的第Z行中存儲的值的計算完成時，可獲得評估值SS1。類似地， 當使用面部確定字典317的第Z行中存儲的值的計算完成時，可獲得評估值SS7。當使用面 部確定字典318的第Z行中存儲的值的計算完成時，可獲得評估值SS8。圖24B使用條形曲 線圖示意性圖示評估值SSl、SS7和SS8的級別。 以此方式，面部確定單元237基于計算的評估值SS1、SS7和SS8，確定面部是否包 含在要確定的圖像440中。也就是說，面部確定單元237從計算的評估值中選擇大于或等于 閾值并是最高的評估值，并確定對應于選擇的評估值的面部包含在要確定的圖像440中。 例如，在圖24B所示的評估值SSl、SS7和SS8中，評估值SS7和SS8大于或等于閾值448。 因此，從評估值SS7和SS8中選擇具有最高值的評估值SS7。因此，確定對應于評估值SS7 的圖像607中包含的面部包含在要確定的圖像440中。該確定結果輸出到確定結果輸出單 元 238。如果計算的評估值中不存在大于或等于閾值448的評估值，則面部確定單元237 確定目標面部不包含在要確定的圖像440中，并且將指示該信息的消息輸出到確定結果輸 出單元238。在此情況下，例如，值“0”可用作閾值448。替代地，為了獲得相對高的可靠度， 可使用0以外的值。如上所述，通過將要確定的圖像的分辨率改變?yōu)橄嗤直媛什⑶沂褂脙牲c的亮度 值作為用于計算評估值的特征，能夠可切換地使用多個面部確定字典。因此，可用相同的算 法生成多個評估值。圖25A到25C是根據(jù)本發(fā)明第一實施例、用面部檢測單元230執(zhí)行的面部檢測的 處理流程的示意性圖示。圖25A圖示通過圖像檢索單元233檢索的要確定的圖像440。該 要確定的圖像440與圖23A和24A中示出的要確定的圖像440相同。圖25B圖示表示要確定的面部的圖像601到609、和通過評估值計算單元235對要 確定的圖像440計算的評估值S 1到S9之間的關系。注意，圖25B所示的關系與圖23B所 示的關系相同。在圖25B中，對應于通過選擇單元236選擇的評估值的區(qū)域用粗框圍繞。圖25C圖示表示要確定的面部的圖像601到609和通過面部確定單元237對要確 定的圖像440計算的評估值SSI、SS7和SS8之間的關系。在圖25C中，通過面部確定單元 237對其計算評估值的區(qū)域用粗框圍繞。圖25B所示的評估值Sl到S9用于縮窄對其計算圖25C所示的評估值SSl到SS9 的對象。因此，例如，可相對降低評估值Sl到S9的可靠度。結果，可降低用于獲得評估值 的計算量，因此，可以以高速執(zhí)行評估值計算處理。注意，如圖25B所示，因為評估值Sl到 S9的可靠度相對降低，所以可增加對應于圖像601的評估值Si，該圖像601與要確定的圖 像440中包含的面部不類似。然而，即使在此情況下，因為增加使用面部確定字典311到 319計算的評估值的可靠度，所以如圖25C所示，最終可確定與要確定的圖像440中包括的 面部具有高相似度的圖像607。通過以此方式縮窄使用具有相對低可靠度的第一級評估值 確定的對象，可減小要經歷具有高可靠度的第二級評估值計算處理的對象的數(shù)量。因此，可以以高速執(zhí)行面部檢測處理。此外，例如即使當在第一級中錯誤地計算1個或2個評估值 時，也可基于具有高可靠度的第二級評估值執(zhí)行正確確定。結果可執(zhí)行高精度對象檢測。 下面討論用于檢測轉向不同方向的面部的以下的檢測方法。該方法采用樹形結構 和生成以便對應于面部朝向的多個鑒別器。通過使用鑒別器、并根據(jù)通過樹指示的分支順 序確定面部的朝向來檢測面部。在該方法中，因為通過順序確定樹的朝向來檢測面部，所以 例如可以增加在得到最終判定之前的平均弱學習器的數(shù)量。因此，可能降低效率。此外，如 果在到達葉節(jié)點之前進行錯誤判定并因此采用了錯誤的節(jié)點分支，則返回是困難的。因此 不能執(zhí)行適當?shù)拿娌繖z測。然而，根據(jù)本發(fā)明的第一實施例，因為不使用節(jié)點分支邏輯，所以可以降低在得到 最終判定之前的平均弱學習器的數(shù)量，并因此可以提高效率。此外，關于在第一級計算的評 估值，無論面部的朝向，從所有對象選擇用于面部檢測的候選。因此，例如，即使對其難以 找到對應的對象的面部也幾乎可以確定地檢測。此外，因為不采用樹形結構在面部檢測處 理的第一級中同時執(zhí)行評估，所以可以容易地實現(xiàn)第一實施例。因此，可消除錯誤分支的影 響。此外，因為可使用相同特征同時計算與多個對象有關的評估值，所以可以增加評估值計 算處理的效率。此外，當生成允許同時計算關于在第一級使用的多個對象的評估值的字典 時，可同時生成關于對象的字典。因此，可加速學習的收斂。此外，當計算評估值時，根據(jù)亮度差值是否小于閾值，改變與分數(shù)相乘的權重并執(zhí) 行計算。以此方式，即使在要確定的圖像中的物理量的分布復雜時，也可以使用該分布有效 地進行確定。圖26圖示根據(jù)本發(fā)明第一實施例、經歷通過面部檢測單元230執(zhí)行的面部檢測處 理的捕獲圖像400和通過面部檢測單元230執(zhí)行的面部檢測處理的檢測結果。捕獲圖像 400與圖22A中所示的捕獲圖像400相同。捕獲圖像400包括三個人。此外，當在捕獲圖 像400中檢測到三個人的面部時，檢測結果用框461到463示意性示出。框461到463指 示通過面部檢測單元230執(zhí)行的面部檢測處理的檢測結果，并且框461到463的每個指示 位置和大小。例如，相機參數(shù)控制單元220可基于檢測結果對檢測的面部設置最佳的參數(shù)。 此外，例如，當捕獲圖像400顯示在顯示單元170上時，框461到463與捕獲圖像400重疊。 例如，如圖26所示，即使傾斜的面部或躺下的人的面部也可適當?shù)貦z測。圖像拾取設備的示例性操作接下來，將參照附圖描述根據(jù)本發(fā)明第一實施例的圖像拾取設備100的示例性操作。圖27是圖示根據(jù)本發(fā)明第一實施例、通過圖像拾取設備100執(zhí)行的捕獲圖像記錄 處理的處理流程的流程圖。在該示例中，當圖像拾取設備100處于捕獲圖像記錄就緒狀態(tài) 下時，圖像拾取設備100生成捕獲圖像并對捕獲圖像執(zhí)行面部檢測處理。首先，確定圖像拾取設備100是否處于捕獲圖像記錄就緒狀態(tài)(步驟S901)。如果 圖像拾取設備100處于捕獲圖像記錄就緒狀態(tài)(步驟S901)，則圖像拾取單元112生成捕獲 圖像(步驟S902)。此后，面部檢測單元230對于生成的捕獲圖像執(zhí)行面部檢測處理(步驟 S920)。下面將參照圖28更詳細描述面部檢測處理。注意，面部檢測處理可對每幀執(zhí)行，或 可以對以預定間隔獲得的每幀執(zhí)行。然而，如果圖像拾取設備100不處于捕獲圖像記錄就 緒狀態(tài)(步驟S901)，則完成捕獲圖像記錄處理。
隨后，相機參數(shù)控制單元220設置相機參數(shù)(步驟S903)。例如，當從面部檢測單 元230輸出面部檢測信息時，相機參數(shù)控制單元220基于捕獲圖像中的檢測的面部的位置 和大小，設置對檢測的面部最佳的相機參數(shù)。隨后，確定是否按壓快門按鈕(步驟S904)。 如果已經按壓快門按鈕，則將生成的捕獲圖像記錄在記錄單元150中(步驟S905)。然而， 如果還沒有按壓快門按鈕(步驟S904)，則完成捕獲圖像記錄處理。圖28是圖示根據(jù)本發(fā)明第一實施例、通過圖像拾取設備100執(zhí)行的捕獲圖像記錄 處理的面部檢測處理的處理流程(圖27所示的步驟S920中執(zhí)行的處理)的流程圖。
首先，獲得存儲器單元130中存儲的當前捕獲圖像(步驟S921)。隨后，將檢索窗 放置在獲得的捕獲圖像的左上角(步驟S922)，并檢索檢索窗內的圖像(步驟S923)。隨后， 對從檢索窗檢索的圖像(要確定的圖像)執(zhí)行確定處理(步驟S940)。下面將參照圖29更 詳細描述確定處理。隨后，確定要確定的圖像是否小于檢索窗(步驟S924)。如果要確定的圖像不小于 檢索窗(步驟S924)，則確定檢索窗是否位于要確定的圖像的右端(步驟S925)。如果檢索 窗不位于要確定的圖像的右端(步驟S925)，則將檢索窗在要確定的圖像中向右側偏移一 像素(步驟S926)。此后，處理返回到步驟S923。然而，如果檢索窗位于要確定的圖像的右 端(步驟S925)，則確定檢索窗是否位于要確定的圖像的下端(步驟S927)。如果檢索窗不 位于要確定的圖像的下端(步驟S927)，則檢索窗在要確定的圖像中向下偏移一像素，并移 動到要確定的圖像的左端(步驟S928)。然而，如果檢索窗位于要確定的圖像的下端(步 驟S927)，則要確定的圖像按預定因子縮小(步驟S929)，并且檢索窗放置在縮小的圖像的 左上角(步驟S922)。然而，如果要確定的圖像小于檢索窗(步驟S924)，則確定面部是否包含在要確定 的圖像中(步驟S930)。如果確定面部包含在要確定的圖像中(步驟S930)，則輸出指示檢 測到面部并用作確定結果的面部檢測信息(步驟S932)。此時，如果確定多個面部包含在要 確定的圖像中，則輸出關于多個面部的面部檢測信息。此外，對于重疊區(qū)域，如果多次確定 包含面部，則基于檢索窗的位置和大小輸出面部檢測信息，在該檢索窗中，使用在步驟S940 中執(zhí)行的確定處理中的面部確定字典計算的分數(shù)(評估值)被最大化。然而，如果確定面 部不包含在要確定的圖像中(步驟S930)，則輸出指示沒有檢測到面部的沒有檢測到面部 的信息作為檢測結果(步驟S931)。注意，在該示例中，即使確定面部包含在要確定的圖像中，也重復確定處理，直到 要確定的圖像變?yōu)樾∮跈z索窗。此后，基于該確定結果，確定是否從當前捕獲圖像檢測到面 部。然而，當曾經確定面部包含在要確定的圖像中時，可以輸出指示在當前捕獲圖像中檢測 到面部的面部檢測信息，而不對其他要確定的圖像執(zhí)行確定處理。圖29是圖示根據(jù)本發(fā)明第一實施例、通過圖像拾取設備100執(zhí)行的面部檢測處理 的確定處理的處理流程(圖28所示的步驟S940中執(zhí)行的處理)的流程圖。首先，評估值計算單元235執(zhí)行第一評估值計算子處理(步驟S950)。下面將參照 圖30更詳細描述第一評估值計算處理。注意，步驟S950是權利要求中定義的計算步驟的 示例。隨后，選擇單元236確定在通過評估值計算單元235計算的多個評估值中是否存在 大于或等于閾值的評估值(步驟S941)。如果在通過評估值計算單元235計算的多個評估 值中存在大于或等于閾值的評估值(步驟S941)，則選擇單元236從大于或等于閾值的評估值中從頂部起選擇預定數(shù)量的高的評估值(步驟S942)。例如，當通過評估值計算單元235 計算的評估值是9時，選擇最多前三個評估值。隨后，面部確定單元237從面部確定字典存儲單元310獲得關于對應于選擇的評 估值的對象的面部確定字典，并且將獲得的面部確定字典存儲在面部確定字典存儲器239 中(步驟S943)。隨后，面部確定單元237使用面部確定字典存儲器239中存儲的面部確定 字典來執(zhí)行第二評估值計算子處理(步驟S970)。下面將參照圖31更詳細描述第二評估值 計算子處理。
隨后，面部確定單元237確定一個或多個計算的評估值中是否存在大于或等于閾 值的評估值(步驟S944)。如果在一個或多個計算的評估值中存在大于或等于閾值的評估 值(步驟S944)，則面部確定單元237從大于或等于閾值的評估值中選擇最高評估值。因 此，面部確定單元237確定對應于評估值的對象包含在要確定的圖像中(步驟S945)。注 意，步驟S970、S944和S945是權利要求中定義的確定步驟的示例。注意，如果在通過評估值計算單元235計算的多個評估值中不存在大于或等于閾 值的評估值(步驟S941)，或如果通過面部確定單元237計算的評估值中不存在大于或等于 閾值的評估值(步驟S944)，則完成確定處理。圖30是圖示根據(jù)本發(fā)明第一實施例、通過圖像拾取設備100執(zhí)行的面部檢測處理 的第一評估值計算子處理(圖29中所示的步驟S950中執(zhí)行的處理)的處理流程的流程圖。首先，分數(shù)Sl到S9初始化為“0”(步驟S951)，并且變量i初始化為“1” (步驟S952)。隨后，評估值計算單元235提取對應于評估值計算字典301的 第i行中的位置l(ul，vl)和位置2(u2，v2)中包含的位置的亮度值(步驟S953)。在該 示例中，設A(i)表示對應于位置l(ul，vl)的亮度值，并且設B(i)表示對應于位置2(u2， v2)的亮度值。然后，評估值計算單元235計算兩個亮度值之間的差值(A⑴-B⑴)(步驟 S954)。隨后，評估值計算單元235確定計算的差值(A(i)-B(i))是否小于評估值計算字 典301的第i行中存儲的閾值θ (i)(步驟S955)。如果計算的差值(A(i)-B(i))小于閾值 θ (i)(步驟S955)，則評估值計算單元235將α lL(i)到a9L(i)分別與分數(shù)Sl到S9順 序相加(步驟S956)。然而，如果計算的差值(Aa)-Ba))不小于閾值θ (i)(步驟S955)， 則評估值計算單元235將a IH⑴到a 9H(i)分別與分數(shù)Sl到S9順序相加(步驟S957)。隨后，變量i遞增1 (步驟S958)，并且確定變量i是否大于T (步驟S959)。如果 變量i不大于T (步驟S959)，則處理返回到步驟S953。此后，重復評估值計算處理(步驟 S953到S958)。然而，如果變量i大于T (步驟S959)，則完成第一評估值計算子處理。圖31是圖示根據(jù)本發(fā)明第一實施例、通過圖像拾取設備100執(zhí)行的面部檢測處理 的第二評估值計算子處理(圖29中所示的步驟S970中執(zhí)行的處理)的處理流程的流程圖。首先，分數(shù)S初始化為“0”(步驟S971)，并且變量i初始化為“ 1 ”(步驟S972)。 隨后，面部確定單元237從要確定的圖像提取對應于面部確定字典存儲器239中存儲的面 部確定字典之一的第i行中存儲的位置l(ul，vl)和位置2(u2，v2)的亮度值(步驟S973)。 在此示例中，設A(i)表示對應于位置l(ul，vl)的亮度值，并且設B(i)表示對應于位置 2(u2,v2)的亮度值。隨后，面部確定單元237計算兩個亮度值之間的差值(A(i)-B(i))(步 驟 S974)。
隨后，面部確定單元237確定計算的差值(A(i)-B(i))是否小于當前面部確定字 典的第i行中存儲的閾值θ (i)(步驟S975)。如果計算的差值(A(i)-B(i))小于閾值θ (i) (步驟S975)，則面部確定單元237將ciL(i)加到分數(shù)S (步驟S976)。然而，如果計算的差 值(A(i)-B(i))不小于閾值θ (i)(步驟S975)，則面部確定單元237將ciH(i)加到分數(shù) S (步驟 S977)。隨后，變量i遞增1 (步驟S978)，并且確定變量i是否大于Z (步驟S979)。如果變 量i不大于Z (步驟S979)，則處理返回到步驟S973。此后，重復使用當前面部確定字典的 評估值計算處理(步驟S973到S978)。然而，如果變量i大于Z (步驟S979)，則面部確定 單元237將計算的評估值S與對應于當前面部確定字典的對象相關聯(lián)地存儲(步驟S980)。隨后，面部確定單元237確定在面部確定字典存儲器239中存儲的面部確定字典 中是否存在還沒有對其計算評估值的另一面部確定字典(步驟S981)。如果存在還沒有對 其計算評估值的另一面部確定字典(步驟S981)，則處理返回到步驟S971。此后，重復評估 值計算處理，直到對面部確定字典存儲器239中存儲的所有面部確定字典執(zhí)行評估值的計 算。然而，如果不存在還沒有對其計算評 估值的另一面部確定字典(步驟S981)，則完成第 二評估值計算子處理。在該示例中，使用每個面部確定字典的第1行到第Z行中存儲的值來計算分數(shù)S。 然而，例如，對于每個面部確定字典的每個記錄，停止(stopping)閾值可存儲在面部確定 字典存儲單元中。如果在步驟S976或S977中計算的分數(shù)S低于當前記錄的停止閾值，則 可以停止使用當前面部確定字典的評估值計算處理。以此方式，可進一步提高面部檢測處 理的速度。如上所述，根據(jù)本發(fā)明第一實施例，面部檢測處理包括兩級評估值計算處理。因 此，可以減少弱學習器的數(shù)量，并因此可以以高速執(zhí)行面部檢測處理。此外，可提高檢測精 度。此外，當執(zhí)行面部檢測處理時，根據(jù)值是否小于每個字典的閾值改變與分數(shù)相乘的權 重，并執(zhí)行計算。以此方式，可進一步提高檢測精度。2.第二實施例圖像拾取設備的示例性配置在本發(fā)明第一實施例中，描述了使用單個評估值計算字典同時計算關于多個對象 的評估值的示例。參照附圖描述本發(fā)明第二實施例。即，通過轉換對其計算評估值計算字 典中存儲的亮度差值的兩點，可對于可使用評估值計算字典計算其評估值的對象的最大數(shù) 量的四倍的數(shù)量的對象計算評估值。與根據(jù)本發(fā)明第一實施例的圖像拾取設備100不同， 根據(jù)本發(fā)明第二實施例的圖像拾取設備包括面部檢測單元250來替代面部檢測單元230。 因此，不重復與第一實施例的組件相同的組件的描述。下面主要描述不同組件。圖32是根據(jù)本發(fā)明第二實施例的面部檢測單元250的功能框圖。面部檢測單元 250是圖3所示的面部檢測單元230的修改。面部檢測單元250包括位置計算單元251、評 估值計算單元252和面部確定字典存儲單元253。與在描述圖3中使用的標號相同的標號 將用于描述圖32的面部檢測單元230的相同組件，并且不重復其描述。位置計算單元251轉換評估值計算字典存儲單元300中存儲的評估值計算字典 301中的位置1 (ul，vl) 302和位置2 (u2，v2) 303的值，并獲得兩個新的點。位置計算單元 251然后將兩個轉換的點、與兩個原始點相關聯(lián)的評估值計算字典301中的閾值(θ )304、以及權重(α 到α 9) 305的值輸出到評估值計算單元252。例如，位置計算單元251使用 要確定的圖像的中心點作為參照，對位置l(ul，vl) 302和位置2(u2，v2) 303的值應用仿射 變換，并計算兩個新的點。例如，在該仿射變換中，執(zhí)行90度順時針旋轉變換、90度逆時針 旋轉變換、以及180度旋轉變換。下面將參照圖33A到33D和圖34A到34D更詳細描述用 于計算位置的方法。 評估值計算單元252使用評估值計算字典存儲單元300中存儲的評估值計算字典 301中的值、通過位置計算單元251計算的兩點的位置和與該兩點對應的值來計算對于每 個對象的評估值。下面將討論其中位置計算單元251執(zhí)行90度順時針旋轉、90度逆時針旋 轉變換、以及180度旋轉的情況。在此情況下，通過評估值計算單元252計算的評估值的數(shù) 量增加到僅使用評估值計算字典301計算的評估值的數(shù)量的四倍。以此方式計算的每個對 象的評估值輸出到選擇單元236。因為計算每個對象的評估值的方法類似于本發(fā)明的第一 實施例的方法，所以不重復其描述。面部確定字典存儲單元253與對象相關聯(lián)地存儲面部確定字典，所述面部確定字 典用于確定特定對象是否包含在從圖像檢索單元233輸出的圖像中。此外，面部確定字典 存儲單元253將存儲的面部確定字典提供到面部確定字典存儲器239。面部確定字典存儲 單元253對多個對象的每個存儲面部確定字典，所述多個對象對應于通過評估值計算單元 252對其計算評估值的對象。注意，下面將參照圖33A到33D更詳細描述在面部確定字典存 儲單元253中存儲其面部確定字典的對象。圖33A到33D圖示根據(jù)本發(fā)明第二實施例、可通過使用位置計算單元251計算兩 個新的點的位置來計算其評估值的對象的示例。圖33A圖示對象圖像組500，其包括表示可 使用圖20B所示的評估值計算字典301計算其評估值的對象的面部圖像。注意，對象圖像 組500對應于圖20A所示的對象圖像組600。圖33B到33D圖示包括下述面部圖像的對象 圖像組501到503，通過轉換圖20B所示的評估值計算字典301中包含的位置1 (ul，vl)302 和位置2(u2，v2)的值可計算所述面部圖像的評估值。如本發(fā)明第一實施例所述，通過使用圖20B中示出的評估值計算字典301，可同 時計算關于轉向不同方向的九個面部的評估值。此時，例如，評估值計算字典301的位置 Kul, vl) 302和位置2 (u2，v2)中包含的兩點的位置在逆時針方向上關于要確定的圖像的 中心旋轉90度。此后，使用旋轉后的兩點的位置和與兩點相關聯(lián)地存儲的評估值計算字典 301中包含的閾值(θ)304、以及權重(α 1到α 9) 305的值執(zhí)行上述評估計算處理。以此 方式，例如，可同時計算對應于圖33Β中所示的對象圖像組501中包括的面部圖像的對象的 評估值。類似地，例如，評估值計算字典301的位置l(ul，￥1)302和位置2(112，￥2)中包含 的兩點的位置在順時針方向關于要確定的圖像的中心旋轉90度。此后，使用旋轉后的兩點 的位置執(zhí)行上述評估計算處理。以此方式，例如，可計算對應于圖33C中所示的對象圖像組 502中包括的面部圖像的對象的評估值。類似地，例如，評估值計算字典301的位置l(ul，￥1)302和位置2(112，￥2)中包含 的兩點的位置關于要確定的圖像的中心旋轉180度。此后，使用旋轉后的兩點的位置執(zhí)行 上述評估計算處理，以此方式，例如，可計算對應于圖33D中所示的對象圖像組503中包括 的面部圖像的對象的評估值。
通過位置計算單元251執(zhí)行這些位置的轉換。此外，可使用仿射變換，其中使用二 維坐標系統(tǒng)中的3X3矩陣(仿射矩陣)轉換兩點的位置。此外，面部確定字典存儲單元 253存儲分別與對應于圖33A到33D中所示的對象圖像組500到503中包括的面部圖像的 對象有關的面部確定字典。也就是說，面部確定字典存儲單元253存儲根據(jù)本發(fā)明第一實 施例的面部確定字典存儲單元310中存儲的面部確定字典的數(shù)量的四倍。圖34A到34D是圖示通過根據(jù)本發(fā)明第二實施例的位置計算單元251計算的兩個 新的點的位置和使用兩個新的點的位置計算的評估值之間的關系示例。注意，圖34A到34D 的每個中示出的評估值Sl到S9對應于圖23B中示出的評估值Sl到S9。
圖34A圖示使用兩個原始位置計算的評估值的示例。注意，在圖34A中，示出要對 其計算評估值的要確定的圖像470、以及要確定的圖像470的兩點(兩點的位置471和472) 的組合之一。圖34B圖示通過位置計算單元251執(zhí)行90度逆時針旋轉后的兩點的位置和使用 這兩點計算的評估值的示例。例如，圖34A所示的兩點的位置471和472通過位置計算單 元251執(zhí)行的90度逆時針旋轉，轉換為兩個新點的位置473和474。通過使用以此方式轉 換的兩點的位置，用評估值計算單元252計算圖34B所示的評估值。圖34C圖示通過位置計算單元251執(zhí)行90度順時針旋轉之后的兩點的位置和使 用這兩點計算的評估值的示例。例如，圖34A所示的兩點的位置471和472通過位置計算 單元251執(zhí)行的90度順時針旋轉，轉換為兩個新點的位置475和476。通過使用以此方式 轉換的兩點的位置，用評估值計算單元252計算圖34C所示的評估值。圖34D圖示通過位置計算單元251執(zhí)行180度旋轉之后的兩點的位置和和使用這 兩點計算的評估值的示例。例如，圖34A所示的兩點的位置471和472通過位置計算單元 251執(zhí)行的180度旋轉，轉換為兩個新點的位置477和478。通過使用以此方式轉換的兩點 的位置，用評估值計算單元252計算圖34D所示的評估值。以此方式，通過轉換評估值計算字典301的位置l(ul，vl)302和位置2(u2，v2)中 包含的兩點的位置并且使用兩個轉換后的位置，可計算評估值。因此，通過使用單個評估值 計算字典，可以以高速計算更多評估值。例如，如圖34A到34D所示，通過使用允許同時計 算九個評估值的評估值計算字典301來執(zhí)行三種轉換，可計算36個評估值。因此，可減小 用于評估值計算字典的存儲容量。此外，以此方式計算的圖34A到34D中所示的評估值S 1到S9輸出到選擇單元 236。此后，如本發(fā)明第一實施例中，從九個評估值Sl到S9提取大于或等于閾值447的評 估值。隨后，選擇單元236從頂部起選擇三個高的評估值，并且將與對應于選擇的評估值的 對象有關的信息(選擇對象信息)輸出到面部確定單元237。例如，作為大于或等于閾值 447并的前三個高的評估值，選擇對應于圖34B所示的圖像611和614以及圖34D所示的對 象631的評估值。在圖34A到34D的條形曲線圖中，用具有斜線的條示出選擇的評估值。圖35A到35E是由根據(jù)本發(fā)明第二實施例的面部檢測單元250執(zhí)行的面部檢測處 理的處理流程的示意性圖示。圖35A圖示通過圖像檢索單元233檢索的要確定的圖像480。 圖35B圖示包括表示要經歷評估值計算處理的面部的圖像的對象圖像組500到503。注意， 如圖34A到34D中，通過評估值計算單元252計算對象圖像組500到503中包括的、對應于 圖像601到609、圖像611到619、圖像621到629、和圖像631到639的評估值。例如，如圖34A到34D中，計算評估值，并且選擇對應于圖35B中所示的圖像611、614和631的評估值。圖35C圖示圖像611、614和631和通過面部確定單元237對要確定的圖像480計 算的評估值SS 10到SS12之間的關系，所述圖像611、614和631表示對應于通過選擇單 元236選擇的評估值的面部。注意，通過面部確定單元237執(zhí)行的面部檢測處理類似于本 發(fā)明第一實施例中圖示的處理。因此，不重復其描述。例如，在分別對應于圖35B所示的圖 像611、614和631的評估值SS10、SS11和SS12中，大于或等于閾值448的最高值是評估值 SSlO0因此，確定對應于評估值SS 10的圖像611中包含的面部包含在要確定的圖像480 中。圖36圖示可通過根據(jù)本發(fā)明第二實施例的面部檢測單元250檢測的面部和檢測 結果的示例。在圖36中，示出包括正面并以預定角度間隔安排在圓圈中的面部。此外，通 過圍繞面部的框示出檢測結果。如圖36所示，根據(jù)本發(fā)明第二實施例，即使對于各個角度 傾斜的面部也可檢測。例如，可檢測以各個角度傾斜的面部，如躺在地上的人的面部、倒立 的人的面部、以及圖像拾取設備100傾斜時捕獲的圖像的面部。此外，盡管圖36僅圖示其 中在滾動方向上從正面傾斜的面部，但是可以以類似方式檢測在搖動或偏轉方向上傾斜的 面部。如上所述，根據(jù)本發(fā)明第二實施例，通過簡單地轉換相同字典中的兩點的位置，可 以高速計算關于字典中包含的對象的數(shù)量的若干倍的對象的評估值。因此，可顯著有效地 計算評估值，并且因此可提供對象檢測精度。 例如，如果假設在幾乎不出現(xiàn)由圖像拾取設備100在捕獲翻轉的被攝體的圖像的 情況，則位置計算單元251可不執(zhí)行180度旋轉。此外，面部確定字典存儲單元253可僅存 儲對應于可使用評估值計算字典301計算其評估值的對象的面部確定字典。此后，與上述 評估值計算處理類似，面部確定單元237可使用面部確定字典中的值或轉換的兩點的位置 的值來計算評估值。圖像拾取設備的示例性操作圖37是圖示通過根據(jù)本發(fā)明第二實施例的圖像拾取設備100執(zhí)行的面部檢測處 理的處理流程的流程圖。該示例是根據(jù)本發(fā)明第一實施例的面部檢測處理(圖29中示出 的步驟S940中的處理)的修改。因此，與在描述圖29中使用的標號相同的標號將用于描 述圖37中的相同處理，并且不重復其描述。首先，評估值計算單元252執(zhí)行第一評估值計算子處理(步驟S950)。隨后，確定 是否存在對其還沒有計算評估值的角度(步驟S991)。例如，當對90度順時針旋轉、90度 逆時針旋轉和180度旋轉計算評估值時，確定是否已經對這些角度計算評估值。如果存在 對其還沒有計算評估值的角度(步驟S991)，則位置計算單元251轉換評估值計算字典301 的位置l(ul，vl) 302和位置2 (u2，v2) 303中包含的兩點的位置。然后，位置計算單元251 計算兩個新點的位置(步驟S992)。此后，轉換后的兩點的位置、以及評估值計算字典301 的閾值(θ)304和權重(α 到α 9)305中包含的值輸出到評估值計算單元252。以此方 式，執(zhí)行第一評估值計算子處理(步驟S950)。雖然已經參照使用要確定的圖像的兩點之間的亮度差值進行對象的檢測來描述 了本發(fā)明實施例，但是本發(fā)明實施例可應用到使用要確定的圖像的兩個區(qū)域中的其他物理量的差值來檢測對象的方法。例如，本發(fā)明實施例可應用到這樣的對象檢測方法，其中使用 要確定的圖像內的兩個區(qū)域的矩形特征計算評估值并檢測對象。替代地，本發(fā)明實施例可 應用到這樣的對象檢測方法，其中使用要確定的圖像內的兩個區(qū)域之間的亮度直方圖的預 定類的差值計算評估值并且檢測對象。在此情況下，例如，可使用作為一種亮度直方圖的面 向梯度的直方圖(histograms of oriented gradients, HOG)。面向梯度的直方圖通過將 目標圖像劃分為多個區(qū)域、并對每個區(qū)域計算亮度梯度方向和亮度梯度強度而生成。此外，盡管已經參照轉向不同方向的面部描述了本發(fā)明實施例，但是本發(fā)明實施 例可應用到面部以外的對象。例如，本發(fā)明實施例可應用到用作對象的一個或多個動物或 寵物(哺乳動物、爬行動物或魚)、汽車或飛機。在此情況下，各種相同對象(例 如，轉向不 同方向的狗)、或多個對象的混合物(例如，狗和貓)可以用作對象。此外，本發(fā)明實施例可應用到數(shù)字攝像機(例如，裝配了相機的記錄器)或具有圖 像捕獲功能的蜂窩電話的各種圖像拾取設備。此外，本發(fā)明實施例可應用到對象檢測設備， 如連接到安全相機并檢測人的面部的面部檢測設備。上述實施例僅是用于實現(xiàn)本發(fā)明的示例。如上所述，實施例的元件或關鍵特征與 所要求保護的主題的元件或關鍵特征具有對應關系。然而，不應解釋為將本發(fā)明的技術范 圍限制與此。本領域技術人員將認識到，可對上述實施例進行改變或修改而不背離本發(fā)明 的寬泛的發(fā)明構思。此外，本發(fā)明實施例中描述的處理過程可認為是包括處理過程的方法。此外，該處 理過程可認為是用于允許計算機執(zhí)行處理過程的程序或存儲程序的記錄介質。記錄介質的 示例包括致密盤(CD)、迷你盤(MD)、數(shù)字多功能盤(DVD)、存儲卡、藍光盤(注冊商標)。本申請包含涉及于2009年1月9日向日本專利局提交的日本優(yōu)先權專利申請JP 2009-003869中公開的主題，在此通過引用并入其全部內容。本領域技術人員應當理解，依賴于設計需求和其他因素可以出現(xiàn)各種修改、組合、 子組合和更改，只要它們在權利要求或其等效物的范圍內。
權利要求
一種對象檢測設備，包括評估信息存儲單元，配置為存儲用于計算多個對象的每個的評估值的評估信息，所述評估值用于評估所述對象的哪一個包含在圖像中；確定信息存儲單元，配置為與每個對象相關聯(lián)地存儲用于確定對象是否包含在圖像中的確定信息；計算單元，配置為通過使用所述評估信息從圖像的多個區(qū)域提取特征、并比較兩個提取的特征，計算對于每個對象的評估值；以及確定單元，配置為使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在圖像中，所述對象與對多個對象計算的評估值當中滿足預定條件的評估值有關。
2.如權利要求1所述的對象檢測設備，其中所述確定信息是用于計算下述評估值的信 息，當從圖像的多個區(qū)域提取特征、并通過比較提取的特征中的兩個特征來確定所述對象 是否包含在所述圖像中時，使用所述評估值，并且其中所述評估信息是用于使用下述條件 計算對象的評估值的信息，所述條件比用于使用確定信息計算對象的評估值的條件較不嚴 格。
3.如權利要求1所述的對象檢測設備，還包括選擇單元，配置為從對所述對象計算的評估值中從頂部起選擇預定數(shù)量的具有高的值 的評估值；其中所述確定單元使用與關于選擇的評估值的對象相關聯(lián)的確定信息進行確定。
4.如權利要求3所述的對象檢測設備，其中所述選擇單元從預定數(shù)量的評估值中選擇 高于預定值的評估值作為滿足預定條件的評估值。
5.如權利要求1所述的對象檢測設備，其中所述評估信息包括圖像中的兩個位置、閾 值和分配給每個對象的權重值的組合，并且其中所述計算單元從通過所述兩個位置標識的 圖像的兩個區(qū)域提取特征，比較提取的特征和閾值，使用對每個對象的比較結果計算權重 值，并計算對于每個對象的評估值。
6.如權利要求5所述的對象檢測設備，還包括位置計算單元，配置為通過將評估信息中包含的兩個位置關于圖像的中心旋轉預定角 度，計算圖像中的兩個新的位置，用于計算關于多個新對象的評估值；以及第二確定信息存儲單元，配置為與新對象相關聯(lián)地存儲在將對象旋轉預定角度后與多 個新對象的每個有關的確定信息；其中所述計算單元對通過每個新對象的兩個新計算位置標識的圖像的兩個區(qū)域執(zhí)行 權重值的計算，并且計算對每個新對象的評估值，并且其中所述確定單元使用與下述對象 相關聯(lián)的確定信息，確定該對象是否包含在圖像中，該對象與對對象計算的評估值和對新 對象計算的評估值當中的滿足預定條件的評估值有關。
7.如權利要求5所述的對象檢測設備，其中所述計算單元計算從兩個區(qū)域提取的特征 之間的差值，比較計算的差值和閾值，并且基于比較結果計算評估值。
8.如權利要求5所述的對象檢測設備，其中所述評估信息包括多個組合，并且其中所 述計算單元通過順序計算每個組合的對象的權重值，計算每個對象的評估值。
9.如權利要求1所述的對象檢測設備，其中所述確定單元使用與關于滿足預定條件的 評估值的對象相關聯(lián)的確定信息，從圖像的多個區(qū)域提取特征，比較兩個提取的特征，計算與滿足預定條件的評估值相關聯(lián)的每個對象的評估值，并且基于所述評估值確定所述對象是否包含在圖像中。
10.如權利要求9所述的對象檢測設備，其中所述確定單元確定使用確定信息計算的 對象的評估值當中的、與最高評估值有關的對象包含在圖像中。
11.如權利要求10所述的對象檢測設備，其中如果最高評估值高于預定值，則所述確 定單元確定與最高評估值有關的對象包含在圖像中。
12.如權利要求1所述的對象檢測設備，其中所述多個對象是朝向不同方向的人的面部。
13.如權利要求1所述的對象檢測設備，其中所述多個對象是包括狗和貓中的至少一 個的動物。
14.一種圖像拾取設備，包括評估信息存儲單元，配置為存儲用于計算評估值的評估信息，所述評估值用于評估多 個對象的哪一個包含在圖像中；確定信息存儲單元，配置為與每個對象相關聯(lián)地存儲用于確定對象是否包含在圖像中 的確定信息；圖像拾取單元，配置為通過捕獲被攝體的圖像生成捕獲的圖像；圖像檢索單元，配置為從捕獲的圖像檢索要確定的圖像；計算單元，配置為通過使用評估信息從要確定的圖像的多個區(qū)域提取特征、并比較兩 個提取的特征，計算對于每個對象的評估值；以及確定單元，配置為使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在要確定 的圖像中，所述對象與對該對象計算的評估值當中滿足預定條件的評估值有關。
15.一種對象檢測方法，包括下述步驟通過使用評估信息從圖像的多個區(qū)域提取特征、并比較兩個提取的特征，對于多個對 象的每個計算用于評估所述對象是否包含在圖像中的評估值；以及使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在圖像中，所述對象與對多 個對象計算的評估值當中滿足預定條件的評估值有關。
16.一種程序，包括用于使得計算機執(zhí)行以下步驟的程序代碼通過使用評估信息從圖像的多個區(qū)域提取 特征、并比較兩個提取的特征，對于多個對象的每個計算用于評估所述對象是否包含在圖 像中的評估值；并且使用與下述對象相關聯(lián)的確定信息確定該對象是否包含在圖像中，所 述對象與對多個對象計算的評估值當中滿足預定條件的評估值有關。
全文摘要
本發(fā)明涉及對象檢測設備、圖像拾取設備、對象檢測方法和程序。對象檢測設備包括評估信息存儲單元，存儲用于計算多個對象的每個的評估值的評估信息，其中所述評估值用于評估所述對象的哪一個包含在圖像中；確定信息存儲單元，與每個對象相關聯(lián)地存儲用于確定對象是否包含在圖像中的確定信息；計算單元，通過使用評估信息從圖像的多個區(qū)域提取特征、并比較兩個提取的特征，計算對于每個對象的評估值；以及確定單元，使用與下述對象相關聯(lián)的確定信息，確定該對象是否包含在圖像中，所述對象與對該對象計算的評估值當中滿足預定條件的評估值有關。
文檔編號G06K9/00GK101840504SQ201010003220
公開日2010年9月22日 申請日期2010年1月11日 優(yōu)先權日2009年1月9日
發(fā)明者小川要 申請人:索尼公司