專利名稱：圖像處理裝置及圖像處理方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理裝置及圖像處理方法。
背景技術(shù)：
近年來，提出了一種通過圖像處理從圖像中檢測目標圖案的實用方法。特別地，如 果目標圖案是人的面部，則可以考慮多種應(yīng)用。關(guān)于檢測方法的研究和開發(fā)盛行。此外，正 在對用于不僅檢測面部，還識別預(yù)先登記的一組人中的哪一個與檢測到的面部匹配的面部 識別方法，進行越來越多的研究和開發(fā)。通常使用匹配方法作為檢測/識別方法。在匹配方法中，通過諸如正規(guī)化相關(guān)的 識別處理來計算預(yù)先準備的模板(登記圖像)與處理圖像之間的相似度。如果在諸如監(jiān)視系統(tǒng)的真實環(huán)境中應(yīng)用使用例如匹配方法的面部檢測/識別技 術(shù)，則根據(jù)天氣變化或者一天中的時間，圖像的對比度可能發(fā)生變化，或者在圖像中可能產(chǎn) 生部分陰影。在真實環(huán)境中，照明條件的變化可能改變圖像外觀(圖案)，并且還可能大大 影響檢測/識別精度。為了降低這種影響，代替針對圖像的亮度(luminance)值執(zhí)行識別處理，提出了 從亮度值中提取相對于照明變化具有魯棒性的特征量，然后針對提取的特征量執(zhí)行識別處 理。例如，日本特許3831232號公報描述了一種針對目標像素與其周圍像素之間的亮度差 的符號(周邊增量符號)執(zhí)行相關(guān)處理的方法。在該方法中，目標像素的濃度值與周圍像 素的濃度值之間的增量(大小關(guān)系)由模板圖像和處理圖像中的各個的符號表示，并且將 匹配符號的數(shù)量設(shè)置為相似度。已知這種方法使得能夠在符號沒有反轉(zhuǎn)的范圍內(nèi)，執(zhí)行相 對于噪聲混入和亮度變化具有魯棒性的匹配。但是，日本特許3831232號公報中描述的技術(shù)計算模板圖像和處理圖像之間的相 似度。因為需要準備數(shù)量等于面部的數(shù)量的模板，因此實際上難以將檢測目標擴展到屬于 相同種類、但是具有其自己的個性(例如面部)的檢測目標。為了解決該問題，例如在日本特許3696212號公報和日本特開2006-146626號公 報中，從包含諸如各種面部圖像的檢測目標圖像的數(shù)據(jù)庫中提取周邊增量符號的統(tǒng)計特 征。但是，為了以傳統(tǒng)方式檢測目標圖案，需要大量的存儲器來實現(xiàn)使用數(shù)據(jù)庫保持 測定的出現(xiàn)概率的表。對基于面部來識別預(yù)先登記的一組人中的哪一個與檢測到的人匹配的面部識別 方法應(yīng)用傳統(tǒng)方法，使得表的大小與登記的人的數(shù)量成比例地增大。

發(fā)明內(nèi)容
本發(fā)明提供一種通過限制相對于在處理圖像中選擇的關(guān)注像素的相鄰像素的增 量符號計算的方向，而減小出現(xiàn)概率表的大小并降低所需的存儲器容量的技術(shù)。根據(jù)本發(fā)明的一個方面，提供了一種圖像處理裝置，該圖像處理裝置包括比較單元，其適合于在處理圖像中選擇關(guān)注像素，并將所述關(guān)注像素的亮度值，與相對于所述關(guān)注 像素具有預(yù)定位置關(guān)系的多個相鄰像素中的各個的亮度值的大小進行比較；以及計算單 元，其適合于基于所述關(guān)注像素與所述多個相鄰像素中的各個之間的所述預(yù)定位置關(guān)系以 及所述比較單元獲得的比較結(jié)果，計算所述關(guān)注像素的特征量，其中，對于位于相對于所述 關(guān)注像素點對稱的位置處的兩個相鄰像素，所述比較單元設(shè)置所述兩個相鄰像素中的僅一 個像素具有所述預(yù)定位置關(guān)系。 根據(jù)本發(fā)明的另一方面，提供了一種圖像處理方法，該圖像處理方法包括比較步 驟，在處理圖像中選擇關(guān)注像素，并將所述關(guān)注像素的亮度值，與相對于所述關(guān)注像素具有 預(yù)定位置關(guān)系的多個相鄰像素中的各個的亮度值的大小進行比較；以及計算步驟，基于所 述關(guān)注像素與所述多個相鄰像素中的各個之間的所述預(yù)定位置關(guān)系以及在所述比較步驟 中獲得的比較結(jié)果，計算所述關(guān)注像素的特征量，其中，對于位于相對于所述關(guān)注像素點對 稱的位置處的兩個相鄰像素，在所述比較步驟中設(shè)置所述兩個相鄰像素中的僅一個像素具 有所述預(yù)定位置關(guān)系。在本發(fā)明中，僅使用處于相對于關(guān)注像素點對稱的位置處的兩個相鄰像素中的一 個像素，來進行LBP值的計算。因此，這使得能夠減少計算LBP圖像的計算量，并降低用于 存儲LBP圖像的存儲量。通過以下對示例性實施例的描述(參照附圖)，本發(fā)明的其他特征將變得清楚。


圖1是示出根據(jù)第一實施例的識別系統(tǒng)的框圖；圖2是示意性地示出LBP值計算處理的圖；圖3是示出第一實施例中的4位LBP圖像與傳統(tǒng)的8位LBP圖像的比較的圖；圖4是示出從第一實施例中的4位LBP圖像恢復(fù)傳統(tǒng)的8位LBP圖像的方法的 圖；圖5是示意性地示出第一實施例中的識別系統(tǒng)中的圖像處理單元的處理的圖；圖6是示出第一實施例中的處理窗口掃描裁切(clip)的正規(guī)化(normalize)圖 像的情況的圖；圖7是例示第一實施例中的識別系統(tǒng)中的圖像處理單元的處理過程的流程圖；圖8是示出第一實施例中的識別系統(tǒng)中的登記特征量圖像存儲單元中的特征量 圖像的存儲狀態(tài)的表；圖9是示出根據(jù)第二實施例的檢測系統(tǒng)的框圖；圖10是示出根據(jù)第三實施例的硬件配置的框圖；以及圖11是示出根據(jù)傳統(tǒng)技術(shù)和本發(fā)明的LBP值計算處理中的處理窗口內(nèi)的相鄰像 素的圖。
具體實施例方式下面描述使用根據(jù)本發(fā)明的圖像處理方法的識別系統(tǒng)。識別表示將觀察的目標對象與能夠?qū)δ繕藢ο筮M行分類的數(shù)個概念(類)中的一 個相關(guān)聯(lián)的處理。例如，面部識別是指識別預(yù)先登記的一組人中的哪一個與輸入圖像中存在的面部圖像匹配的圖像處理方法。
<第一實施例>本實施例示出了將根據(jù)本發(fā)明的圖像處理方法應(yīng)用到模式(pattern)識別方法 的情況。特別地，說明使用圖像處理方法作為針對面部識別的模式識別應(yīng)用的情況。假定 已經(jīng)通過其他一些方法執(zhí)行了在面部識別處理之前所必需的面部檢測處理(圖像中的面 部的位置、大小以及傾斜的檢測)。面部的傾斜表示圖像內(nèi)旋轉(zhuǎn)(面內(nèi)旋轉(zhuǎn))。在第一實施例中，將根據(jù)本發(fā)明的圖像處理方法應(yīng)用于面部的周圍圖像，根據(jù)通 過面部檢測處理檢測到的面部位置、大小和傾斜對面部的周圍圖像進行了裁切，并將其正 規(guī)化為預(yù)定面部大小和傾斜。因此，在通過面部檢測處理進行了裁切并進行了正規(guī)化、并且 應(yīng)用了本發(fā)明的圖像處理方法的圖像中，眼睛、鼻子以及嘴等的位置幾乎是統(tǒng)一的。為了便于描述，假定本實施例要處理的所有圖像都是灰階(gray-scale)圖像(亮 度圖像)。圖1是示出根據(jù)第一實施例的面部識別系統(tǒng)的功能模塊的框圖。將處理圖像輸入 到面部識別系統(tǒng)109中，面部識別系統(tǒng)109輸出識別處理結(jié)果。面部識別系統(tǒng)109確定處 理圖像中是否存在任何預(yù)先登記的人。如果系統(tǒng)109確定處理圖像中存在預(yù)先登記的人中 的一個，則其輸出用于識別該人的信息作為識別處理結(jié)果；否則，其輸出表示處理圖像中不 存在預(yù)先登記的人的信息。面部識別系統(tǒng)109的操作模式包括兩種模式，即登記模式和識別模式。在登記模 式中，輸入登記圖像(存在要識別的人的圖像)作為處理圖像，將特征量圖像存儲在登記特 征量圖像存儲單元105中。在識別模式中，輸入檢查圖像(要進行檢查以確定圖像中是否 存在要識別的人的圖像)作為處理圖像，系統(tǒng)109比較在登記模式中存儲在登記特征量圖 像存儲單元105中的特征量圖像與檢查圖像的特征量圖像。下面將描述各個操作模式與各 個模塊的處理。對于輸入的處理圖像，面部檢測單元108使用預(yù)定面部檢測方法檢測圖像中的面 部，并識別其位置、大小以及方向。面部檢測單元108基于所識別的面部位置、大小和方向， 將面部大小正規(guī)化為預(yù)定大小。單元108通過裁切面部圖像，使得面部按照預(yù)定方向傾斜 (例如面部是豎直的)，來創(chuàng)建并輸出裁切的正規(guī)化圖像。可以使用公知技術(shù)用于面部檢測 單元108進行的面部檢測。對于檢測處理，可以使用要在第二實施例中示出的配置中的圖 像處理方法來執(zhí)行面部檢測。圖像處理單元100對面部檢測單元108創(chuàng)建的裁切的正規(guī)化圖像執(zhí)行特征量圖像 生成處理，并且在登記模式中輸出4位LBP特征量圖像，在識別模式中輸出從4位LBP圖像 恢復(fù)的8位LBP圖像。圖像處理單元100還包括亮度值差計算單元，亮度值差計算單元適 用于計算關(guān)注像素的亮度值與周圍像素的亮度值之間的差，以計算特征量。用作第一相關(guān) 計算單元的相關(guān)計算單元106從登記在登記特征量圖像存儲單元105中的4位LBP檢查特 征量圖像，恢復(fù)8位LBP檢查特征量圖像。然后，單元106執(zhí)行恢復(fù)的檢查特征量圖像與圖 像處理單元計算的特征量圖像之間的相關(guān)計算。此時，登記特征量圖像存儲單元105存儲 多個4位LBP特征量圖像，以進行登記?；趶牡谝幌嚓P(guān)計算單元106發(fā)送的相關(guān)值和ID 信息，綜合確定單元107確定檢查圖像中是否存在任何預(yù)先登記的人。本發(fā)明使用局部二值模式(Local Binary Pattern，下文中稱為LBP)運算符，因此將描述 LBP的與本發(fā)明相關(guān)的部分。將在本實施例中使用的由LBP運算符計算的LBP值稱為4位LBP值，以與傳統(tǒng)的 8位LBP值進行區(qū)分。如在稍后要描述的實施例中所示，本發(fā)明中的LBP值不限于4位LBP 值。為了便于描述，使用4位LBP值。類似地，將傳統(tǒng)的LBP值稱為8位LBP值。將包括根 據(jù)本發(fā)明計算的LBP值的LBP圖像稱為4位LBP圖像，以將其與包括傳統(tǒng)的8位LBP值的 LBP圖像進行區(qū)分。類似地，將傳統(tǒng)的LBP圖像稱為8位LBP圖像。幾乎完全可以從包括4位LBP值的4位LBP圖像恢復(fù)8位LBP圖像。也就是說， 可以使用根據(jù)本實施例創(chuàng)建的4位LBP圖像來替換傳統(tǒng)的8位LBP圖像，而信息量幾乎沒 有損失。圖2是示意性地示出根據(jù)本實施例的基于關(guān)注像素與其相鄰像素之間的相對位 置關(guān)系計算LBP值的處理的圖。相鄰像素彼此鄰接。圖3和圖4中的各個示出了從4位LBP特征圖像恢復(fù)8位LBP特征圖像的方法。 根據(jù)下面的等式計算圖3中使用的4位LBP值。對于等式(1)和(2)來說，變量的含義是 相同的。如圖2所示，將相對于位置(χ。，yc)的左上相鄰像素的索引η設(shè)置為3，索引η按 照順時針方向遞減1。LBP4(xc,yc) = Σ s(in 一 ic)2n…⑴
n=0
,、 Γι if P > ο _2] S(P) = |。if ρ < …⑵在圖3的3a中的亮度圖像中，小格中的數(shù)值表示亮度值。在圖3的3b中的8位 LBP圖像中，小格中的數(shù)值表示8位LBP值。此外，在圖3的3c中的4位LBP圖像中，小格 中的數(shù)值表示4位LBP值。圖3示出了通過圖3中的3a和3b的數(shù)值處理創(chuàng)建圖3的3d所示的二值碼的示 例的處理。參考符號X和y表示坐標軸。例如，亮度圖像中的坐標點(2，1)處的亮度值為 142。類似地，8位LBP圖像和4位LBP圖像中的坐標點(2，1)處的LBP值分別為44和2。圖3中的3b示出了作為所選擇的關(guān)注像素的亮度值與其8個相鄰像素的亮度值 的大小比較的結(jié)果，創(chuàng)建8位LBP圖像中LBP值為44的LBP像素(粗線小格)的處理的示 例。從等式(1)和(2)可以看出，如果相鄰像素的亮度值大于(或等于)關(guān)注像素的亮度 值，則設(shè)置1;否則，設(shè)置0。圖4示出了用于恢復(fù)8位LBP值44的處理的示例(用于恢復(fù)坐標點(2，1)處的 8位LBP值的處理的示例)，作為用于從4位LBP圖像恢復(fù)8位LBP圖像的處理的示例。圖 3和圖4中的4位LBP圖像相同。在圖4的4a中，與8位LBP圖像中LBP值為44的像素 (要恢復(fù)的像素)相對應(yīng)的像素(4位LBP值2)被標畫密陰影線以進行識別。圖4中的4b示出了如下情況相對于4位LBP圖像中的由粗線框表示的關(guān)注像素 的6個相鄰像素，示出了二值碼(通過布置大小比較結(jié)果而獲得)。將二值碼視為二值數(shù)， 然后由十進制數(shù)表示二值碼，由此獲得LBP值。將LBP值和二值碼編碼為相互具有一對一 的對應(yīng)關(guān)系。因此，能夠?qū)?位LBP值恢復(fù)為二值碼。圖4中的4c示出了從4位二值碼恢 復(fù)8位LBP值的方法。在本實施例中，由圖1中的圖像處理單元100和相關(guān)計算單元106 執(zhí)行恢復(fù)處理。
首先，參照圖3中的坐標點(2，1)處的8位LBP值和4位LBP值。為了計算坐標 點(2，1)處的8位LBP值，需要比較坐標點(2，1)處的亮度值與下面8個坐標點處的亮度值。A 坐標點(1，0)亮度值76B 坐標點(2，0)亮度值127C 坐標點(3,0)亮度值216D 坐標點(3，1)亮度值11E 坐標點(3，2)亮度值153F 坐標點(2,2)亮度值151G 坐標點(1，2)亮度值92H:坐標點(1，1)亮度值96為了計算坐標點(2，1)處的4位LBP值，需要比較坐標點(2，1)處的亮度值與上 述8個坐標點的前四個坐標點(A至D)處的亮度值。如果按照某種方式獲得了坐標點(2，
1)處的亮度值與后四個坐標點(E至H)處的亮度值的比較結(jié)果，則能夠恢復(fù)坐標點(2，1) 處的8位LBP值。在這種情況下，當計算了坐標點(3，2)處的4位LBP值時，比較E表示的坐標點(3，
2)和坐標點(2，1)，也就是說，計算亮度值。因此，能夠從坐標點(3，2)處的4位LBP值的 二值碼計算8位LBP值。更具體地說，當反轉(zhuǎn)(如果起始位為0，則設(shè)置1 ；否則，設(shè)置0)坐 標點(3，2)處的4位LBP值的二值碼的起始位(自右起從0開始時的第三位；在圖4的右 下側(cè)(4c)中，標畫密陰影線的小格)時，獲得坐標點(2，1)與(3，2)的比較結(jié)果。進行反 轉(zhuǎn)運算，以在“減數(shù)”和“被減數(shù)”之間切換。也就是說，在計算坐標點(2，1)處的4位LBP 值時，或者在計算坐標點(3，2)處的4位LBP值時，反轉(zhuǎn)運算在減數(shù)和被減數(shù)之間切換坐標 點(2，1)處的亮度值和坐標點(3，2)處的亮度值。類似地，能夠分別從坐標點(2，2)、(1，2)和(1，1)處的4位LBP值的二值碼，確定 由F、G和H所表示的亮度值的比較結(jié)果。在圖4的4c中，將各個二值碼的標畫密陰影線的 小格中的位反轉(zhuǎn)。如上所述，能夠確定坐標點(2，1)處的8位LBP值的二值碼。之后，將二值碼轉(zhuǎn)換 為8位LBP值?？偨Y(jié)上述過程，根據(jù)以下等式從坐標點(X，y)處的4位LBP值(LBP4(x，y))計算 坐標點(X，y)處的8位LBP值(LBP8 (x, y))LBP8(x, y) = (LBP4(x, y) 4)+ (LBP4(x + 1, y + l)[3j 3)+ (LBP4(x, y + l)[2j 2)…(3)+ (LBP4(x - 1, y + l)[lj 1)+ (LBP4(x - 1, y)
表示坐標點(χ, y)處的4位LBP值(LBP4 (x, y))的二值碼的 第η位(自右起從O開始)。例如，由于LBP4(2，1) [1]表示坐標點(2，1)處的4位LBP值 (2)的二值碼(OOlO)的第一位(自右起從O開始)，因此設(shè)置O。
如上所述，能夠通過從4位LBP圖像恢復(fù)8位LBP圖像來生成特征量圖像。但是， 不總是能夠執(zhí)行恢復(fù)。當例如比較具有相等的亮度值的兩個坐標點以計算4位LBP值時， 無法正確地恢復(fù)8位LBP圖像。但是，在典型圖像中，比較亮度值以計算4位LBP圖像的一 對坐標點，很少具有相等的亮度值。因此，幾乎完全能夠從4位LBP圖像恢復(fù)8位LBP圖像。這意味著，本實施例中創(chuàng) 建的4位LBP圖像具有傳統(tǒng)的8位LBP圖像保持的信息量，而幾乎沒有信息損失。注意，盡 管上面以示例的形式說 明了對二值碼的量化，但是本發(fā)明不限于此。例如，當執(zhí)行使用等式 (5)和(6)(稍后描述)對三進制碼的量化時，也就是說，當一個亮度值大于另一亮度值時 (反之亦然)，或者兩個亮度值彼此相等時，能夠恢復(fù)LBP圖像。圖1中的圖像處理單元100對面部檢測單元108創(chuàng)建的裁切的正規(guī)化圖像執(zhí)行特 征量圖像生成處理，以輸出4位特征量圖像。下面說明由圖像處理單元100執(zhí)行的特征量 提取處理。第一實施例示出了圖像處理單元在登記模式中輸出包括4位LBP值的4位LBP 圖像、并且在識別模式中輸出恢復(fù)的8位特征量圖像的情況?？梢允褂糜嬎銈鹘y(tǒng)的8位LBP 值所需的8個相鄰像素的任意四個相鄰像素來計算4位LBP值，只要這四個相鄰像素存在 于距離關(guān)注像素的預(yù)定范圍內(nèi)，并且使用相對于關(guān)注像素點對稱的位置處的兩個相鄰像素 中的一個像素即可。圖5示出了處理窗口 701位于給定掃描位置時的特征量圖像生成過程。將圖2所 示的4位LBP值的計算處理與圖5中的傳統(tǒng)8位LBP值的計算處理進行比較。參照圖2，僅 使用相對于選擇的關(guān)注像素(由圖2中標畫了陰影線的小格表示)點對稱的位置處的兩個 相鄰像素中的一個，用于特征量圖像生成處理。預(yù)先適當?shù)剡x擇要使用的4位。圖6示出了如何在裁切的正規(guī)化圖像中生成特征量圖像(4位LBP圖像)。圖6中 的附圖標記700代表的部分表示裁切的正規(guī)化圖像。由粗線圍起的框(具有5個像素的大 小)表示處理窗口 701。圖1中的圖像處理單元100掃描裁切的正規(guī)化圖像中的處理窗口 701，同時計算各個掃描位置的特征量(4位LBP值)。在第一實施例中，假定將掃描的步長 在水平方向和垂直方向兩個方向上都設(shè)置為一個像素。圖6中的處理窗口 701中的關(guān)注像 素的部分標畫了陰影線。在附圖標記500代表的框中，示出了給定掃描位置處的處理窗口 701內(nèi)的像素的 亮度值。參照圖5，由粗線圍起的框示出了處理窗口。在各個掃描位置，將處理窗口內(nèi)由陰 影線部分表示的像素稱為關(guān)注像素，將其周圍的像素稱為相鄰像素。如圖5所示，存在多個 相鄰像素(本實施例中為4個像素)。為了在相鄰像素之間進行區(qū)分，給定索引。為從中心 起看到的左上相鄰像素給定索引3，然后為其余各個相鄰像素給定通過按照順時針方向?qū)?3遞減1而獲得的索引2、1或0。在附圖標記500代表的框中，關(guān)注像素的亮度值為96，索 引為3的相鄰像素的亮度值為84，索引為2的相鄰像素的亮度值為76。圖7是例示由圖像處理單元100執(zhí)行的處理的流程圖。在步驟S800中，圖像處理 單元100針對裁切的正規(guī)化圖像700開始處理窗口 701的掃描。在步驟S805中，當將處理 窗口 701移動至新的掃描位置時，圖像處理單元100參照新的掃描位置處的關(guān)注像素及其 相鄰像素的亮度值。在步驟S801中，圖像處理單元100使用在步驟S805中獲得的參照結(jié)果，比較掃描 位置處的關(guān)注像素及其相鄰像素的亮度值的大小。首先，單元100獲得掃描位置處的關(guān)注像素與其相鄰像素之間的亮度差值。在本實施例中，通過從相鄰像素的亮度值中減去關(guān)注像素的亮度值，來獲得亮度 差值。由于針對各個相鄰像素計算亮度差值，因此獲得數(shù)量等于相鄰像素的數(shù)量的亮度差 值(這對應(yīng)于圖5中的框501內(nèi)的差值的計算)。在步驟S802中，圖像處理單元100對亮度差值執(zhí)行量化處理。在本實施例中，量 化處理的量化等級(level)的數(shù)量為2。如果亮度差值等于或大于0，則將其量化為1 ；否 貝U，將其量化為0(這對應(yīng)于圖5中的框502內(nèi)的亮度差值的量化)。量化處理對應(yīng)于針對 各個相鄰像素索引的等式(4)的處理。在步驟S803中，圖像處理單元100計算LBP值。在這種情況下，單元100使用等 式(3)基于相鄰像素索引和分別與各個索引相對應(yīng)的量化值，計算LBP值(這對應(yīng)于圖5 中的框503內(nèi)的差值的計算)。假定將該LBP值設(shè)置為LBP圖像中關(guān)注像素的位置處的像素值。如果在步驟S804中確定圖像處理單元100針對所有掃描位置完成了步驟S801至 S803中的處理，則處理進入到步驟S806 ；否則，處理進入到步驟S805，將窗口移動到下一個位置。在步驟S806中，圖像處理單元100終止掃描，以結(jié)束對裁切的正規(guī)化圖像的圖像處理。當針對給定的裁切的正規(guī)化圖像，圖像處理單元100的處理結(jié)束時，生成以提取 的特征量(4位LBP值)作為像素值的特征量圖像(4位LBP圖像)。盡管圖7中未示出，但 是圖像處理單元100在登記模式中輸出4位LBP特征量圖像，而在識別模式中輸出從4位 LBP特征量圖像恢復(fù)的8位特征量圖像。圖1中的登記特征量圖像存儲單元105存儲與登記的圖像對應(yīng)的特征量圖像。在 本示例中，假定存儲了根據(jù)本發(fā)明的4位LBP特征量圖像。登記的圖像表示存在要識別的 人的圖像。如果圖1中的面部識別系統(tǒng)109處于登記模式中，則針對登記的圖像，面部檢測單 元108執(zhí)行面部檢測處理，并且圖像處理單元100執(zhí)行特征量生成處理，由此輸出4位LBP 特征量圖像。登記特征量圖像存儲單元105存儲與登記的圖像相對應(yīng)的特征量圖像。單元 105還將用于識別登記的圖像中的人的ID信息(例如名字)與特征量圖像相關(guān)聯(lián)地存儲。 圖8示出了存儲在登記特征量圖像存儲單元105中的特征量圖像。圖8示出了登 記的人(要識別的人)包括具有IDO和IDl的兩個人的情況。在該示例中，針對各個登記 的人，使用兩個登記的圖像創(chuàng)建特征量圖像(針對IDO的兩個特征量圖像F_0_0和F_0_1， 或者針對IDl的兩個特征量圖像F_1_0和F_l_l)，然后進行存儲。如果面部識別系統(tǒng)109處于識別模式中，則從登記特征量圖像存儲單元105依次 輸出存儲的特征量圖像及其ID信息。當?shù)怯浱卣髁繄D像存儲單元105存儲了如圖8所示 的特征量圖像時，依次輸出4位LBP特征量圖像F_0_0、F_0_1、F_1_0和F_l_l，并且輸出特 征量圖像的ID信息IDO、IDO、IDl和IDl。圖1中的用作第一相關(guān)計算單元的相關(guān)計算單元106從發(fā)送自登記特征量圖像存 儲單元105的作為登記的圖像(檢查圖像)的4位檢查特征量圖像，恢復(fù)8位檢查特征量 圖像，并執(zhí)行恢復(fù)的檢查特征量圖像與圖像處理單元100生成的特征量圖像之間的相關(guān)計算。由于可以使用任意相關(guān)計算方法，因此使用公知技術(shù)。在本實施例中，假定執(zhí)行正規(guī)化 相關(guān)計算。如果登記特征量圖像存儲單元105存儲了如圖8所示的特征量圖像，則相關(guān)計算 單元106執(zhí)行恢復(fù)的檢查圖像的特征量圖像與恢復(fù)的特征量圖像F_0_0之間的正規(guī)化相關(guān) 計算，以計算相關(guān)值。之后，單元106執(zhí)行恢復(fù)的檢查圖像的特征量圖像與恢復(fù)的特征量圖 像F_0_1之間的正規(guī)化相關(guān)計算，以計算相關(guān)值。類似地，單元106分別執(zhí)行恢復(fù)的檢查圖 像的特征量圖像與恢復(fù)的特征量圖像F_1_0和F_l_l之間的正規(guī)化相關(guān)計算，以計算相關(guān) 值。將計算的相關(guān)值和與用于相關(guān)值計算的登記的圖像的特征量圖像相關(guān)聯(lián)的ID信息一 起輸出。相關(guān)計算單元106計算的相關(guān)值的數(shù)量等于存儲在登記特征量圖像存儲單元105 中的特征量圖像的數(shù)量(圖8中為4)?；趶南嚓P(guān)計算單元106發(fā)送的相關(guān)值和ID信息，圖1中的綜合確定單元107確 定檢查圖像中是否存在任何預(yù)先登記的人。因為可以使用任意的確定方法，因此使用公知 方法。在本實施例中，針對各個ID信息計算相關(guān)值的平均值(平均相關(guān)值)，并獲得平均值 中的最大值(最大平均相關(guān)值)。如果最大平均相關(guān)值超過了預(yù)定閾值，則確定在檢查圖像 中有具有與最大平均相關(guān)值相關(guān)聯(lián)的ID信息的人。如果最大平均相關(guān)值沒有超過預(yù)定閾 值，則確定檢查圖像中沒有登記的人。對使用圖像處理的面部識別系統(tǒng)進行了說明。盡管在本實施例中，識別系統(tǒng) 具有登記模式和識別模式作為操作模式，但是登記 模式不是必需的。代替登記模式，可以針對登記的圖像預(yù)先離線(offline)執(zhí)行與登記模 式中的處理相同的處理，來計算特征量圖像，并將特征量圖像存儲在登記特征量圖像存儲 單元105中。本實施例中示出的特征量圖像是包括使用圖5以及等式(3)和(4)獲得的4位LBP 值的4位LBP圖像。但是，計算4位LBP值的方法不限于上述方法。本發(fā)明的特征在于，特 征量計算方法僅使用相對于關(guān)注像素點對稱的位置處的兩個相鄰像素中的一個像素，來生 成特征量圖像。只要使用這種特征量圖像生成方法，可以使用任何技術(shù)。在上述說明中，在與圖7中的步驟S803相對應(yīng)的圖5中的LBP值計算處理中，通 過處理等式(3)計算LBP值。但是，可以使用下面的等式(4)來進行計算。等式(4)和等 式(3)的加數(shù)(由2的冪表示)不同，根據(jù)關(guān)注像素與相鄰像素之間的大小關(guān)系來相加該 加數(shù)以計算LBP值，并且該加數(shù)對應(yīng)于各個相鄰像素索引。將要根據(jù)相鄰像素索引相加的 該加數(shù)稱為權(quán)重值。在等式(1)中，與相鄰像素索引3 (表示關(guān)注像素的左上像素)相對應(yīng) 的權(quán)重值為2~3( = 8)。在等式(4)中，權(quán)重值為2~0( = 1)。LBP4(xc,yc)= f s(in, ic)2^n...⑷
η = 0當然，相鄰像素索引與權(quán)重值之間的對應(yīng)關(guān)系不限于上述示例。權(quán)重值8、4、2和1 分別對應(yīng)于等式(1)中的相鄰像素索引3、2、1和0，權(quán)重值1、2、4和8分別對應(yīng)于等式(4) 中的相鄰像素索引3、2、1和0。但是，可以任意設(shè)置相鄰像素索引與權(quán)重值之間的對應(yīng)關(guān)系。權(quán)重值不限于2的冪?？梢允褂萌魏沃?，只要設(shè)置該值，使得能夠識別計算的LBP 值和與各個相鄰像素索引相對應(yīng)的權(quán)重值，并且能夠執(zhí)行逆運算以獲得關(guān)注像素與各個相 鄰像素之間的大小關(guān)系即可。以這種方式，能夠從通過根據(jù)本發(fā)明的方法計算的4位LBP圖像，計算8位LBP圖像。 <第二實施例>描述使用根據(jù)本發(fā)明的圖像處理方法的檢測系統(tǒng)。本實施例示出了將本發(fā)明的圖 像處理方法應(yīng)用于模式檢測方法的情況。特別地，使用圖像處理方法作為用于檢測“眼睛 (人眼)”的模式檢測應(yīng)用。也就是說，將本實施例應(yīng)用于檢測輸入圖像中是否存在眼睛的 圖像處理方法。為了方便描述，假定本實施例中要處理的所有圖像也都是灰階圖像(亮度圖像)。圖9是示出根據(jù)第二實施例的眼睛檢測系統(tǒng)的框圖。將處理圖像輸入到眼睛檢測 系統(tǒng)1009，系統(tǒng)1009輸出檢測處理結(jié)果。如果確定處理圖像中存在眼睛，則系統(tǒng)1009輸出 用于識別眼睛的位置的信息，作為檢測處理結(jié)果；否則，系統(tǒng)1009輸出表示處理圖像中不 存在眼睛的信息。圖像處理單元1000對處理圖像執(zhí)行特征量圖像生成處理，并且在識別模式中輸 出8位LBP特征量圖像。該過程與第一實施例中的圖像處理單元100的識別模式中的處理 相同。注意，盡管在各個過程中將不同的圖像(即裁切的正規(guī)化圖像或處理圖像)輸入到 圖像處理單元100中，但是處理內(nèi)容是相同的。因此，省略圖像處理單元1000的詳細說明。檢測目標區(qū)域裁切單元1002在特征量圖像的一部分中掃描具有預(yù)定大小的檢測 窗口，并且裁切掃描位置處的檢測窗口內(nèi)的特征量圖像。將具有檢測窗口大小的裁切區(qū)域 稱為檢測窗口區(qū)域。檢測目標區(qū)域裁切單元1002將特征量圖像中的裁切的檢測窗口區(qū)域 的位置，輸出到綜合確定單元1007中，并將裁切的檢測窗口區(qū)域輸出到用作第二相關(guān)計算 單元的相關(guān)計算單元1006中。登記特征量圖像存儲單元1005存儲針對要檢測的眼睛的4位LBP檢查特征量圖 像。與通常情況相比，這使得能夠?qū)⒋鎯θ萘繙p半。例如，如下創(chuàng)建眼睛的特征量圖像。準備大小與內(nèi)部存在幾乎相同大小的眼睛的檢測窗口的大小相同的多個圖像，并 創(chuàng)建這些圖像的平均圖像。對平均圖像執(zhí)行與由圖像處理單元1000執(zhí)行的處理相同的處 理，以得到眼睛的特征量圖像。登記特征量圖像存儲單元1005存儲特征量圖像。將存儲在登記特征量圖像存儲單元1005中的4位檢查特征量圖像輸出到相關(guān)計 算單元1006。相關(guān)計算單元1006從由登記特征量圖像存儲單元1005輸出的登記的4位LBP檢 查特征量圖像恢復(fù)8位圖像，并執(zhí)行從檢測目標區(qū)域裁切單元1002輸出的檢測窗口區(qū)域的 8位LBP圖像與恢復(fù)的檢查特征量圖像之間的相關(guān)計算。參照圖4描述了恢復(fù)方法。與第 一實施例中一樣地執(zhí)行相關(guān)計算處理，但是相關(guān)計算處理與第一實施例存在以下不同點。 艮口，在第一實施例中，在4位特征圖像與多個登記的圖像之間執(zhí)行相關(guān)計算，以識別目標圖 案。在第二實施例中，每次從檢測目標區(qū)域裁切單元1002輸出新的檢測窗口區(qū)域時，執(zhí)行 相關(guān)計算。也就是說，每次檢測窗口相對于創(chuàng)建的特征量圖像移動時，檢測目標區(qū)域裁切單 元1002計算相關(guān)值。將計算的相關(guān)值輸出到綜合確定單元1007。基于從相關(guān)計算單元1006發(fā)送的相關(guān)值，綜合確定單元1007確定檢測窗口區(qū)域 內(nèi)是否存在眼睛。也就是說，包括第二相關(guān)計算單元1006和綜合確定單元1007的第二確定 單元(未示出)確定多個登記的檢查特征量圖像中是否包括提取的特征量圖像。由于可以 使用任意確定方法，因此使用公知方法。在本實施例中，如果輸入的相關(guān)值超過預(yù)定閾值，則確定檢測窗口區(qū)域中存在眼睛；否則，確定檢測窗口區(qū)域中不存在眼睛?；跈z測窗口在 特征量圖像中的位置、以及針對在該位置處裁切的檢測窗口區(qū)域進行的存在/不存在檢測 目標(本實施例中為眼睛)的確定，能夠檢測處理圖像中存在檢測目標的位置。說明了使 用根據(jù)本發(fā)明的圖像處理的眼睛檢測系統(tǒng)。如上所述，根據(jù)第二實施例的配置使得能夠檢 測諸如眼睛的圖案?！吹谌龑嵤├翟诒緦嵤├校f明用于執(zhí)行第一實施例和第二實施例中描述的圖像處理方法的 硬件配置。圖10是用于說明根據(jù)本發(fā)明的實施例的信息處理裝置的計算機的硬件配置的框 圖。參照圖10，CPU 1100是根據(jù)計算機程序執(zhí)行第一實施例和第二實施例中描述的圖像處 理方法的中央處理單元。程序存儲器1101存儲要由CPU 1100執(zhí)行的程序。RAM 1102提供 在CPU 1100執(zhí)行計算機程序時用于臨時存儲各種信息的存儲器。硬盤1103是用于保存圖 像文件和登記的圖像的特征量圖像的存儲介質(zhì)。顯示器1104向用戶呈現(xiàn)本實施例中的處 理結(jié)果?？刂瓶偩€/數(shù)據(jù)總線1105連接上述單元與CPU 1100，并且用作進行通信/控制的 接口。使用具有這種配置的硬件使得能夠執(zhí)行根據(jù)本發(fā)明的圖像處理方法。

當CPU 1100實現(xiàn)整個圖像處理方法時，使用上述硬件配置。代替CPU 1100，專用 硬件可以執(zhí)行部分圖像處理方法。例如，可以由專用硬件執(zhí)行由圖像處理單元100或1000 執(zhí)行的處理。〈其他實施例〉在上述實施例中，當在特征量圖像生成處理中執(zhí)行量化處理時，根據(jù)亮度差值的 符號(即與0進行比較)來執(zhí)行量化處理。本發(fā)明的量化處理不限于此。例如，可以通過 比較亮度差值與預(yù)定閾值來執(zhí)行量化處理。通過從相鄰像素的亮度值中減去關(guān)注像素的亮度值，來獲得亮度差值。還可以通 過從關(guān)注像素的亮度值中減去相鄰像素的亮度值，來獲得亮度差值。盡管上面對量化等級的數(shù)量為2的情況進行了說明，但是量化等級的數(shù)量不限于 此。例如，可以執(zhí)行三級量化。也就是說，三級表示亮度差值為正值、0和負值的情況。當執(zhí) 行三級量化時(如果亮度差值為正值，則量化為2 ；如果值為0，則量化為1 ；如果值為負值， 則量化為0)，使用等式(5)和(6)為各個量化值給定作為3的冪的權(quán)重值。通過這種量化 處理，將關(guān)注像素的亮度值等于相鄰像素的亮度值的情況，與亮度值彼此不相等的情況進 行區(qū)分，來進行量化。因此，能夠完全恢復(fù)傳統(tǒng)的LBP圖像。
權(quán)利要求
1.一種圖像處理裝置，該圖像處理裝置包括比較單元，其適合于在處理圖像中選擇關(guān)注像素，并將所述關(guān)注像素的亮度值，與相對 于所述關(guān)注像素具有預(yù)定位置關(guān)系的多個相鄰像素中的各個的亮度值的大小進行比較；以 及計算單元，其適合于基于所述關(guān)注像素與所述多個相鄰像素中的各個之間的所述預(yù)定 位置關(guān)系以及所述比較單元獲得的比較結(jié)果，計算所述關(guān)注像素的特征量，其中，對于位于相對于所述關(guān)注像素點對稱的位置處的兩個相鄰像素，所述比較單元 設(shè)置所述兩個相鄰像素中的僅一個像素具有所述預(yù)定位置關(guān)系。
2.根據(jù)權(quán)利要求1所述的圖像處理裝置，該圖像處理裝置還包括生成單元，該生成單 元適合于基于所述比較單元使用位于相對于所述關(guān)注像素點對稱的位置處的所述兩個相 鄰像素中的、不具有所述預(yù)定位置關(guān)系的另一個像素作為關(guān)注像素而獲得的比較結(jié)果，生 成所述關(guān)注像素與不具有所述預(yù)定位置關(guān)系的所述另一個像素的亮度值的大小關(guān)系。
3.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述計算單元根據(jù)所述關(guān)注像素與所 述多個相鄰像素中的各個之間的所述預(yù)定位置關(guān)系，設(shè)置不同的權(quán)重值，將表示所述關(guān)注 像素與所述多個相鄰像素中的各個之間的大小關(guān)系的值乘以所述權(quán)重值，并對相乘結(jié)果求 禾口。
4.根據(jù)權(quán)利要求3所述的圖像處理裝置，其中，使用2的冪來設(shè)置所述權(quán)重值。
5.根據(jù)權(quán)利要求1所述的圖像處理裝置，其中，所述計算單元執(zhí)行量化大小關(guān)系的處理。
6.根據(jù)權(quán)利要求1所述的圖像處理裝置，所述圖像處理裝置還包括登記單元，其適合于登記所述計算單元計算的多個特征量；以及相關(guān)計算單元，其適合于確定所述計算單元計算的所述特征量與多個登記的特征量是 否相關(guān)，其中，基于所述相關(guān)來執(zhí)行模式識別。
7.一種圖像處理方法，該圖像處理方法包括比較步驟，在處理圖像中選擇關(guān)注像素，并將所述關(guān)注像素的亮度值，與相對于所述關(guān) 注像素具有預(yù)定位置關(guān)系的多個相鄰像素中的各個的亮度值的大小進行比較；以及計算步驟，基于所述關(guān)注像素與所述多個相鄰像素中的各個之間的所述預(yù)定位置關(guān)系 以及在所述比較步驟中獲得的比較結(jié)果，計算所述關(guān)注像素的特征量，其中，對于位于相對于所述關(guān)注像素點對稱的位置處的兩個相鄰像素，在所述比較步 驟中設(shè)置所述兩個相鄰像素中的僅一個像素具有所述預(yù)定位置關(guān)系。
全文摘要
本發(fā)明提供圖像處理裝置及圖像處理方法。該圖像處理裝置包括比較單元，其在處理圖像中選擇關(guān)注像素，并將所述關(guān)注像素的亮度值，與相對于所述關(guān)注像素具有預(yù)定位置關(guān)系的多個相鄰像素中的各個的亮度值的大小進行比較；以及計算單元，其基于所述關(guān)注像素與所述多個相鄰像素中的各個之間的所述預(yù)定位置關(guān)系以及所述比較單元獲得的比較結(jié)果，計算所述關(guān)注像素的特征量。對于位于相對于所述關(guān)注像素點對稱的位置處的兩個相鄰像素，所述比較單元設(shè)置所述兩個相鄰像素中的僅一個像素具有所述預(yù)定位置關(guān)系。
文檔編號G06K9/62GK102103698SQ20101060054
公開日2011年6月22日 申請日期2010年12月16日 優(yōu)先權(quán)日2009年12月18日
發(fā)明者伊藤嘉則, 加藤政美, 山本貴久 申請人:佳能株式會社