本發(fā)明涉及生物特征識(shí)別領(lǐng)域,尤其是一種基于雙攝像頭的智能人臉識(shí)別方法及系統(tǒng)。
背景技術(shù):
人臉識(shí)別因其在身份證識(shí)別、可視電話、檔案管理、公安(或罪犯識(shí)別)等方面的巨大應(yīng)用前景而越來越成為當(dāng)前圖像分析與模式識(shí)別領(lǐng)域的一個(gè)研究熱點(diǎn)。
現(xiàn)有人臉識(shí)別設(shè)備一般采用雙攝像頭:一個(gè)是可見光攝像頭,另一個(gè)是紅外線攝像頭。紅外線攝像頭幾乎不受照明的影響,所以實(shí)際識(shí)別時(shí)使用的是紅外線圖像。而人臉識(shí)別設(shè)備屏幕上顯示的不是紅外線圖像,而是可見光圖像,因?yàn)榧t外線圖像是無法在屏幕上顯示的黑白圖像。目前的人臉識(shí)別設(shè)備大多只根據(jù)黑白圖像進(jìn)行人臉識(shí)別,而忽略了可見光圖像等彩色圖像的識(shí)別作用。最近的研究表明,彩色圖像對(duì)于人臉識(shí)別能夠提供很多有用的信息,因此,若能充分利用彩色圖像的彩色信息,則可以有效地提高人臉的識(shí)別率。
在人臉圖像識(shí)別的算法中,PCA(rincipal Component Analysis,主成分分析)又稱K-L變換,被認(rèn)為是最成功的線性鑒別分析方法之一,目前仍然被廣泛地應(yīng)用在人臉等圖像識(shí)別領(lǐng)域。基于PCA的人臉識(shí)別算法原理簡(jiǎn)單,易于實(shí)現(xiàn)、學(xué)習(xí)速度較快,但其識(shí)別率會(huì)隨著光照、訓(xùn)練樣本數(shù)量等因素的變化而變化,不夠準(zhǔn)確且魯棒性不高。
技術(shù)實(shí)現(xiàn)要素:
為解決上述技術(shù)問題,本發(fā)明的目的在于:提供一種識(shí)別率高、準(zhǔn)確和魯棒性高的,基于雙攝像頭的智能人臉識(shí)別方法。
本發(fā)明的另一目的在于:提供一種識(shí)別率高、準(zhǔn)確和魯棒性高的,基于雙攝像頭的智能人臉識(shí)別系統(tǒng)。
本發(fā)明所采取的技術(shù)方案是:
一種基于雙攝像頭的智能人臉識(shí)別方法,包括以下步驟:
通過雙攝像頭分別采集黑白人臉圖像和彩色人臉圖像;
采用頻域殘差法對(duì)黑白人臉圖像進(jìn)行顯著性檢測(cè),得到黑白顯著性圖像;
采用基于差分圖的PCA分析法在黑白顯著性圖像中進(jìn)行黑白人臉識(shí)別;
采用改進(jìn)的膚色檢測(cè)算法對(duì)彩色人臉圖像進(jìn)行膚色提取與分割,得到彩色人臉候選區(qū)域;
采用改進(jìn)的8級(jí)并行PCA分析法在彩色人臉候選區(qū)域中進(jìn)行彩色人臉識(shí)別;
根據(jù)黑白人臉識(shí)別的結(jié)果和彩色人臉識(shí)別的結(jié)果進(jìn)行加權(quán)識(shí)別,得出最終的人臉識(shí)別結(jié)果。
進(jìn)一步,所述采用頻域殘差法對(duì)黑白人臉圖像進(jìn)行顯著性檢測(cè),得到黑白顯著性圖像這一步驟,其具體為:
對(duì)黑白人臉圖像I(i,j)進(jìn)行頻域殘差處理,得到黑白顯著性圖像S(i,j),所述黑白顯著性圖像S(i,j)的表達(dá)式為:
其中,hn(f)和g(i,j)分別為I(i,j)的均值濾波器和高斯濾波器;*、fft、ifft和lg分別表示卷積運(yùn)算、傅里葉變換、逆傅里葉變換和以10為底的對(duì)數(shù)運(yùn)算,NORM和PH分別表示復(fù)數(shù)的模和相位。
進(jìn)一步,所述采用基于差分圖的PCA分析法在黑白顯著性圖像中進(jìn)行黑白人臉識(shí)別這一步驟,其包括:
獲取黑白顯著性圖像S(i,j)的水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j),所述水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)的表達(dá)式分別為:Sh(i,j)=S(i,j+1)-S(i,j),Sv(i,j)=S(i+1,j)-S(i,j);
將黑白顯著性圖像S(i,j)、水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)按行排成一列,并把每一列連成一個(gè)列向量A0;
將列向量A0歸一化為零均值向量D,然后根據(jù)零均值向量D構(gòu)建黑白人臉訓(xùn)練樣本集{Dq|q=1,2,...,n},n為訓(xùn)練樣本的總數(shù);
計(jì)算黑白人臉訓(xùn)練樣本集中每幅圖像與均值的差θq,θq的計(jì)算公式為θq=Dq-V,V為黑白人臉訓(xùn)練樣本集的均值,且
計(jì)算黑白人臉訓(xùn)練樣本集的協(xié)方差矩陣C,所述協(xié)方差矩陣C的計(jì)算公式為:C=EET,其中,E=[θ1,θ2,...,θq],T表示矩陣的轉(zhuǎn)置;
對(duì)協(xié)方差矩陣C進(jìn)行奇異值分解,得到黑白人臉的特征值;
將黑白人臉的特征值λq按照由大到小順序進(jìn)行排列,得到前m個(gè)最大特征值對(duì)應(yīng)的特征向量空間U=[u1,u2,...,um],其中,1<m<q,且
以黑白人臉訓(xùn)練樣本集的圖像作為第一訓(xùn)練圖像,D中除黑白人臉訓(xùn)練樣本集外的其它樣本的圖像作為第一測(cè)試圖像,將第一訓(xùn)練圖像和第一測(cè)試圖像投影到特征向量空間U中;
根據(jù)投影到特征向量空間U中的第一測(cè)試圖像與第一訓(xùn)練圖像選用分類器來識(shí)別出第一測(cè)試圖像的類別,并以第一測(cè)試圖像的類別作為黑白人臉識(shí)別的結(jié)果,所述分類器包括但不限于最近鄰分類器、最小距離分類器、曼哈頓距離分類器和貝葉斯分類器。
進(jìn)一步,采用改進(jìn)的膚色檢測(cè)算法對(duì)彩色人臉圖像進(jìn)行膚色提取與分割,得到彩色人臉候選區(qū)域這一步驟,其包括:
將彩色人臉圖像由RGB空間變換到改進(jìn)的YCbCr空間,所采用的變換公式為:
其中,R、G和B分別為彩色人臉圖像在RGB空間的綠色分量、紅色分量和藍(lán)色分量,Y、Cb和Cr分別為彩色人臉圖像在YCbCr空間的亮度、藍(lán)色色度分量和紅色色度分量;
采用改進(jìn)的Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割,得到膚色分割后的圖像,所述改進(jìn)的Cb、Cr橢圓聚類方法根據(jù)彩色人臉圖像像素點(diǎn)的亮度大小進(jìn)行分段處理:若彩色人臉圖像像素點(diǎn)的亮度小于77,則直接判定該像素點(diǎn)屬于非膚色區(qū)域;若彩色人臉圖像像素點(diǎn)的亮度在77到200之間,則根據(jù)Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;若彩色人臉圖像像素點(diǎn)的亮度大于200,則在將膚色聚類時(shí)的橢圓長(zhǎng)軸和短軸同時(shí)擴(kuò)大為原來的若干倍后再采用Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;
對(duì)膚色分割后的圖像進(jìn)行形態(tài)學(xué)處理,所述形態(tài)學(xué)處理包括但不限于形態(tài)學(xué)濾波、填孔、閉運(yùn)算和連通域處理;
根據(jù)設(shè)定的判定條件從形態(tài)學(xué)處理后的圖像中篩選出彩色人臉候選區(qū)域,所述設(shè)定的判定條件包括連通區(qū)域的像素?cái)?shù)條件、連通區(qū)域的寬長(zhǎng)比條件、區(qū)域的填充率條件、區(qū)域面積條件和人臉外接矩形的寬長(zhǎng)比條件。
進(jìn)一步,所述采用改進(jìn)的8級(jí)并行PCA分析法在彩色人臉候選區(qū)域中進(jìn)行彩色人臉識(shí)別這一步驟,其包括:
根據(jù)整幅彩色人臉圖像提取7幅與之相對(duì)應(yīng)的部分圖像;
對(duì)整幅彩色人臉圖像和7幅部分圖像同時(shí)采用相同的PCA模型進(jìn)行PCA變換,以提取出整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量;
根據(jù)提取出的彩色人臉特征向量采用馬氏距離分類器進(jìn)行測(cè)試圖像與訓(xùn)練圖像的匹配計(jì)算,識(shí)別出整幅彩色人臉圖像和7幅部分圖像這8幅圖像的類別;
根據(jù)整幅彩色人臉圖像和7幅部分圖像的識(shí)別結(jié)果進(jìn)行加權(quán)決策,得到彩色人臉識(shí)別的結(jié)果。
進(jìn)一步,所述對(duì)整幅彩色人臉圖像和7幅部分圖像同時(shí)采用相同的PCA模型進(jìn)行PCA變換,以提取出整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量這一步驟,其包括:
對(duì)彩色人臉圖像進(jìn)行預(yù)處理,所示預(yù)處理包括但不限于直方圖均衡、均值濾波、灰度歸一化和像素矩陣轉(zhuǎn)換;
分別為整幅彩色人臉圖像和7幅部分圖像構(gòu)建PCA變換的訓(xùn)練圖像和測(cè)試圖像;
根據(jù)構(gòu)建的訓(xùn)練圖像同時(shí)對(duì)整幅彩色人臉圖像和7幅部分圖像進(jìn)行PCA變換,得到整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量。
本發(fā)明所采取的另一技術(shù)方案是:
一種基于雙攝像頭的智能人臉識(shí)別系統(tǒng),包括:
采集模塊,用于通過雙攝像頭分別采集黑白人臉圖像和彩色人臉圖像;
顯著性檢測(cè)模塊,采用頻域殘差法對(duì)黑白人臉圖像進(jìn)行顯著性檢測(cè),得到黑白顯著性圖像;
黑白人臉識(shí)別模塊,采用基于差分圖的PCA分析法在黑白顯著性圖像中進(jìn)行黑白人臉識(shí)別;
膚色檢測(cè)模塊,用于采用改進(jìn)的膚色檢測(cè)算法對(duì)彩色人臉圖像進(jìn)行膚色提取與分割,得到彩色人臉候選區(qū)域;
彩色人臉識(shí)別模塊,用于采用改進(jìn)的8級(jí)并行PCA分析法在彩色人臉候選區(qū)域中進(jìn)行彩色人臉識(shí)別;
加權(quán)識(shí)別模塊,用于根據(jù)黑白人臉識(shí)別的結(jié)果和彩色人臉識(shí)別的結(jié)果進(jìn)行加權(quán)識(shí)別,得出最終的人臉識(shí)別結(jié)果。
進(jìn)一步,所述黑白人臉識(shí)別模塊包括:
獲取單元,用于獲取黑白顯著性圖像S(i,j)的水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j),所述水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)的表達(dá)式分別為:Sh(i,j)=S(i,j+1)-S(i,j),Sv(i,j)=S(i+1,j)-S(i,j);
排列單元,用于將黑白顯著性圖像S(i,j)、水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)按行排成一列,并把每一列連成一個(gè)列向量A0;
黑白人臉訓(xùn)練樣本集構(gòu)建單元,用于將列向量A0歸一化為零均值向量D,然后根據(jù)零均值向量D構(gòu)建黑白人臉訓(xùn)練樣本集{Dq|q=1,2,...,n},n為訓(xùn)練樣本的總數(shù);
差值計(jì)算單元,用于計(jì)算黑白人臉訓(xùn)練樣本集中每幅圖像與均值的差θq,θq的計(jì)算公式為θq=Dq-V,V為黑白人臉訓(xùn)練樣本集的均值,且
協(xié)方差矩陣計(jì)算單元,用于計(jì)算黑白人臉訓(xùn)練樣本集的協(xié)方差矩陣C,所述協(xié)方差矩陣C的計(jì)算公式為:C=EET,其中,E=[θ1,θ2,...,θq],T表示矩陣的轉(zhuǎn)置;
特征值計(jì)算單元,用于對(duì)協(xié)方差矩陣C進(jìn)行奇異值分解,得到黑白人臉的特征值;
特征向量空間獲取單元,用于將黑白人臉的特征值λq按照由大到小順序進(jìn)行排列,得到前m個(gè)最大特征值對(duì)應(yīng)的特征向量空間U=[u1,u2,...,um],其中,1<m<q,且
投影單元,用于以黑白人臉訓(xùn)練樣本集的圖像作為第一訓(xùn)練圖像,D中除黑白人臉訓(xùn)練樣本集外的其它樣本的圖像作為第一測(cè)試圖像,將第一訓(xùn)練圖像和第一測(cè)試圖像投影到特征向量空間U中;
分類識(shí)別單元,用于根據(jù)投影到特征向量空間U中的第一測(cè)試圖像與第一訓(xùn)練圖像選用分類器來識(shí)別出第一測(cè)試圖像的類別,并以第一測(cè)試圖像的類別作為黑白人臉識(shí)別的結(jié)果,所述分類器包括但不限于最近鄰分類器、最小距離分類器、曼哈頓距離分類器和貝葉斯分類器。
進(jìn)一步,所述膚色檢測(cè)模塊包括:
空間變換單元,用于將彩色人臉圖像由RGB空間變換到改進(jìn)的YCbCr空間,所采用的變換公式為:
其中,R、G和B分別為彩色人臉圖像在RGB空間的綠色分量、紅色分量和藍(lán)色分量,Y、Cb和Cr分別為彩色人臉圖像在YCbCr空間的亮度、藍(lán)色色度分量和紅色色度分量;
膚色分割單元,用于采用改進(jìn)的Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割,得到膚色分割后的圖像,所述改進(jìn)的Cb、Cr橢圓聚類方法根據(jù)彩色人臉圖像像素點(diǎn)的亮度大小進(jìn)行分段處理:若彩色人臉圖像像素點(diǎn)的亮度小于77,則直接判定該像素點(diǎn)屬于非膚色區(qū)域;若彩色人臉圖像像素點(diǎn)的亮度在77到200之間,則根據(jù)Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;若彩色人臉圖像像素點(diǎn)的亮度大于200,則在將膚色聚類時(shí)的橢圓長(zhǎng)軸和短軸同時(shí)擴(kuò)大為原來的若干倍后再采用Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;
形態(tài)學(xué)處理單元,用于對(duì)膚色分割后的圖像進(jìn)行形態(tài)學(xué)處理,所述形態(tài)學(xué)處理包括但不限于形態(tài)學(xué)濾波、填孔、閉運(yùn)算和連通域處理;
篩選單元,用于根據(jù)設(shè)定的判定條件從形態(tài)學(xué)處理后的圖像中篩選出彩色人臉候選區(qū)域,所述設(shè)定的判定條件包括連通區(qū)域的像素?cái)?shù)條件、連通區(qū)域的寬長(zhǎng)比條件、區(qū)域的填充率條件、區(qū)域面積條件和人臉外接矩形的寬長(zhǎng)比條件。
進(jìn)一步,所述彩色人臉識(shí)別模塊包括:
初始化單元,用于根據(jù)整幅彩色人臉圖像提取7幅與之相對(duì)應(yīng)的部分圖像;
并行PCA變換單元,用于對(duì)整幅彩色人臉圖像和7幅部分圖像同時(shí)采用相同的PCA模型進(jìn)行PCA變換,以提取出整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量;
分類識(shí)別單元,根據(jù)提取出的彩色人臉特征向量采用馬氏距離分類器進(jìn)行測(cè)試圖像與訓(xùn)練圖像的匹配計(jì)算,識(shí)別出整幅彩色人臉圖像和7幅部分圖像這8幅圖像的類別;
加權(quán)決策單元,用于根據(jù)整幅彩色人臉圖像和7幅部分圖像的識(shí)別結(jié)果進(jìn)行加權(quán)決策,得到彩色人臉識(shí)別的結(jié)果。
本發(fā)明的方法的有益效果是:增設(shè)了對(duì)彩色人臉圖像進(jìn)行膚色提取與分割和進(jìn)行彩色人臉識(shí)別的步驟,并根據(jù)黑白人臉識(shí)別的結(jié)果和彩色人臉識(shí)別的結(jié)果進(jìn)行加權(quán)識(shí)別,得到最終的人臉識(shí)別結(jié)果,充分利用了彩色人臉圖像的彩色信息,有效地提高了人臉的識(shí)別率;綜合采用了頻域殘差法、基于差分圖的PCA分析法、改進(jìn)的膚色檢測(cè)算法和8級(jí)并行PCA分析法來進(jìn)行人臉識(shí)別,解決了傳統(tǒng)PCA分析法識(shí)別率會(huì)隨著光照、訓(xùn)練樣本數(shù)量等因素的變化而變化的問題,更加準(zhǔn)確且魯棒性更高。
本發(fā)明的系統(tǒng)的有益效果是:增設(shè)了在膚色檢測(cè)模塊中對(duì)彩色人臉圖像進(jìn)行膚色提取與分割和在彩色人臉識(shí)別模塊中進(jìn)行彩色人臉識(shí)別的過程,并在加權(quán)識(shí)別模塊中根據(jù)黑白人臉識(shí)別的結(jié)果和彩色人臉識(shí)別的結(jié)果進(jìn)行加權(quán)識(shí)別,得到最終的人臉識(shí)別結(jié)果,充分利用了彩色人臉圖像的彩色信息,有效地提高了人臉的識(shí)別率;綜合采用了頻域殘差法、基于差分圖的PCA分析法、改進(jìn)的膚色檢測(cè)算法和8級(jí)并行PCA分析法來進(jìn)行人臉識(shí)別,解決了傳統(tǒng)PCA分析法識(shí)別率會(huì)隨著光照、訓(xùn)練樣本數(shù)量等因素的變化而變化的問題,更加準(zhǔn)確且魯棒性更高。
附圖說明
圖1為本發(fā)明一種基于雙攝像頭的智能人臉識(shí)別方法的整體流程圖;
圖2為本發(fā)明8級(jí)并行PCA分析法進(jìn)行彩色人臉識(shí)別的過程示意圖。
具體實(shí)施方式
參照?qǐng)D1,一種基于雙攝像頭的智能人臉識(shí)別方法,包括以下步驟:
通過雙攝像頭分別采集黑白人臉圖像和彩色人臉圖像;
采用頻域殘差法對(duì)黑白人臉圖像進(jìn)行顯著性檢測(cè),得到黑白顯著性圖像;
采用基于差分圖的PCA分析法在黑白顯著性圖像中進(jìn)行黑白人臉識(shí)別;
采用改進(jìn)的膚色檢測(cè)算法對(duì)彩色人臉圖像進(jìn)行膚色提取與分割,得到彩色人臉候選區(qū)域;
采用改進(jìn)的8級(jí)并行PCA分析法在彩色人臉候選區(qū)域中進(jìn)行彩色人臉識(shí)別;
根據(jù)黑白人臉識(shí)別的結(jié)果和彩色人臉識(shí)別的結(jié)果進(jìn)行加權(quán)識(shí)別,得出最終的人臉識(shí)別結(jié)果。
進(jìn)一步作為優(yōu)選的實(shí)施方式,所述采用頻域殘差法對(duì)黑白人臉圖像進(jìn)行顯著性檢測(cè),得到黑白顯著性圖像這一步驟,其具體為:
對(duì)黑白人臉圖像I(i,j)進(jìn)行頻域殘差處理,得到黑白顯著性圖像S(i,j),所述黑白顯著性圖像S(i,j)的表達(dá)式為:
其中,hn(f)和g(i,j)分別為I(i,j)的均值濾波器和高斯濾波器;*、fft、ifft和lg分別表示卷積運(yùn)算、傅里葉變換、逆傅里葉變換和以10為底的對(duì)數(shù)運(yùn)算,NORM和PH分別表示復(fù)數(shù)的模和相位。
進(jìn)一步作為優(yōu)選的實(shí)施方式,所述采用基于差分圖的PCA分析法在黑白顯著性圖像中進(jìn)行黑白人臉識(shí)別這一步驟,其包括:
獲取黑白顯著性圖像S(i,j)的水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j),所述水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)的表達(dá)式分別為:Sh(i,j)=S(i,j+1)-S(i,j),Sv(i,j)=S(i+1,j)-S(i,j);
將黑白顯著性圖像S(i,j)、水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)按行排成一列,并把每一列連成一個(gè)列向量A0;
將列向量A0歸一化為零均值向量D,然后根據(jù)零均值向量D構(gòu)建黑白人臉訓(xùn)練樣本集{Dq|q=1,2,...,n},n為訓(xùn)練樣本的總數(shù);
計(jì)算黑白人臉訓(xùn)練樣本集中每幅圖像與均值的差θq,θq的計(jì)算公式為θq=Dq-V,V為黑白人臉訓(xùn)練樣本集的均值,且
計(jì)算黑白人臉訓(xùn)練樣本集的協(xié)方差矩陣C,所述協(xié)方差矩陣C的計(jì)算公式為:C=EET,其中,E=[θ1,θ2,...,θq],T表示矩陣的轉(zhuǎn)置;
對(duì)協(xié)方差矩陣C進(jìn)行奇異值分解,得到黑白人臉的特征值;
將黑白人臉的特征值λq按照由大到小順序進(jìn)行排列,得到前m個(gè)最大特征值對(duì)應(yīng)的特征向量空間U=[u1,u2,...,um],其中,1<m<q,且
以黑白人臉訓(xùn)練樣本集的圖像作為第一訓(xùn)練圖像,D中除黑白人臉訓(xùn)練樣本集外的其它樣本的圖像作為第一測(cè)試圖像,將第一訓(xùn)練圖像和第一測(cè)試圖像投影到特征向量空間U中;
根據(jù)投影到特征向量空間U中的第一測(cè)試圖像與第一訓(xùn)練圖像選用分類器來識(shí)別出第一測(cè)試圖像的類別,并以第一測(cè)試圖像的類別作為黑白人臉識(shí)別的結(jié)果,所述分類器包括但不限于最近鄰分類器、最小距離分類器、曼哈頓距離分類器和貝葉斯分類器。
進(jìn)一步作為優(yōu)選的實(shí)施方式,采用改進(jìn)的膚色檢測(cè)算法對(duì)彩色人臉圖像進(jìn)行膚色提取與分割,得到彩色人臉候選區(qū)域這一步驟,其包括:
將彩色人臉圖像由RGB空間變換到改進(jìn)的YCbCr空間,所采用的變換公式為:
其中,R、G和B分別為彩色人臉圖像在RGB空間的綠色分量、紅色分量和藍(lán)色分量,Y、Cb和Cr分別為彩色人臉圖像在YCbCr空間的亮度、藍(lán)色色度分量和紅色色度分量;
采用改進(jìn)的Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割,得到膚色分割后的圖像,所述改進(jìn)的Cb、Cr橢圓聚類方法根據(jù)彩色人臉圖像像素點(diǎn)的亮度大小進(jìn)行分段處理:若彩色人臉圖像像素點(diǎn)的亮度小于77,則直接判定該像素點(diǎn)屬于非膚色區(qū)域;若彩色人臉圖像像素點(diǎn)的亮度在77到200之間,則根據(jù)Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;若彩色人臉圖像像素點(diǎn)的亮度大于200,則在將膚色聚類時(shí)的橢圓長(zhǎng)軸和短軸同時(shí)擴(kuò)大為原來的若干倍后再采用Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;
對(duì)膚色分割后的圖像進(jìn)行形態(tài)學(xué)處理,所述形態(tài)學(xué)處理包括但不限于形態(tài)學(xué)濾波、填孔、閉運(yùn)算和連通域處理;
根據(jù)設(shè)定的判定條件從形態(tài)學(xué)處理后的圖像中篩選出彩色人臉候選區(qū)域,所述設(shè)定的判定條件包括連通區(qū)域的像素?cái)?shù)條件、連通區(qū)域的寬長(zhǎng)比條件、區(qū)域的填充率條件、區(qū)域面積條件和人臉外接矩形的寬長(zhǎng)比條件。
參照?qǐng)D2,進(jìn)一步作為優(yōu)選的實(shí)施方式,所述采用改進(jìn)的8級(jí)并行PCA分析法在彩色人臉候選區(qū)域中進(jìn)行彩色人臉識(shí)別這一步驟,其包括:
根據(jù)整幅彩色人臉圖像提取7幅與之相對(duì)應(yīng)的部分圖像;
對(duì)整幅彩色人臉圖像和7幅部分圖像同時(shí)采用相同的PCA模型進(jìn)行PCA變換,以提取出整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量;
根據(jù)提取出的彩色人臉特征向量采用馬氏距離分類器進(jìn)行測(cè)試圖像與訓(xùn)練圖像的匹配計(jì)算,識(shí)別出整幅彩色人臉圖像和7幅部分圖像這8幅圖像的類別;
根據(jù)整幅彩色人臉圖像和7幅部分圖像的識(shí)別結(jié)果進(jìn)行加權(quán)決策,得到彩色人臉識(shí)別的結(jié)果。
進(jìn)一步作為優(yōu)選的實(shí)施方式,所述對(duì)整幅彩色人臉圖像和7幅部分圖像同時(shí)采用相同的PCA模型進(jìn)行PCA變換,以提取出整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量這一步驟,其包括:
對(duì)彩色人臉圖像進(jìn)行預(yù)處理,所示預(yù)處理包括但不限于直方圖均衡、均值濾波、灰度歸一化和像素矩陣轉(zhuǎn)換;
分別為整幅彩色人臉圖像和7幅部分圖像構(gòu)建PCA變換的訓(xùn)練圖像和測(cè)試圖像;
根據(jù)構(gòu)建的訓(xùn)練圖像同時(shí)對(duì)整幅彩色人臉圖像和7幅部分圖像進(jìn)行PCA變換,得到整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量。
參照?qǐng)D1,一種基于雙攝像頭的智能人臉識(shí)別系統(tǒng),包括:
采集模塊,用于通過雙攝像頭分別采集黑白人臉圖像和彩色人臉圖像;
顯著性檢測(cè)模塊,采用頻域殘差法對(duì)黑白人臉圖像進(jìn)行顯著性檢測(cè),得到黑白顯著性圖像;
黑白人臉識(shí)別模塊,采用基于差分圖的PCA分析法在黑白顯著性圖像中進(jìn)行黑白人臉識(shí)別;
膚色檢測(cè)模塊,用于采用改進(jìn)的膚色檢測(cè)算法對(duì)彩色人臉圖像進(jìn)行膚色提取與分割,得到彩色人臉候選區(qū)域;
彩色人臉識(shí)別模塊,用于采用改進(jìn)的8級(jí)并行PCA分析法在彩色人臉候選區(qū)域中進(jìn)行彩色人臉識(shí)別;
加權(quán)識(shí)別模塊,用于根據(jù)黑白人臉識(shí)別的結(jié)果和彩色人臉識(shí)別的結(jié)果進(jìn)行加權(quán)識(shí)別,得出最終的人臉識(shí)別結(jié)果。
進(jìn)一步作為優(yōu)選的實(shí)施方式,所述黑白人臉識(shí)別模塊包括:
獲取單元,用于獲取黑白顯著性圖像S(i,j)的水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j),所述水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)的表達(dá)式分別為:Sh(i,j)=S(i,j+1)-S(i,j),Sv(i,j)=S(i+1,j)-S(i,j);
排列單元,用于將黑白顯著性圖像S(i,j)、水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)按行排成一列,并把每一列連成一個(gè)列向量A0;
黑白人臉訓(xùn)練樣本集構(gòu)建單元,用于將列向量A0歸一化為零均值向量D,然后根據(jù)零均值向量D構(gòu)建黑白人臉訓(xùn)練樣本集{Dq|q=1,2,...,n},n為訓(xùn)練樣本的總數(shù);
差值計(jì)算單元,用于計(jì)算黑白人臉訓(xùn)練樣本集中每幅圖像與均值的差θq,θq的計(jì)算公式為θq=Dq-V,V為黑白人臉訓(xùn)練樣本集的均值,且
協(xié)方差矩陣計(jì)算單元,用于計(jì)算黑白人臉訓(xùn)練樣本集的協(xié)方差矩陣C,所述協(xié)方差矩陣C的計(jì)算公式為:C=EET,其中,E=[θ1,θ2,...,θq],T表示矩陣的轉(zhuǎn)置;
特征值計(jì)算單元,用于對(duì)協(xié)方差矩陣C進(jìn)行奇異值分解,得到黑白人臉的特征值;
特征向量空間獲取單元,用于將黑白人臉的特征值λq按照由大到小順序進(jìn)行排列,得到前m個(gè)最大特征值對(duì)應(yīng)的特征向量空間U=[u1,u2,...,um],其中,1<m<q,且
投影單元,用于以黑白人臉訓(xùn)練樣本集的圖像作為第一訓(xùn)練圖像,D中除黑白人臉訓(xùn)練樣本集外的其它樣本的圖像作為第一測(cè)試圖像,將第一訓(xùn)練圖像和第一測(cè)試圖像投影到特征向量空間U中;
分類識(shí)別單元,用于根據(jù)投影到特征向量空間U中的第一測(cè)試圖像與第一訓(xùn)練圖像選用分類器來識(shí)別出第一測(cè)試圖像的類別,并以第一測(cè)試圖像的類別作為黑白人臉識(shí)別的結(jié)果,所述分類器包括但不限于最近鄰分類器、最小距離分類器、曼哈頓距離分類器和貝葉斯分類器。
進(jìn)一步作為優(yōu)選的實(shí)施方式,所述膚色檢測(cè)模塊包括:
空間變換單元,用于將彩色人臉圖像由RGB空間變換到改進(jìn)的YCbCr空間,所采用的變換公式為:
其中,R、G和B分別為彩色人臉圖像在RGB空間的綠色分量、紅色分量和藍(lán)色分量,Y、Cb和Cr分別為彩色人臉圖像在YCbCr空間的亮度、藍(lán)色色度分量和紅色色度分量;
膚色分割單元,用于采用改進(jìn)的Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割,得到膚色分割后的圖像,所述改進(jìn)的Cb、Cr橢圓聚類方法根據(jù)彩色人臉圖像像素點(diǎn)的亮度大小進(jìn)行分段處理:若彩色人臉圖像像素點(diǎn)的亮度小于77,則直接判定該像素點(diǎn)屬于非膚色區(qū)域;若彩色人臉圖像像素點(diǎn)的亮度在77到200之間,則根據(jù)Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;若彩色人臉圖像像素點(diǎn)的亮度大于200,則在將膚色聚類時(shí)的橢圓長(zhǎng)軸和短軸同時(shí)擴(kuò)大為原來的若干倍后再采用Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;
形態(tài)學(xué)處理單元,用于對(duì)膚色分割后的圖像進(jìn)行形態(tài)學(xué)處理,所述形態(tài)學(xué)處理包括但不限于形態(tài)學(xué)濾波、填孔、閉運(yùn)算和連通域處理;
篩選單元,用于根據(jù)設(shè)定的判定條件從形態(tài)學(xué)處理后的圖像中篩選出彩色人臉候選區(qū)域,所述設(shè)定的判定條件包括連通區(qū)域的像素?cái)?shù)條件、連通區(qū)域的寬長(zhǎng)比條件、區(qū)域的填充率條件、區(qū)域面積條件和人臉外接矩形的寬長(zhǎng)比條件。
參照?qǐng)D2,進(jìn)一步作為優(yōu)選的實(shí)施方式,所述彩色人臉識(shí)別模塊包括:
初始化單元,用于根據(jù)整幅彩色人臉圖像提取7幅與之相對(duì)應(yīng)的部分圖像;
并行PCA變換單元,用于對(duì)整幅彩色人臉圖像和7幅部分圖像同時(shí)采用相同的PCA模型進(jìn)行PCA變換,以提取出整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量;
分類識(shí)別單元,根據(jù)提取出的彩色人臉特征向量采用馬氏距離分類器進(jìn)行測(cè)試圖像與訓(xùn)練圖像的匹配計(jì)算,識(shí)別出整幅彩色人臉圖像和7幅部分圖像這8幅圖像的類別;
加權(quán)決策單元,用于根據(jù)整幅彩色人臉圖像和7幅部分圖像的識(shí)別結(jié)果進(jìn)行加權(quán)決策,得到彩色人臉識(shí)別的結(jié)果。
下面結(jié)合說明書附圖和具體實(shí)施例對(duì)本發(fā)明作進(jìn)一步詳細(xì)說明。
實(shí)施例一
參照?qǐng)D1和2,本發(fā)明的第一實(shí)施例:
針對(duì)現(xiàn)有的人臉識(shí)別方法識(shí)別率不高、不夠準(zhǔn)確和魯棒性低的問題,本發(fā)明提出了一種全新的基于雙攝像頭的智能人臉識(shí)別方法。如圖1所示,該方法的具體過程如下:
(一)通過雙攝像頭分別采集黑白人臉圖像和彩色人臉圖像。
(二)采用頻域殘差法對(duì)黑白人臉圖像進(jìn)行顯著性檢測(cè),得到黑白顯著性圖像。
分析人臉圖像可知,因?yàn)槿四樀幕叶确植己捅尘坝胁町?,即人臉的灰度較周圍背景是顯著的。以此為出發(fā)點(diǎn),本發(fā)明先檢測(cè)出黑白人臉圖像中的顯著區(qū)域,再在此區(qū)域內(nèi)做識(shí)別,便可完成黑白人臉的識(shí)別工作。
檢測(cè)圖像顯著性的方法很多,本發(fā)明選用了頻域殘差這種快速而有效的方法。設(shè)黑白人臉圖像為I(i,j),則黑白顯著性圖像S(i,j)為:
其中,hn(f)和g(i,j)分別為I(i,j)的均值濾波器和高斯濾波器;*、fft、ifft和lg分別表示卷積運(yùn)算、傅里葉變換、逆傅里葉變換和以10為底的對(duì)數(shù)運(yùn)算,NORM和PH分別表示復(fù)數(shù)的模和相位。
頻域殘差方法只需對(duì)黑白人臉圖像做卷積、傅里葉及傅里葉逆變換等運(yùn)算,其計(jì)算量很小,能滿足人臉識(shí)別的實(shí)時(shí)性要求。
(三)采用基于差分圖的PCA分析法在黑白顯著性圖像中進(jìn)行黑白人臉識(shí)別。
PCA特征臉方法采用的是將圖像各行首尾相接排成一個(gè)向量,沒有考慮圖像的上下左右的相關(guān)信息(即圖像的輪廓信息)。而差值圖像能夠很好地體現(xiàn)圖像的輪廓,所以其效果要好于PCA特征臉方法。本發(fā)明綜合了這兩種方法的優(yōu)點(diǎn),提出了一種基于差分圖的PCA分析法,具體步驟如下:
(1)將黑白顯著性圖像S(i,j)看作一個(gè)二維離散信號(hào),則其水平方向的差值圖像Sh(i,j)為:Sh(i,j)=S(i,j+1)-S(i,j),其垂直方向的差值圖像Sv(i,j)為:Sv(i,j)=S(i+1,j)-S(i,j)。
(2)將黑白顯著性圖像S(i,j)、水平差值圖像Sh(i,j)和垂直差值圖像Sv(i,j)按行排成一列,并把每一列連成一個(gè)列向量A0。
(3)將列向量A0歸一化為零均值向量D(目的是抵消不同光照條件的影響),然后根據(jù)零均值向量D構(gòu)建黑白人臉訓(xùn)練樣本集{Dq|q=1,2,...,n},n為訓(xùn)練樣本的總數(shù);
(4)計(jì)算黑白人臉訓(xùn)練樣本集中每幅圖像與均值的差θq,θq的計(jì)算公式為θq=Dq-V,V為黑白人臉訓(xùn)練樣本集的均值,且
(5)計(jì)算黑白人臉訓(xùn)練樣本集的協(xié)方差矩陣C,所述協(xié)方差矩陣C的計(jì)算公式為:C=EET,其中,E=[θ1,θ2,...,θq],T表示矩陣的轉(zhuǎn)置;
(6)對(duì)協(xié)方差矩陣C進(jìn)行奇異值分解,得到黑白人臉的特征值;
(7)將黑白人臉的特征值λq按照由大到小順序進(jìn)行排列,得到前m個(gè)最大特征值對(duì)應(yīng)的特征向量空間U=[u1,u2,...,um],其中,1<m<q,且
(8)以黑白人臉訓(xùn)練樣本集的圖像作為第一訓(xùn)練圖像,D中除黑白人臉訓(xùn)練樣本集外的其它樣本的圖像作為第一測(cè)試圖像,將第一訓(xùn)練圖像和第一測(cè)試圖像投影到特征向量空間U中;
(9)根據(jù)投影到特征向量空間U中的第一測(cè)試圖像與第一訓(xùn)練圖像選用分類器來識(shí)別出第一測(cè)試圖像的類別,并以第一測(cè)試圖像的類別作為黑白人臉識(shí)別的結(jié)果,所述分類器包括但不限于最近鄰分類器、最小距離分類器、曼哈頓距離分類器和貝葉斯分類器。將第一測(cè)試圖像與第一訓(xùn)練圖像投影的特征向量空間U(即特征臉)后,可采用模式識(shí)別的理論對(duì)待識(shí)別的人臉圖像(即第一測(cè)試圖像)進(jìn)行識(shí)別。
(四)采用改進(jìn)的膚色檢測(cè)算法對(duì)彩色人臉圖像進(jìn)行膚色提取與分割,得到彩色人臉候選區(qū)域。
膚色是人臉的重要信息,不依賴于面部的細(xì)節(jié)特征對(duì)于旋轉(zhuǎn)、表情等變化情況都能適用,具有相對(duì)的穩(wěn)定性,并且和大多數(shù)背景物體的顏色相區(qū)別。為了充分利用彩色信息來進(jìn)行人臉識(shí)別,本發(fā)明提出了一種改進(jìn)的膚色檢測(cè)算法,具體過程如下:
(1)將彩色人臉圖像由RGB空間變換到改進(jìn)的YCbCr空間,所采用的變換公式為:
其中,R、G和B分別為彩色人臉圖像在RGB空間的綠色分量、紅色分量和藍(lán)色分量,Y、Cb和Cr分別為彩色人臉圖像在YCbCr空間的亮度、藍(lán)色色度分量和紅色色度分量。本發(fā)明改進(jìn)的YCbCr空間能使得Cb和Cr分量非負(fù),并能提高聚類效果和減少漏檢率。
(2)采用改進(jìn)的Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割,得到膚色分割后的圖像。其中,改進(jìn)的Cb、Cr橢圓聚類方法根據(jù)彩色人臉圖像像素點(diǎn)的亮度大小進(jìn)行分段處理:若彩色人臉圖像像素點(diǎn)的亮度小于77,則直接判定該像素點(diǎn)屬于非膚色區(qū)域;若彩色人臉圖像像素點(diǎn)的亮度在77到200之間,則根據(jù)Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;若彩色人臉圖像像素點(diǎn)的亮度大于200,則在將膚色聚類時(shí)的橢圓長(zhǎng)軸和短軸同時(shí)擴(kuò)大為原來的若干倍后再采用Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割。
AnilK.Jain根據(jù)非線形分段膚色分割得到膚色區(qū)域在Cb和Cr空間中近似于橢圓這一結(jié)論提出了橢圓聚類方法,能獲得較好的分割效果。但AnilK.Jain的Cb、Cr橢圓聚類方法對(duì)于亮度較低的區(qū)域容易誤判為膚色,對(duì)于亮度較高的膚色區(qū)域會(huì)誤判為非膚色區(qū)域,不夠準(zhǔn)確。為此,本發(fā)明提出了一種改進(jìn)的Cb、Cr橢圓聚類方法,在聚類分割前先對(duì)亮度信息進(jìn)行分段判斷,以克服AnilK.Jain的Cb、Cr橢圓聚類方法在高亮度區(qū)域和亮度較低的區(qū)域中存在的不足。通過多次實(shí)驗(yàn)統(tǒng)計(jì)表明,AnilK.Jain的Cb、Cr橢圓聚類方法對(duì)于亮度小于77的非膚色像素點(diǎn)會(huì)誤判為膚色點(diǎn)(如眼睛區(qū)域等);對(duì)于亮度大于200的膚色像素點(diǎn)會(huì)誤判為非膚色點(diǎn)。故本發(fā)明采用了以下分段方法:若彩色人臉圖像像素點(diǎn)的亮度小于77,則直接判定該像素點(diǎn)屬于非膚色區(qū)域;若彩色人臉圖像像素點(diǎn)的亮度在77到200之間,則根據(jù)Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割;若彩色人臉圖像像素點(diǎn)的亮度大于200,則在將膚色聚類時(shí)的橢圓長(zhǎng)軸和短軸同時(shí)擴(kuò)大為原來的若干倍(擴(kuò)大后得到的橢圓模型,不會(huì)再將亮度大于200的像素點(diǎn)誤判為非膚色點(diǎn))后再采用Cb、Cr橢圓聚類方法對(duì)彩色人臉圖像進(jìn)行膚色分割。
(3)對(duì)膚色分割后的圖像進(jìn)行形態(tài)學(xué)處理,所述形態(tài)學(xué)處理包括但不限于形態(tài)學(xué)濾波、填孔、閉運(yùn)算和連通域處理。
(4)根據(jù)設(shè)定的判定條件從形態(tài)學(xué)處理后的圖像中篩選出彩色人臉候選區(qū)域,所述設(shè)定的判定條件包括連通區(qū)域的像素?cái)?shù)條件、連通區(qū)域的寬長(zhǎng)比條件、區(qū)域的填充率條件、區(qū)域面積條件和人臉外接矩形的寬長(zhǎng)比條件。人臉膚色建模是根據(jù)皮膚顏色來確定的,有可能把脖子、肩膀、手臂等膚色區(qū)域或是與膚色相近的其他物體也包括了進(jìn)去,所以Cb、Cr橢圓聚類方法得到的只能是人臉的大致區(qū)域,為了排除非人臉區(qū)域,依據(jù)人臉區(qū)域的空間特征,本發(fā)明選取了連通區(qū)域的像素?cái)?shù)、連通區(qū)域的寬長(zhǎng)比、區(qū)域的填充率、區(qū)域面積和人臉外接矩形的寬長(zhǎng)比等判斷因素來得到彩色人臉候選區(qū)域。
(五)采用改進(jìn)的8級(jí)并行PCA分析法在彩色人臉候選區(qū)域中進(jìn)行彩色人臉識(shí)別。
傳統(tǒng)基于PCA的人臉識(shí)別算法雖然實(shí)現(xiàn)簡(jiǎn)單、學(xué)習(xí)速度較快,但因其識(shí)別率會(huì)隨著光照、訓(xùn)練樣本數(shù)量等因素的變化而變化,該方法不夠準(zhǔn)確且魯棒性不高。為此,本發(fā)明采用了改進(jìn)的8級(jí)并行PCA算法,來彌補(bǔ)傳統(tǒng)PCA算法在人臉識(shí)別領(lǐng)域的不足。如圖2所示,本發(fā)明改進(jìn)的8級(jí)并行PCA算法的具體實(shí)現(xiàn)過程如下:
(1)根據(jù)整幅彩色人臉圖像提取7幅與之相對(duì)應(yīng)的部分圖像。
(2)對(duì)整幅彩色人臉圖像和7幅部分圖像同時(shí)采用相同的PCA模型進(jìn)行PCA變換,以提取出整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量。
(3)根據(jù)提取出的彩色人臉特征向量采用馬氏距離分類器進(jìn)行測(cè)試圖像與訓(xùn)練圖像的匹配計(jì)算,識(shí)別出整幅彩色人臉圖像和7幅部分圖像這8幅圖像的類別。
該過程可進(jìn)一步細(xì)分為:
對(duì)彩色人臉圖像進(jìn)行預(yù)處理,所示預(yù)處理包括但不限于直方圖均衡、均值濾波、灰度歸一化和像素矩陣轉(zhuǎn)換;
分別為整幅彩色人臉圖像和7幅部分圖像構(gòu)建PCA變換的訓(xùn)練圖像和測(cè)試圖像;
根據(jù)構(gòu)建的訓(xùn)練圖像同時(shí)對(duì)整幅彩色人臉圖像和7幅部分圖像進(jìn)行PCA變換,得到整幅彩色人臉圖像和7幅部分圖像的彩色人臉特征向量。
(4)根據(jù)整幅彩色人臉圖像和7幅部分圖像的識(shí)別結(jié)果進(jìn)行加權(quán)決策,得到彩色人臉識(shí)別的結(jié)果。
本發(fā)明基于并行PCA算法的人臉識(shí)別技術(shù),首先對(duì)原始彩色人臉圖像進(jìn)行預(yù)處理,如灰度歸一化和中值濾波等操作,以消除圖像噪聲、光照等因素造成的影響,使得特征提取更加準(zhǔn)確可靠;然后,通過8級(jí)并行PCA模型獲取數(shù)據(jù)的不同特征矩陣,然后將訓(xùn)練圖像和測(cè)試圖像分別進(jìn)行特征空間的投影,利用馬氏距離函數(shù)進(jìn)行人臉的匹配,最后根據(jù)訓(xùn)練得到的8個(gè)特征向量進(jìn)行加權(quán)決策。
(六)根據(jù)黑白人臉識(shí)別的結(jié)果和彩色人臉識(shí)別的結(jié)果進(jìn)行加權(quán)識(shí)別,得出最終的人臉識(shí)別結(jié)果。在加權(quán)識(shí)別時(shí),可根據(jù)實(shí)際需要為黑白人臉識(shí)別的結(jié)果和彩色人臉識(shí)別的結(jié)果賦予不同的權(quán)值,最終得到融合黑白特征信息和彩色特征信息的識(shí)別結(jié)果。
以上是對(duì)本發(fā)明的較佳實(shí)施進(jìn)行了具體說明,但本發(fā)明并不限于所述實(shí)施例,熟悉本領(lǐng)域的技術(shù)人員在不違背本發(fā)明精神的前提下還可做作出種種的等同變形或替換,這些等同的變形或替換均包含在本申請(qǐng)權(quán)利要求所限定的范圍內(nèi)。