本發(fā)明涉及圖像處理與模式識別技術(shù)領(lǐng)域，具體涉及一種融合差分子空間與正交子空間的圖像集分類方法。

技術(shù)背景

圖像分類屬于模式識別范疇，圖像集分類作為圖像分類的一個擴展，隨著視頻監(jiān)控技術(shù)的快速發(fā)展和互聯(lián)網(wǎng)的普及，受到了越來越多的重視。傳統(tǒng)的圖像分類方法大部分都以單幅圖像為分析單元，或者在訓練過程中對同類的一組圖像進行分析提取判別特征，但這些方法在最終識別過程中都是以單幅圖像為測試單元進行分類。圖像集分類方法是指以多幅相同類別圖像組成的圖像集作為單元進行分析訓練和最終的判別分類的方法。相比傳統(tǒng)的基于單幅圖像的圖像分類方法，以圖像集為分類單元的圖像集分類方法具有較多的優(yōu)勢，特別在識別目標具有較大的變化時，如姿態(tài)、光照、不同場景等，由于圖像集包含了物體多幅不同的圖像，因此圖像集往往具備更多的可提供判別的信息，因而能夠有效提高識別能力。

目前圖像集分類方法中，主要有兩個需解決的重要問題：1)如何尋找有效的圖像集表達方式；2)如何度量兩個圖像集之間的相似度(或距離)。在表達圖像集的方式上，子空間是其中最受關(guān)注的表達圖像集的一種方式，近十多年來，以子空間為基礎(chǔ)進行圖像集分類一直是圖像集分類的主流方法。最近(2015年)出現(xiàn)了一種基于廣義差分子空間(Generalized Difference Subspace，GDS)的圖像集分類方法(Fukui K，Maki A.Difference Subspace and Its Generalization for Subspace-Based Methods[J].IEEE Trans.Pattern Anal.Machine Intell.(PAMI)2015，37(11)：2164-2177.)，實際上它是2003年提出的受限互子空間方法(Constrained Mutual Subspace Method，CMSM)的推廣?；趶V義差分子空間的圖像集分類方法通過利用所有參考圖像集的線性子空間建立了一個基于它們的差分子空間，并將所有原始子空間投影到該差分子空間上，從而獲得更具判別力的新子空間，最后使用互子空間方法(Mutual Subspace Method，MSM)進行相似度度量并分類，因此該方法簡寫為GDS+MSM方法。該差分子空間是所有訓練圖像集子空間的公共子空間中，對應特征值較小的特征向量所組成的差分成分。GDS+MSM方法認為這些差分成分能夠有效提取原來各個圖像集子空間中具有差別的判別信息，從而有效區(qū)別不同類別的子空間。

早在2007年，一種基于白化互子空間(Whitened Mutual Subspace Method，WMSM)的圖像集分類方法(Kawahara T，Nishiyama M，Kozakaya T，et al.Face recognition based on whitening transformation of distribution of subspaces[C].Proceedings of the Asian Conference on Computer Vision Workshops，Subspace2007，2007：97-103.)被提出，它的基本理論是通過一個白化矩陣將所有不同類別的子空間都變成互相正交的子空間。因此，如果兩個子空間正交，那么它們之間的相似度最??；如果它們之間的夾角越小，相似度越大。通過白化矩陣的變換，使不用類別的圖像集之間的相似度減至最小。因此該方法也叫做正交互子空間方法，于是在GDS+MSM方法的論文里WMSM也被稱作為Orth+MSM方法，簡稱其白化矩陣為正交子空間。Orth+MSM的正交子空間是由所有訓練圖像集線性子空間的公共子空間的最大的特征值所對應的特征向量組成，并且對該部分特征空間進行白化處理而得到。

然而，可以看到GDS+MSM和Orth+MSM方法都存在著一個共同的問題，兩種方法都舍棄了各自公共子空間中的部分特征空間。例如GDS+MSM只使用公共子空間中小的特征值所對應的特征空間，丟棄大的特征值所對應的特征空間。而Orth+MSM則只使用公共子空間中大的特征值所對應的特征空間，丟棄小的特征值所對應的特征空間。另外，可以發(fā)現(xiàn)這兩種具有相似算法框架的方法卻各自使用彼此被丟棄的特征空間用作子空間的判別分析，這實際上也說明了訓練圖像集的公共子空間的所有特征空間實際上都具有判別信息。因此本發(fā)明將使用公共子空間中所有的特征空間進行判別分析。本發(fā)明提出使用最優(yōu)融合分割點的方法融合差分子空間與正交子空間，建立一個滿秩的投影變換矩陣，從而提取更具有判別能力的子空間，用于圖像集分類。

技術(shù)實現(xiàn)要素：

本發(fā)明的目的在于提出一種融合差分子空間與正交子空間的圖像集分類方法(Fusion of Difference subspace and Orthogonal subspace，F(xiàn)DO)。根據(jù)基于差分子空間的GDS+MSM方法和基于正交子空間的Orth+MSM方法，它們都使用了一個相似的投影變換矩陣來產(chǎn)生新的更具有判別力的圖像集子空間來進行圖像集的分類。本方法將整合這兩種不同的投影變換矩陣，建立一個能充分利用所有判別特征空間的新的滿秩投影變換矩陣。同時本方法使用最優(yōu)融合分割點的方法來融合該兩種投影變換矩陣。具體實施步驟包括了訓練過程、測試過程和參數(shù)估計過程：

1.訓練過程

(1)給定樣本集合，生成各個圖像集的子空間。

對于給定的C個d維不同類別的訓練圖像集的子空間的自相關(guān)矩陣(其中Φ_i是第i個子空間的標準正交基)，所有樣本子空間都在L個D(D≥d)維數(shù)據(jù)空間上的樣本圖像集k＝1，...，C中生成。

(2)生成所有訓練圖像集子空間的公共子空間。

用奇異值分解(SVD)對矩陣進行分解得到Λ是一個對角元素為G的從大到小排列的特征值為的D×D對角陣；而H是矩陣G的一個D×D維標準正交基，即所有訓練圖像集的公共子空間。

(3)使用最優(yōu)分割點方法在公共子空間上融合差分子空間與正交子空間。

該步驟是本發(fā)明的重點，本發(fā)明將使用一個驗證得到的最優(yōu)分割點ρ^*，將公共子空間，即標準正交基H，分成兩個部分，參見圖2，然后對兩部分特征空間按照特征值大小分別進行處理。對于大的特征值部分所對應的特征空間，即正交子空間，本發(fā)明按照正交子空間方法，使用一個白化矩陣對其進行白化處理，用分割點ρ^*將特征空間分為兩個部分，H＝[H_a H_b]，分別對應特征值大的部分Λ_a和特征值小的部分Λ_b：Λ＝[Λ_a Λ_b]。

那么，正交子空間為：其中Λ_a是由ρ^*個最大特征值組成的對角陣，而ρ^*是參數(shù)估計中得到的最優(yōu)分割點。差分子空間使用固定的權(quán)值加權(quán)差分特征空間，因此本發(fā)明設定差分子空間的權(quán)重使用分割點所對應的特征值用以下公式得出差分子空間：為從大到小排列的第ρ^*個特征值，也是正交子空間與差分子空間的分割點。

最后將兩部分空間進行融合：Θ＝[Θ_a Θ_b]，得到最終新的滿秩的投影變換矩陣。

(4)將第k類的一個圖像集的所有樣本投影到融合的投影變換矩陣Θ上，并得到投影后的樣本這里τ(·)表示樣本投影變換運算；

(5)對變換后的樣本用主元分析方法(PCA)提取d維線性子空間S_k，并用其一個標準正交基Φ_k來表示。

2.測試過程

(1)對給定的一個測試圖像集將其中的每個樣本都投影到融合的投影變換矩陣Θ上，得到新的圖像集

(2)采用PCA方法對變換后的樣本集提取d維線性子空間S^te，用一個標準正交基Φ^te表示。

(3)采用互子空間方法(MSM)比較Φ^te和所有經(jīng)過投影的訓練圖像集子空間的標準正交基的相似度。

(4)使用最近鄰分類器(NN)進行分類。

3.參數(shù)估計過程

在訓練過程當中，需要確定在所有維度的公共子空間中，差分子空間與正交子空間的分割點，在本發(fā)明中，通過建立實驗評估，尋找最優(yōu)的融合分割點。

(1)首先建立用于參數(shù)估計的訓練集合和測試集合；

(2)根據(jù)所有訓練圖像集公共子空間的從大到小排列的特征譜，設定正交子空間與差分子空間在整個公共子空間中的初始分割點ρ₁；

(3)使用融合差分子空間與正交子空間的圖像集分類方法的訓練過程和測試過程，進行圖像集識別，從而得出識別率χ₁；

(4)按照一定的步進，改變分割點在特征譜上的位置，設定一個新的分割點ρ₂；

(5)重復第(3)-(4)步，得出對應不同分割點的不同識別率(可使用多次交叉試驗得到的平均識別率爭強泛化能力)；

(6)建立識別率和對應分割點位置的曲線圖，找出最優(yōu)的識別率對應的分割點ρ^*，最后使用該分割點為最優(yōu)融合分割點。

本發(fā)明的優(yōu)點在于找出了分別基于差分子空間和正交子空間的圖像集分類方法都丟失公共子空間的部分信息而進行圖像集分類的問題，從而對該問題進行分析和提出解決辦法。本發(fā)明提出使用最優(yōu)融合分割點的方法融合差分子空間與正交子空間技術(shù)，并組成一個滿秩的投影變換矩陣，從而產(chǎn)生能夠充分利用所有訓練圖像集子空間的公共子空間中的所有判別信息。使用最優(yōu)分割點的方法解決差分子空間與正交子空間的融合點，可以得到最適合、識別率最優(yōu)的融合方式。

附圖說明

圖1為融合差分子空間與正交子空間的圖像集分類方法實現(xiàn)流程圖。

圖2為差分子空間與正交子空間的融合方式示意圖。

圖3為差分子空間與正交子空間的最優(yōu)融合分割點選擇方法曲線圖。

具體實施方式

下面以本發(fā)明在YouTube Celebrities人臉數(shù)據(jù)集中進行圖像集分類為例，說明本發(fā)明的具體實施過程。

YouTube Celebrities人臉數(shù)據(jù)集是一個大型的名人網(wǎng)絡視頻數(shù)據(jù)庫，視頻數(shù)據(jù)都取自YouTube網(wǎng)站。它包含了47個人共1910個視頻序列。實施過程挑選了其中的453個視頻序列作為驗證數(shù)據(jù)；同時為了實現(xiàn)參數(shù)的估計，抽取了其中341個視頻序列用于估計最優(yōu)融合分割點。對于每個視頻序列抽取其中的視頻幀，由此建立一個圖像集。而對于每個人的參考(訓練)圖像集包含1-3個圖像集，而測試集則包含有0-12個圖像集，每個圖像集都包含了在視頻幀中選取的較好的50幅人臉圖像。而每幅人臉圖像都使用一個級聯(lián)的人臉分類器檢測并切割成只包含人臉區(qū)域的圖像，最后得到20×20像素大小的灰度人臉圖像。

本發(fā)明的具體實施過程分為兩個部分：

1.參數(shù)估計

實施過程首先要建立評估最優(yōu)分割點的實驗。本實施例選取所有圖像集中的341個圖像集用作最優(yōu)分割點的估計基礎(chǔ)數(shù)據(jù)。其中每個類別都選取1-3個圖像集作為訓練集或參考集，建立包含122個圖像集的訓練集，剩余的219個圖像集用作測試。為了使參數(shù)估計的泛化性和魯棒性，參數(shù)估計過程進行重復隨機抽取交叉驗證的方法，隨機交叉抽取10組以上的訓練集與測試集進行實驗。

按照發(fā)明內(nèi)容的參數(shù)估計步驟，需要重復執(zhí)行如圖1所示的訓練過程和測試過程多次以得到最終最優(yōu)參數(shù)。首先根據(jù)從大到小排列特征譜對應的公共子空間，使用初始的差分子空間與正交子空間分割點ρ₁建立訓練過程，如選擇ρ₁＝10，即分割整個公共子空間為10維度的正交子空間和390維度的差分子空間。根據(jù)所有訓練圖像集，合并所有相同類別的圖像集為單一圖像集，得到1-C個圖像集，采用主元成分分析得到每個圖像集的線性子空間，每個線性子空間的維度選擇為16。根據(jù)所有訓練子空間，用奇異值分解計算它們的公共子空間H＝[H_a H_b]。然后參見圖2，根據(jù)分割點ρ₁，對公共子空間的不同部分進行加權(quán)，得到不同大小的正交子空間和差分子空間，并將它們進行合并，得到融合的滿秩投影變換矩陣Θ＝[Θ_a Θ_b]。

接著將所有訓練和測試圖像集都投影到滿秩的投影變換矩陣上，并使用主元分析方法(PCA)重新建立能夠整體代表圖像集的線性子空間，然后使用互子空間方法(MSM)進行不同子空間之間的相似度度量，最后采用最近鄰分類器進行分類得到識別率χ₁。

為了得到具有泛化能力和魯棒的最優(yōu)融合分割點，實施過程在341個用于參數(shù)估計的圖像集中重新進行隨機交叉分配訓練集和測試集，并再次執(zhí)行上述的圖像集分類過程，得到新的識別率χ₂。在整個參數(shù)估計過程中，建立了10次這樣的識別過程，這樣就得到了10個對應分割點ρ₁的識別率對這10個識別率計算其均值，記為

根據(jù)從大到小排列特征譜對應的公共子空間，采用步進法(本發(fā)明采用10個維度的步進)更改差分子空間與正交子空間在整個公共子空間中的分割點位置為ρ₂＝20，重復以上的圖像集分類過程，得到對應m個不同分割點上的m個平均識別率建立對應分割點和平均識別率之間關(guān)系的曲線圖，參見圖3，其中橫坐標是不同分割點在從大到小排列的特征譜上的位置，縱坐標是對應的平均識別率。根據(jù)曲線圖關(guān)系，最終得到最優(yōu)平均識別率對應的最優(yōu)融合分割點ρ^*，在本次具體實施過程中，參見圖3所示，可以看到，對應YouTube Celebrities人臉數(shù)據(jù)集得到的最優(yōu)融合分割點為ρ^*＝60。

2.使用估計的最優(yōu)融合分割點驗證本發(fā)明的有益效果

為驗證本發(fā)明的有益效果，驗證過程將在整個選出的數(shù)據(jù)集中進行圖像集分類?？偣舶?53個圖像集，其中選擇47個不同類別的122個圖像集作為訓練圖像集，而剩下的331個圖像集作為測試集。為了得到更泛化的結(jié)果，實施過程將重復隨機抽取不同的訓練集和測試集的組合10次，最后取10次的平均值和標準差作為最終的分類結(jié)果。

參照圖1，再次執(zhí)行上述參數(shù)估計中的訓練過程和測試過程，不同的是在這次有效性驗證過程中不再改變分割點，而是使用估計的最優(yōu)分割點。對于其中的一組數(shù)據(jù)，首先進行圖像集的訓練過程，根據(jù)參數(shù)估計過程得到的最優(yōu)分割點ρ^*＝60，按照圖1的步驟和圖2的融合模式，建立所有類別的訓練圖像集的融合投影變換矩陣，然后將所有訓練和測試圖像集都投影到該滿秩的融合投影變換矩陣上，并使用主元分析方法(PCA)重新建立所有圖像集的線性子空間，接著使用互子空間方法(MSM)進行不同子空間之間的相似度度量，最后采用最近鄰分類器進行分類得到最終識別率。

為了公平展示本發(fā)明相比其它方法的有益效果，本實施過程除了選取和本發(fā)明息息相關(guān)的Orth+MSM和GDS+MSM方法外，還選取了最經(jīng)典和近期使用子空間技術(shù)來實現(xiàn)圖像集分類的相關(guān)方法進行比較。其中包括了1998年提出的經(jīng)典的互子空間方法(MSM)(Yamaguchi O，F(xiàn)ukui K，Maeda K I.Face recognition using temporal image sequence[C].Proceedings of the IEEE International Conference on Automatic Face and Gesture Recognition(FG)，1998：318-323)，2007年提出的典型相關(guān)判別分析方法(DCC)(Kim T K，Kittler J，Cipolla R.Discriminative learning and recognition of image set classes using canonical correlations[J].IEEE Trans.Pattern Anal.Machine Intell.(PAMI)，2007，29(6)：1005-1018)，2008年提出的Grassmann流形判別分析方法(GDA)(Hamm J，Lee D D.Grassmann discriminant analysis：A unifying view on subspace-based learning[C].Proceedings of the International Conference on Machine Learning(ICML)，2008：376-383)，2011年提出的基于圖理論的Grassmann流形判別分析方法(GGDA)(Harandi M T，Sanderson C，Shirazi S.et al.Graph Embedding Discriminant Analysis on Grassmannian Manifolds for Improved Image Set Matching[C].Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition(CVPR)，2011：2705-2712)，和2015年的Grassmann流形最近鄰點方法(GNP)(Grassmann manifold for nearest points image set classification[J].Pattern Recognition Letters，2015，68：190-196)。這里給出以上所有方法在10組YouTube Celebrities人臉測試數(shù)據(jù)中的平均識別率和標準差，和本發(fā)明所提出的方法進行比較結(jié)果如表1所示。

表1圖像集分類識別率比較

可以看出，本發(fā)明相比于2015年提出的廣義差分子空間(GDS+MSM)方法和2007年的正交子空間方法(Orth+MSM)有更好的識別率，是因為GDS+MSM方法只使用了差分子空間作判別分析，而Orth+MSM方法只使用了正交子空間作判別分析；然而，本發(fā)明同時使用了差分子空間和正交子空間作判別分析，并采用最優(yōu)融合分割點的方法得到參數(shù)最優(yōu)的融合方式。因此本發(fā)明是前兩種方法的進一步改進，從而獲得了更好的判別能力。

另外，本發(fā)明相比于其它經(jīng)典的、目前流行的基于子空間的圖像集分類方法也具有更好的識別結(jié)果，如表1所示。因此，本發(fā)明所提出一種融合差分子空間與正交子空間的圖像集分類方法在使用子空間技術(shù)進行圖像集分類上體現(xiàn)出了更好的有益效果。

以上所述的具體實施例，僅為本發(fā)明的一個具體實施例，并非因此限制本發(fā)明的專利范圍。凡根據(jù)本發(fā)明的發(fā)明內(nèi)容，對本發(fā)明實施例進行簡單修改、等同替換等不脫離本發(fā)明宗旨范圍的變動，均應涵蓋在本發(fā)明權(quán)利要求的保護范圍內(nèi)。