專利名稱：基于離散度約束非負稀疏編碼的自然圖像特征提取方法
技術領域：
本發(fā)明涉及數字圖像處理的技術領域，特別涉及數字圖像處理技術中一種基于離散度約束非負稀疏編碼 (Dispersion ConstraintBased Non -negative Sparse Coding,
DCB-NNSC)的圖像特征提取方法。
背景技術：
隨著信息化社會的到來，人們獲取的信息已經不是局限在數字、符號、文本等信 息，而是越來越多的圖像信息。由于圖像信息大多數具有很高的維數，或者是獲得的圖像 數量巨大，這給存儲和處理圖像信息帶來很大的不便。對于實時系統(tǒng)來說，無疑是難以實現(xiàn) 的。而且在大多數情況下，不能直接在這些測量空間中進行目標分類和識別。這一方面是 因為測量空間的維數很高，不適宜分類器和識別方法的設計，更重要的是這樣一種描述并 不能直接反映測量對象的本質，并且它隨攝像機位置、照度、運動等因素的變化而變化。因 此為了進行分類器和識別方法的設計，需要把圖像從測量空間變換到維數大大減少的特征 空間，被研究的圖像在這個特征空間中就由一個或幾個特征向量來表示見文獻邊肇祺， 張學工.模式識別(第二版)[M].北京清華大學出版社，1999.。因此，特征提取技術成 為目標分類和識別中的關鍵技術，越來越受到科研人員的關注，成為模式識別研究的一個執(zhí)占。近年發(fā)展起來的獨立分量分析ICA、稀疏編碼SC、非負矩陣分解NMF、非負稀疏編 碼NNSC等方法從數據間的高階統(tǒng)計相關性角度出發(fā)，提取圖像內部特征，更有效地利用 了輸入數據在統(tǒng)計關系上的本質特征。而且神經生理的研究已表明見文獻=Olshausen B. A,Field D. J. Emergence of simple-cell receptive field properties bylearning a sparse code for natural images [J]. Nature, 1996,381 :607_609.,靈長類的視皮層對自 然圖像的表達采用的是SC策略，能夠有效地抽取圖像的內部特征；所得到的特征基函數在 變換域中具有局部性和方向性，對不同方向的細節(jié)敏感，其疊加系數可同時實現(xiàn)圖像的稀 疏編碼。同樣，與SC基函數對應的空間濾波器組也被看成是一組具有帶通特性的濾波器， 用以模擬模擬人眼初級視覺系統(tǒng)Vl區(qū)簡單細胞感受野的特性。雖然SC算法能夠在一定程度上較好地模擬人眼初級視覺系統(tǒng)Vl區(qū)的生理特性， 但是它并不完全符合人眼視覺生理的特性?？紤]人眼數據處理的生理特性，HoyerP. 0最先 提出了非負稀疏編碼算法(NNSC)見文獻Hoyer P. 0. Non-negative sparse coding[C], InNeural Networks for Signal Processing XII(Proc. IEEE Workshop onNeural Networks for Signal Processing, Martigny, Switzerland, 2002 :557_565.),相對 SC 算 法得到的特征而言，該訓練算法得到的特征更逼近人眼視覺生理特性。雖然SC算法和非負 稀疏編碼算法都能模擬人眼視覺生理模型，能夠抽取圖像特征，但是它們均沒有考慮圖像 類別的信息，所提取的特征并不能更好地用于模式識別。而本發(fā)明所提出的基于離散度約 束非負稀疏編碼的圖像特征提取方法在優(yōu)化訓練時考慮了類別約束先驗信息，不僅能夠有 效地提取圖像的特征，同時所提取的特征更有利于進行模式分類和識別。
發(fā)明內容
本發(fā)明的目的是克服現(xiàn)有技術NNSC圖像特征提取方法中的不足，提出一種新的 基于離散度約束非負稀疏編碼(DCB-NNSC)的圖像特征提取方法。本發(fā)明的技術原理是首先利用隨機采樣的方法對圖像分塊處理(假設訓練圖像 無噪聲)；為了減少圖像數據的計算量，利用2D-PCA算法降低訓練圖像的維數；對降維圖像 數據進行非負處理，得到DCB-NNSC訓練算法的輸入數據矩陣；為加快尋找最優(yōu)特征基的速 度，采用2D-Gab0r小波對降維的圖像進行特征基初始化處理；然后確定稀疏懲罰函數和稀 疏系數類內和類間離散度比值；再根據圖像最小誤差、稀疏懲罰函數和稀疏系數類內與類 間離散度最小比值約束(即類別約束)構成的目標函數，訓練得到DCB-NNSC特征基矩陣； 最后，利用徑向基概率神經網絡分類器實現(xiàn)識別?？紤]訓練圖像含有噪聲時，首先進行消噪 處理，再重復上述過程即可。本發(fā)明的技術方案是一種基于離散度約束非負稀疏編碼的圖像特征提取方法， 包括如下處理步驟1)構造圖像數據訓練集合，包括圖像分塊處理、圖像數據降維處理、數據非負處 理，初始化DCB-NNSC算法的特征基矩陣A。2)確定稀疏懲罰函數采用自適應圖像特性的正態(tài)逆高斯(NIG)密度模型作為先 驗稀疏密度分布，對其求負對數作為稀疏懲罰函數，即f (·) = _log[p( ·)]，隨機變量y的 NIG模型如下式所示 其中，參數α控制密度分布的斜率；參數β控制著密度偏斜度，β <0，密度向左 偏斜；β >0，密度向右偏斜；β =0，意味著關于中心參數μ對稱的密度分布；參數δ是 一個正尺度參數，它調節(jié)α和β，使得α — α δ，β — β δ關于局部尺度參數μ保持 密度分布形狀不變；由樣本數據估計得到的前四階累積量計算四變量參數[α，β, μ, δ] 3)確定稀疏特征系數的類內與類間離散度對數比值約束設定特征系數數據集合S= [SnSySyLSyI^Sc],其中S1, S2L Sk為第k類特征 系數樣本集合，k= 1,2,3, L, C，C為類別數；每個Sk均為一個矩陣，Sk包含的數據點個數 為nk，則特征系數的類內離散度矩陣Sw和類間離散度矩陣Sb分別通過以下公式求出 其中，^t = 1Σ & mk為第k類樣本均值向量；s是指第k類特征系數樣本集合中
SGSk
nk個數據點； 其中M = ;m為所有類別樣本的均植，η為所有類別樣本的總個數；類內和類間的離散度比值如下式所示 類內離散度Sw和類間離散度Sb反映的是數據集的二階統(tǒng)計信息，二者都是對數據 集的一種全局描述。3 越小，表示類內聚集程度越大；SB越大，表示類間散布越大，因此類內 和類間的離散度比值越小表示類內聚集性越好；在優(yōu)化DCB-NNSC算法的最小目標函數時，為了便于求導運算，我們利用SjP Sb的
對數比值作為類別信息約束項 4)基于離散度約束非負稀疏編碼(DCB-NNSC)目標函數的建模考慮利用提取的特征重構圖像的誤差最小、特征系數自適應稀疏分布、類內離散 度Sw和類間離散度Sb對數比值最小三個因數，構成基于離散度約束非負稀疏編碼的目標函 數，如下所示 上式的約束為
，其中，
C7t = J^j] ’參數λ表示正的常數，X= (X1, X2, !^，^工表示預處理后的自然圖像數據(由
步驟1.3得到，大小為2nX5XL*N) ；A為2nXm維特征基矩陣，
,為特征矩陣A中第i列列向量；S為mX5XL ·Ν維特征系數矩陣，
的第i行行向量；稀疏懲罰函數f(·) =_log[p(·)]，ρ(·)由式(1)
計算得到；由(6)式計算得到。 V Sb y5)特征系數S和特征基A的更新規(guī)則采用梯度算法輪流更新特征系數S和特征基A，如先固定A不變，利用梯度算法更 新特征系數S ；然后再固定S，對A實現(xiàn)更新；A的迭代過程如下 特別包括特征系數S的更新 上式中 _稀疏懲罰函數 使用上述A和S更新公式即可以提取出圖像集合的局部特征，提取的特征基不僅 具有非常清晰的方向性、局部性和邊緣特性，而且還包含了類別信息，使用這些特征，不僅 可以較好地重構同類圖像，而且還有利于進行圖像識別。6)識別將訓練和測試圖像進行圖像預處理后，分別應用DCB-NNSC算法進行優(yōu)化學習，得 到訓練特征矩陣、訓練稀疏系數矩陣和測試特征矩陣、測試稀疏系數矩陣，然后采用徑向基 概率神經網絡(radialbasis probabilistic neural networks, RBFNN)分類器實現(xiàn)分類， 得到識別結果。上述步驟1)中的所述的圖像分塊處理為首先選取圖像屬性相同的N幅自然圖 像，對每幅圖像采用二維經驗模式分解(BEMD)，把每幅圖像按照頻率分成六層，去除殘余分 量，每幅圖像僅利用BEMD分解后的IMFl IMF5五層分量；然后再把每幅IMF圖像分割成 pXp大小的L個子圖像塊，得到大小為p2X5XL · N的輸入圖像矩陣；上述步驟1)中的所述的圖像降維處理為利用2D-PCA實現(xiàn)圖像數據降維，分為以 下步驟①計算子圖像數據集合的協(xié)方差矩陣在現(xiàn)有數據集中，首先對訓練子圖像數據
進行去均值(標準化)處理，然后求協(xié)方差矩陣G，即
其中\(zhòng)是訓練子圖像塊，M為訓練子圖像塊數目，為所有子圖像塊均值。②計算主元個數設U為特征向量矩陣，D為特征值對角矩陣，則GXU = UXD。選 擇前d個較大特征值對應的特征向量構成的特征矩陣
，計算訓練樣本的 主元，即= 廠無)…。上述步驟1)中的所述的數據非負處理為在降維后的圖像數據集合中，所有正的 元素組成矩陣χ。η，零和所有負元素取絕對值后組成矩陣Xoff ；利用X。n和X。ff構成一個非負 數據矩陣 上述步驟1)中的所述的初始化DCB-NNSC算法的特征基矩陣A為利用8個方向， 每個方向上有8個頻率尺度的2D-Gabor小波基初始化DCB-NNSC算法的特征基矩陣A。
上述步驟6)中所述的RBPNN神經網絡模型是一個四層神經網絡模型，包括一個 輸入層，兩個隱層，一個輸出層，其中第一隱層主要由樣本空間中每個模式類別的中心矢量(也被稱之為隱中心矢量)組成，在結構上等同于RBFNN的第一層；第二隱層等同于PNN的 隱層，其節(jié)點執(zhí)行求和運算；第三層等同于RBFNN的第二層，其輸出節(jié)點與RBFNN—樣，都是 線性的；第四層為輸出層。因此，RBPNN模型結合了 RBFNN和PNN模型的優(yōu)點，同時又避開 了二者的缺點，因而具有較高的分類性能。本發(fā)明的優(yōu)點是提出一種新的基于離散度約束非負稀疏編碼(DCB-NNSC)的圖像 特征提取方法，該方法不僅能夠模擬人眼初級視覺系統(tǒng)Vl區(qū)神經元的感受野特性，有效地 提取圖像的局部特征；而且與標準的非負稀疏編碼算法相比，提取的圖像特征具有更清晰 的方向性和邊緣特性；同時利用類內和類間離散度比值最小約束，還能使類內數據更緊密 地聚合在一起而使類間距離盡可能地增大；用于圖像識別中，該發(fā)明能夠提高識別性能。
圖1是實驗總體框圖(基于離散度約束非負稀疏編碼(DCB-NNSC)的圖像特征提 取方法流程圖)。圖2是掌紋圖像ROI區(qū)域提取過程，經過掌紋定位分割預處理后得到一幅大小為 128X128像素的掌紋ROI區(qū)域圖像，該掌紋圖像來自香港理工大學的掌紋數據庫，其中 (a)原始圖像；(b) 二值化圖像；(c)邊界跟蹤；(d)建立坐標系統(tǒng)；(e)提取掌紋圖像的中心 部分；(f)提取的子圖像。圖3是BEMD分層圖像，一幅大小為128X 128像素的掌紋圖像經過BEMD六層分解 后的前五個IMF分量，殘余分量忽略；其中，(a)第一層IMF分量；(b)第一層IMF分量；(c) 第一層IMF分量；(d)第一層IMF分量；(e)第一層IMF分量。(a)原圖像；(b) IMFl分量得 到的圖像；(c) IMF2分量得到的圖像；(d) IMF3分量得到的圖像；(e) IMF4分量得到的圖像； (f) IMF5分量得到的圖像。圖4是2D-PCA基圖像，2D-PCA降維后得到的前40個主分量基圖像。圖5利用2D-Gab0r小波進行8方向，8頻率尺度分解后得到的64個幅值圖譜。圖6利用64個幅值圖譜重構得到的圖像。圖7是0=4=0，3=1，0取不同值對應的對數NIG密度的NIG稀疏分布 圖。圖8是是α = 7，μ = 0，δ = 1，β取不同的值對應的對數NIG密度的NIG稀 疏分布圖。圖9是基于DCB-NNSC的掌紋圖像訓練集合的特征基，其中(a)是ON-charmel的 特征基圖像，(b)是OFF-channel的特征基圖像，(c)是ON-channel和0FF_channel相減 后的特征基偏差圖像。DCB-NNSC特征基，(a) ON-channel特征基；(b) OFF-channel特征基； (c)ON-channel和OFF-channel之間的偏差特征基。圖10是真實匹配與冒名匹配的匹配值分布圖。
具體實施例方式香港理工大學(HongKong Polytechnic University-PolyU)提供的掌紋圖像數 據庫(http://WWW. comp. polyu. edu. hk/ biometrics)是用于研究掌紋識別的常用數據 庫。該掌紋數據庫來源于不同性別和年齡段(30歲以下，30-50歲之間，50歲以上)的人群。該數據庫有386個人共7752幅圖像，每一幅圖像的大小為384X284像素(75dpi)。我們使 用此數據庫中的100個人的600幅掌紋圖像(即每個人有6幅掌紋圖像)作為實驗圖像， 選擇每個人的前三幅掌紋圖像作為訓練圖像，后三幅掌紋圖像作為測試圖像。訓練圖像和 測試圖像分別是在不同的光照條件下、使用不同的圖像采集儀器獲取的，且它們之間的采 樣時間間隔約為2個月。圖1為實驗方法總體框架，本發(fā)明可以分為下列步驟步驟1.構造圖像數據訓練 集合和測試集合。在PolyU掌紋數據庫中選擇前100個人的600幅圖像，選擇每個人的前三幅圖像 作為訓練集合(列向量大小為300)，后三幅圖像作為測試圖像(列向量大小為300)。對每 幅掌紋圖像采用張大鵬等人提出的定位分割方法提取出掌紋圖像的R0I區(qū)域，得到大小為 128X128的子圖像，如圖2所示；對每一幅圖像利用BEMD方法從高頻到低頻依次分解成5 層圖像，不考慮每層分解的殘余量，使用BEMD分解得到的前五個IMF分量構成的圖像作為 每幅圖像的子圖像，如圖3所示。然后，對每幅128X128大小的圖像采用隨機采樣的方法，隨機切割200塊大小 為8X8像素的窗口圖像塊，每一個子圖像塊按列存放，得到64維的訓練集合，其大小為 64X (200X15X100) = 64X30,0000。進一步地，為了提高計算速度，采用2D-PCA降維方法，使訓練集合的維數降為40 維，即使用40個主分量作為DCB-NNSC算法的訓練數據集合，記為\。一幅掌紋圖像的40 個主分量基圖像如圖4所示。同時，對降維后的數據集合\進行非負處理，得到非負訓練 集合Xtrain，其大小為80X30，0000。采用上述同樣的處理方法對掌紋測試圖像進行處理，得到大小為80X30，0000非
負測試集合Xtest。為了提高尋找最優(yōu)基的速度，對數據集合\利用2D-Gab0r小波進行特征提取。因 為不需要得到最優(yōu)的2D-Gab0r小波特征基，故選用8個方向，每個方向上有8個頻率尺度 的2D-Gabor小波基初始化DCB-NNSC算法的特征基矩陣k0，其大小為40 X 64，并對k0進行 非負處理，得到大小為80 X 64像素的非負特征矩陣，該矩陣即作為DCB-NNSC算法的初始化 特征基矩陣。一幅掌紋圖像利用2D-Gab0r小波進行8方向，8頻率尺度分解后得到的64個 幅值圖譜如圖5所示，利用此64個幅值圖譜重構得到的圖像如圖6所示。步驟2.確定稀疏懲罰函數。對特征系數向量Si (i = 1，2，L，64)采用自適應圖像特性的正態(tài)逆高斯(NIG)密 度模型估計其先驗稀疏密度分布P (Si)，對p (Si)求其負對數，即得到特征系數的稀疏懲罰 函數，即f(Si) =-1呢[口(。]，其中口(&)由下式計算(參考式⑴) 上式中四參數[d，3，P，8]1需要利用前四階累積量((1)、((2)、(^)和((4)來計 算，輔助參數r3和歸一化的峭度k4，分別計算如下 則有 四參數[a，日，y，S]T計算如下 使用上述模型對隨機產生的初始化特征系數矩陣的一個向量計算其稀疏密度分 布，選取不同參數時的稀疏分布圖如圖7和圖8所示。步驟3.確定稀疏特征系數的類內與類間離散度對數比值約束。類內離散度矩陣Sw和類間離散度矩陣SB的對數比值可以由公式
計算得到。其中C
k=l
為掌紋圖像的類別數，在我們使用的掌紋圖像數據庫中，c= 100 ；nk是第k類掌紋樣本Sk(k =1，2，3，L，C)包含的數據點個數，這里nk = 6X 1282 = 16 3 84 ;Sk表示第k類掌紋樣本，k
mk為第k類樣本均值向量，s為第k類樣
的取值范圍為
本Sk中的數據點^
為為所有類別樣本的均植向量，n為所有類別的掌紋樣本總個 數，這里 n = 600X 1282 = 98304，i = 1,2, L，98304。步驟4.基于離散度約束非負稀疏編碼(DCB-NNSC)目標函數的建模。根據步驟2確定的稀疏懲罰函數和步驟3確定的離散度對數比值約束，再 結合圖像重構最小誤差的2-范數，可以建立DCB-NNSC算法的最小目標優(yōu)化函數:
。其中非負訓練數據矩陣X = xtrain,大小為
80X75000,由具體實施方式
中步驟1得到；非負特征基矩陣A的大小為80X64，由具體實 施方式中步驟1得到；非負特征系數矩陣S的大小64X75000，隨機產生。正參數X =0.5 ；步驟5.更新特征系數S和特征基A，獲得特征基圖像。根據目標函數對特征基向量的梯度▽ J(ai)(參見式(7))得到特征基矩陣的更新 公式 其中t為迭代次數。同理，根據目標函數對特征基向量的梯度▽ J(Si)(參見式 (8))得到特征系數的更新公式 (13)初始化的非負特征基A由2D-Gab0r小波基確定，而特征系數是隨機產生的非負矩 陣。采用輪流更新方式學習特征系數S和特征基A。先固定ai不變，利用式(13)更新特
征系數Si;然后再固定Si不變，利用式(12)更新特征基向量
；稀疏懲罰函
數
；設置圖像重構最小誤差為2%，如果條件滿足則結束迭代過
程。對掌紋圖像訓練集合(100類，每類的前三幅圖像作為訓練集合。訓練集合的構成參見 步驟1)使用上述學習規(guī)則進行DCB-NNSC訓練，得到的特征基向量如圖8所示。其中(a) 為ON-charmel的特征基圖像，特征基矩陣記為A。n ； (b)為OFF-charmel的特征基圖像，特 征基矩陣記為A。ff ； (c)是ON-charmel和OFF-charmel特征基偏差圖像，特征基矩陣A = A。n_A。ff。該特征基偏差圖像即是利用DCB-NNSC算法對掌紋圖像數據庫進行訓練得到的特征 基圖像，其中亮的區(qū)域代表正像素值，暗的區(qū)域代表負像素值，灰色區(qū)域代表零像素值?？?以看出特征基向量具有清晰的方向性、局域性。利用該特征基圖像可以進行圖像重構、去噪 和識別等處理。步驟6.識別由步驟5訓練得到特征基矩陣A后，求該矩陣的逆陣(或者偽逆陣)，W = A—1。使 用2D-PCA方法進行數據的預處理后，我們并不是直接在128X128個圖像像素空間上執(zhí)行 DCB-NNSC算法，而是在掌紋圖像的前d個主分量系數上執(zhí)行DCB-NNSC算法，2D-PCA變換后 得到的主分量為Ud，Ud大小為64X40。則掌紋訓練集合Xteain的特征系數為 對測試圖像Xtest而言，其特征系數為 對上述特征系數矩陣和測試系數矩陣使用分類器即可以獲得識別結果。例如當使 用Euclidean Distance分類器，利用DCB-NNSC算法提取的特征基進行掌紋識別時，其識別 精度為97. 18%。為了證明DCB-NNSC算法在圖像特征提取方面的有效性，使用相同的分類器、掌紋 訓練集合和測試集合，我們也進行了基于PCA、FastICA、Hoyer' s的NNSC的掌紋圖像特征 提取方法的識別實驗。表1是在最小距離分類器、BP分類器、RBPNN分類器下，基于不同的 特征提取方法獲得的掌紋識別性能。從表中可以看出，不同的特征提取方法在使用相同的 分類器進行識別時，本發(fā)明提出的基于DCB-NNSC的特征提取方法的識別性能最好，其次是 NNSC、FastICA (使用特征系數獨立的模式)，而PCA識別性能最差；對不同的特征提取方法 得到的掌紋特征進行識別驗證時，三種分類器中RBPNN分類器的效果較好，BP次之，最小距 離分類器性能較差。表1不同的特征提取方法在不同分類器下的掌紋識別性能比較(主分量d = 40) 同時，為了進一步說明本發(fā)明在圖像特征提取方面的有效性，在進行掌紋識別實 驗時，我們也使用了在鑒別系統(tǒng)中常用的兩個重要的統(tǒng)計性能指標“錯誤拒絕率(False Rejection Rrate，F(xiàn)RR) ” 和“錯誤接受率(False Acceptance Rate，F(xiàn)AR) ” 來進一步驗 證DCB-NNSC特征識別方法的效率，當二者相等時稱為相等誤差率(Equation ErrorRate, EER)。如果掌紋測試圖像和訓練圖像來自同一個手掌，它們之間的匹配稱為真實匹配 (Genuine Matching)；如果掌紋測試圖像和訓練圖像來自不同的手掌，那么它們之間的匹 配就稱為冒名匹配(Imposter Matching) 0匹配產生的結果為匹配值，其范圍在W，1]之 間。如果匹配值超過了給定的閾值，則認為驗證通過，否則被拒絕。圖9為真實匹配與冒名 匹配的匹配值分布圖。FAR和FRR的計算方法非常簡單。令IMS (Imposter MatchingScore)標記冒名匹配 M ；NIA (Number of Iimposter Accesses) feid S^^^W^^ g ；GMS (Genuine Matching Score)標記真實匹配度；GIA (Number of Genuine Accesses)標記真實接受的總數目，則 FAR和FRR的計算方法如下
13
采用本發(fā)明方法在不同閾值時的FAR和FRR值如表2所示?？梢钥闯觯擣AR在 4. 5X1(TS%時，F(xiàn)RR 約為 1. 67%，當閾值為 0. 620 時，EER 約為 0. 18%。表3展示了本發(fā)明方法和不同特征識別方法的掌紋特征識別結果比較。當FAR在 4. 5 X 1(T5%時，PCA的FRR為18. 26%，EER為0. 982% ；FastICA (特征系數獨立時情況)的 FRR 為 14. 34%, EER 為 0. 876% ；標準稀疏編碼(Standard SC)的 FRR 為 5. 864%, EER 為 0. 632% ；Hoyer 的 NNSC 算法的 FRR 為 3. 562%, EER 為 0. 587 ；而基于 DCB-NNSC 的 FRR 為 1.673%，EER約為0. 17%。顯然，本發(fā)明基于DCB-NNSC的方法比上述提到的幾種方法都要 好。表2本發(fā)明特征識別方法的FAR和FRR值 表3不同算法在相同閾值下的FAR和FRR值
權利要求
一種基于離散度約束非負稀疏編碼的圖像特征提取方法，其特征是包括如下處理步驟1)構造圖像數據訓練集合，包括圖像分塊處理、圖像數據降維處理、數據非負處理，初始化DCB-NNSC算法的特征基矩陣A；2)確定稀疏懲罰函數采用自適應圖像特性的正態(tài)逆高斯(NIG)密度模型作為先驗稀疏密度分布，對其求負對數作為稀疏懲罰函數，即f(·)＝-log[p(·)]，隨機變量y的NIG模型如下式所示 <mrow><mi>p</mi><mrow> <mo>(</mo> <mi>y</mi> <mo>)</mo></mrow><mo>=</mo><mi>δ</mi><mo>·</mo><msqrt> <mfrac><mi>α</mi><mrow> <mn>2</mn> <mi>π</mi></mrow> </mfrac></msqrt> </mrow> <mrow><mrow> <mo>·</mo> <mi>exp</mi> <mrow><mo>(</mo><mi>δ</mi><msqrt> <msup><mi>α</mi><mn>2</mn> </msup> <mo>-</mo> <msup><mi>β</mi><mn>2</mn> </msup></msqrt><mo>)</mo> </mrow> <mo>·</mo> <mi>exp</mi> <mo>[</mo></mrow><mi>β</mi> </mrow> <mrow><mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>μ</mi> <mo>)</mo></mrow><mo>-</mo><mi>α</mi><msqrt> <msup><mrow> <mo>(</mo> <mi>y</mi> <mo>-</mo> <mi>μ</mi> <mo>)</mo></mrow><mn>2</mn> </msup> <mo>+</mo> <msup><mi>δ</mi><mn>2</mn> </msup></msqrt><mo>]</mo><mo>·</mo><msup> <mrow><mo>[</mo><msup> <mrow><mo>(</mo><mi>y</mi><mo>-</mo><mi>μ</mi><mo>)</mo> </mrow> <mn>2</mn></msup><mo>+</mo><msup> <mi>δ</mi> <mn>2</mn></msup><mo>]</mo> </mrow> <mrow><mo>-</mo><mfrac> <mn>3</mn> <mn>4</mn></mfrac> </mrow></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>1</mn> <mo>)</mo></mrow> </mrow>其中，參數α控制密度分布的斜率；參數β控制著密度偏斜度，β＜0，密度向左偏斜；β＞0，密度向右偏斜；β＝0，意味著關于中心參數μ對稱的密度分布；參數δ是一個正尺度參數，它調節(jié)α和β，使得α→αδ，β→βδ關于局部尺度參數μ保持密度分布形狀不變；由樣本數據估計得到的前四階累積量計算四變量參數[α，β，μ，δ]T；3)確定稀疏特征系數的類內與類間離散度對數比值約束設定特征系數數據集合S＝[S1，S2，S3，L，Sk，L，SC]，其中S1，S2L Sk為第k類特征系數樣本集合，k＝1，2，3，L，C，C為類別數；每個Sk均為一個矩陣，Sk包含的數據點個數為nk，則特征系數的類內離散度矩陣SW和類間離散度矩陣SB分別通過以下公式求出 <mrow><msub> <mi>S</mi> <mi>W</mi></msub><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><munder> <mi>Σ</mi> <mrow><mi>s</mi><msub> <mrow><mo>∈</mo><mi>S</mi> </mrow> <mi>k</mi></msub> </mrow></munder><mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><mi>s</mi><mo>-</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>)</mo> </mrow> <mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>2</mn> <mo>)</mo></mrow> </mrow>其中， <mrow><msub> <mi>m</mi> <mi>k</mi></msub><mo>=</mo><mfrac> <mn>1</mn> <msub><mi>n</mi><mi>k</mi> </msub></mfrac><munder> <mi>Σ</mi> <mrow><mi>s</mi><mo>∈</mo><msub> <mi>S</mi> <mi>k</mi></msub> </mrow></munder><mi>s</mi><mo>,</mo> </mrow>mk為第k類樣本均值向量；s是指第k類特征系數樣本集合中nk個數據點； <mrow><msub> <mi>S</mi> <mi>B</mi></msub><mo>=</mo><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><msub> <mi>n</mi> <mi>k</mi></msub><mrow> <mo>(</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>-</mo> <mi>m</mi> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo> </mrow> <mi>T</mi></msup><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>3</mn> <mo>)</mo></mrow> </mrow>其中 <mrow><mi>m</mi><mo>=</mo><mfrac> <mn>1</mn> <mi>n</mi></mfrac><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><msub> <mi>s</mi> <mi>i</mi></msub><mo>;</mo> </mrow>m所有類別樣本的均植，n為所有類別樣本的總個數；類內和類間的離散度比值如下式所示 <mrow><mfrac> <msub><mi>S</mi><mi>W</mi> </msub> <msub><mi>S</mi><mi>B</mi> </msub></mfrac><mo>=</mo><mfrac> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><munder> <mi>Σ</mi> <mrow><mi>s</mi><mo>∈</mo><msub> <mi>S</mi> <mi>k</mi></msub> </mrow></munder><mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><mi>s</mi><mo>-</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>)</mo> </mrow> <mi>T</mi></msup> </mrow> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><msub> <mi>n</mi> <mi>k</mi></msub><mrow> <mo>(</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>-</mo> <mi>m</mi> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo> </mrow> <mi>T</mi></msup> </mrow></mfrac><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>4</mn> <mo>)</mo></mrow> </mrow>類內離散度SW和類間離散度SB反映的是數據集的二階統(tǒng)計信息，二者都是對數據集的一種全局描述。SW越小，表示類內聚集程度越大；SB越大，表示類間散布越大，因此類內和類間的離散度比值越小表示類內聚集性越好；在優(yōu)化DCB-NNSC算法的最小目標函數時，為了便于求導運算，我們利用SW和SB的對數比值作為類別信息約束項 <mrow><mi>D</mi><mo>=</mo><mi>ln</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>S</mi> <mi>W</mi></msub><msub> <mi>S</mi> <mi>B</mi></msub> </mfrac> <mo>)</mo></mrow><mo>=</mo><mi>ln</mi><mo>[</mo><mfrac> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><munder> <mi>Σ</mi> <mrow><mi>s</mi><msub> <mrow><mo>∈</mo><mi>S</mi> </mrow> <mi>k</mi></msub> </mrow></munder><mrow> <mo>(</mo> <mi>s</mi> <mo>-</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><mi>s</mi><mo>-</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>)</mo> </mrow> <mi>T</mi></msup> </mrow> <mrow><munderover> <mi>Σ</mi> <mrow><mi>k</mi><mo>=</mo><mn>1</mn> </mrow> <mi>C</mi></munderover><msub> <mi>n</mi> <mi>k</mi></msub><mrow> <mo>(</mo> <msub><mi>m</mi><mi>k</mi> </msub> <mo>-</mo> <mi>m</mi> <mo>)</mo></mrow><msup> <mrow><mo>(</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo> </mrow> <mi>T</mi></msup> </mrow></mfrac><mo>]</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>5</mn> <mo>)</mo></mrow> </mrow>4)基于離散度約束非負稀疏編碼(DCB-NNSC)目標函數的建?？紤]利用提取的特征重構圖像的誤差最小、特征系數自適應稀疏分布、類內離散度SW和類間離散度SB對數比值最小三個因數，構成基于離散度約束非負稀疏編碼的目標函數，如下所示 <mrow><mi>J</mi><mrow> <mo>(</mo> <mi>s</mi> <mo>)</mo></mrow><mo>=</mo><mfrac> <mn>1</mn> <mn>2</mn></mfrac><msup> <mrow><mo>|</mo><mo>|</mo><mi>X</mi><mo>-</mo><mi>AS</mi><mo>|</mo><mo>|</mo> </mrow> <mn>2</mn></msup><mo>+</mo><mi>λ</mi><munder> <mi>Σ</mi> <mi>i</mi></munder><mi>f</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>s</mi> <mi>i</mi></msub><msub> <mi>σ</mi> <mi>i</mi></msub> </mfrac> <mo>)</mo></mrow><mo>+</mo><mi>ln</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>S</mi> <mi>W</mi></msub><msub> <mi>S</mi> <mi>B</mi></msub> </mfrac> <mo>)</mo></mrow><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>6</mn> <mo>)</mo></mrow> </mrow>上式的約束為X(x，y)≥0)，ai≥0，si≥0，并且||si||＝1，其中， <mrow><msub> <mi>σ</mi> <mi>i</mi></msub><mo>=</mo><msqrt> <mi>E</mi> <mo>{</mo> <msubsup><mi>s</mi><mi>i</mi><mn>2</mn> </msubsup> <mo>}</mo></msqrt><mo>,</mo> </mrow>參數λ表示正的常數，X＝(X1，X2，L，X2n)T表示預處理后的自然圖像數據(由步驟1.3得到，大小為2n×5×L·N)；A為2n×m維特征基矩陣，A＝[a1，a2，a3，L，ai，L，am]，αi為特征矩陣A中第i列列向量；s為m×5×L·N維特征系數矩陣，S＝[S1，S2，S3，L，Si，L，Sm]T，si為s的第i行行向量；稀疏懲罰函數f(·)＝-log[p(·)]，p(·)由式(1)計算得到；由(6)式計算得到；5)特征系數S和特征基A的更新規(guī)則采用梯度算法輪流更新特征系數S和特征基A，如先固定A不變，利用梯度算法更新特征系數S；然后再固定S，對A實現(xiàn)更新；A的迭代過程如下 <mrow><mo>▿</mo><mi>J</mi><mrow> <mo>(</mo> <msub><mi>a</mi><mi>i</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mfrac> <mrow><mo>∂</mo><mi>J</mi><mrow> <mo>(</mo> <mi>A</mi> <mo>,</mo> <mi>S</mi> <mo>)</mo></mrow> </mrow> <msub><mrow> <mo>∂</mo> <mi>a</mi></mrow><mi>i</mi> </msub></mfrac><mo>=</mo><mo>-</mo><mo>[</mo><mi>X</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>-</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><msub> <mi>a</mi> <mi>i</mi></msub><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><msub> <mi>s</mi> <mi>i</mi></msub><mo>]</mo><msubsup> <mi>s</mi> <mi>i</mi> <mi>T</mi></msubsup><mo>+</mo><mi>γ</mi><msub> <mi>a</mi> <mi>i</mi></msub><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>7</mn> <mo>)</mo></mrow> </mrow>特別包括特征系數S的更新 <mrow><mo>▿</mo><mi>J</mi><mrow> <mo>(</mo> <msub><mi>s</mi><mi>i</mi> </msub> <mo>)</mo></mrow><mo>=</mo><mfrac> <mrow><mo>∂</mo><mi>J</mi><mrow> <mo>(</mo> <mi>A</mi> <mo>,</mo> <mi>S</mi> <mo>)</mo></mrow> </mrow> <mrow><mo>∂</mo><msub> <mi>s</mi> <mi>i</mi></msub> </mrow></mfrac><mo>=</mo><mo>-</mo><msubsup> <mi>a</mi> <mi>i</mi> <mi>T</mi></msubsup><mo>[</mo><mi>X</mi><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><mo>-</mo><munderover> <mi>Σ</mi> <mrow><mi>i</mi><mo>=</mo><mn>1</mn> </mrow> <mi>n</mi></munderover><msub> <mi>a</mi> <mi>i</mi></msub><mrow> <mo>(</mo> <mi>x</mi> <mo>,</mo> <mi>y</mi> <mo>)</mo></mrow><msub> <mi>s</mi> <mi>i</mi></msub><mo>]</mo><mo>+</mo><mfrac> <mi>λ</mi> <msub><mi>σ</mi><mi>i</mi> </msub></mfrac><msup> <mi>f</mi> <mo>′</mo></msup><mrow> <mo>(</mo> <mfrac><msub> <mi>s</mi> <mi>i</mi></msub><msub> <mi>σ</mi> <mi>i</mi></msub> </mfrac> <mo>)</mo></mrow><mo>+</mo><mn>2</mn><mo>[</mo><mfrac> <mrow><mo>(</mo><msub> <mi>s</mi> <mi>i</mi></msub><mo>-</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>)</mo> </mrow> <msub><mi>S</mi><mi>W</mi> </msub></mfrac><mo>-</mo><mfrac> <mrow><mo>(</mo><msub> <mi>m</mi> <mi>k</mi></msub><mo>-</mo><mi>m</mi><mo>)</mo> </mrow> <msub><mi>S</mi><mi>B</mi> </msub></mfrac><mo>]</mo><mo>-</mo><mo>-</mo><mo>-</mo><mrow> <mo>(</mo> <mn>8</mn> <mo>)</mo></mrow> </mrow>上式中 <mrow><msub> <mi>σ</mi> <mi>i</mi></msub><mo>=</mo><msqrt> <mi>E</mi> <mo>{</mo> <msubsup><mi>s</mi><mi>i</mi><mn>2</mn> </msubsup> <mo>}</mo></msqrt><mo>;</mo> </mrow>稀疏懲罰函數 <mrow><mi>f</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>s</mi> <mi>i</mi></msub><msub> <mi>σ</mi> <mi>i</mi></msub> </mfrac> <mo>)</mo></mrow><mo>=</mo><mo>-</mo><mi>log</mi><mo>[</mo><mi>p</mi><mrow> <mo>(</mo> <mfrac><msub> <mi>s</mi> <mi>i</mi></msub><msub> <mi>σ</mi> <mi>i</mi></msub> </mfrac> <mo>)</mo></mrow><mo>]</mo><mo>;</mo> </mrow>由(1)式計算6)識別將訓練和測試圖像進行圖像預處理后，分別應用DCB-NNSC算法進行優(yōu)化學習，得到訓練特征矩陣、訓練稀疏系數矩陣和測試特征矩陣、測試稀疏系數矩陣，然后采用徑向基概率神經網絡(radial basisprobabilistic neural networks，RBPNN)分類器實現(xiàn)分類，得到識別結果。F2010100172902C00032.tif,F2010100172902C00034.tif,F2010100172902C00039.tif
2.如權利要求1所述的基于離散度約束非負稀疏編碼的圖像特征提取方法，其特征是 步驟1)中的所述的圖像分塊處理為首先選取圖像屬性相同的N幅自然圖像，對每幅圖像 采用二維經驗模式分解(BEMD)，把每幅圖像按照頻率分成六層，去除殘余分量，每幅圖像僅 利用BEMD分解后的IMFl IMF5五層分量；然后再把每幅IMF圖像分割成ρXp大小的L個子圖像塊，得到大小為p2X5XL · N的輸入圖像矩陣；
3.如權利要求1所述的基于離散度約束非負稀疏編碼的圖像特征提取方法，其特征是 步驟1)中所述的圖像降維處理為利用2D-PCA實現(xiàn)圖像數據降維，分為以下步驟①計算子圖像數據集合的協(xié)方差矩陣在現(xiàn)有數據集中，首先對訓練子圖像數據進行 去均值(標準化)處理，然后求協(xié)方差矩陣G，即 其中Xj是訓練子圖像塊，M為訓練子圖像塊數目，ζ為所有子圖像塊均值。 ②計算主元個數設U為特征向量矩陣，D為特征值對角矩陣，則GXU= UXD0選擇 前d個較大特征值對應的特征向量構成的特征矩陣Ud = [U1, u2, L，uj，計算訓練樣本的主 元，即= 廠無)t/rf。
4.如權利要求1所述的基于離散度約束非負稀疏編碼的圖像特征提取方法，其特征是 步驟1)中的所述的數據非負處理為在降維后的圖像數據集合中，所有正的元素組成矩陣 Xon,零和所有負元素取絕對值后組成矩陣x。ff ；利用X。n和X。ff構成一個非負數據矩陣X = (xon:xoff)，X 的大小為 2nX5XL · N。
5.如權利要求1所述的基于離散度約束非負稀疏編碼的圖像特征提取方法，其特征是 步驟1)中的所述的初始化DCB-NNSC算法的特征基矩陣A為利用8個方 向，每個方向上有 8個頻率尺度的2D-Gabor小波基初始化DCB-NNSC算法的特征基矩陣A。
6.如權利要求1所述的基于離散度約束非負稀疏編碼的圖像特征提取方法，其特征是 步驟6)中所述的RBPNN神經網絡模型是一個四層神經網絡模型，包括一個輸入層，兩個隱 層，一個輸出層，其中第一隱層主要由樣本空間中每個模式類別的中心矢量(也被稱之為 隱中心矢量)組成，在結構上等同于RBFNN的第一層；第二隱層等同于PNN的隱層，其節(jié)點 執(zhí)行求和運算；第三層等同于RBFNN的第二層，其輸出節(jié)點與RBFNN—樣，都是線性的；第 四層為輸出層。
全文摘要
本發(fā)明公開了基于離散度約束非負稀疏編碼的自然圖像特征提取方法，包括圖像分塊處理、2D-PCA降維處理、圖像數據的非負處理、基于2D-Gabor小波特征基的初始化處理、稀疏系數類內和類間離散度比值的確定、DCB-NNSC特征基訓練、基于DCB-NNSC特征基的圖像識別等，本發(fā)明的優(yōu)點是不僅能夠模擬人眼初級視覺系統(tǒng)V1區(qū)神經元的感受野特性，有效地提取圖像的局部特征；而且與標準的非負稀疏編碼算法相比，提取的圖像特征具有更清晰的方向性和邊緣特性；同時利用稀疏系數的類內和類間離散度比值最小約束，還能使特征系數類內數據更緊密地聚合在一起而使類間距離盡可能地增大；用于圖像識別中，該發(fā)明能夠提高識別性能。
文檔編號G06K9/46GK101866421SQ201010017290
公開日2010年10月20日 申請日期2010年1月8日 優(yōu)先權日2010年1月8日
發(fā)明者劉韜, 周燕, 尚麗, 張愉, 戴桂平 申請人:蘇州市職業(yè)大學;尚麗