專利名稱：基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法
技術領域：
本發(fā)明涉及一種圖像處理方法，具體涉及一種圖像顯著區(qū)域的提取分割方法。
背景技術：
人眼在觀察圖像時，受視覺選擇性注意機制的支配，能夠迅速地把注意力集中在少數(shù)幾個能夠體現(xiàn)圖像主要內容信息的關鍵區(qū)域，這些吸引人注意力的區(qū)域被稱為顯著區(qū)域。隨著信息技術的發(fā)展，圖像成為一種主要的信息載體，越來越多的圖像數(shù)據給處理和瀏覽帶來了不便。圖像檢索技術是在海量圖像數(shù)據庫中查找用戶所需要的或感興趣的圖像的方法，目前，很多圖像檢索工具是建立在與圖像相關的文字信息的基礎上的，需要大量人為標注，而基于內容的圖像檢索技術對圖像內容本身進行分析，根據圖像特征查找相關圖像，是圖像檢索發(fā)展的方向。提取圖像的顯著區(qū)域，對于進行圖像特征查找具有重要的
眉、ο近年來，國內外研究者提出了很多顯著區(qū)域檢測模型，總的來說，分為三大類自底向上，自頂向下以及混合模型。其中自底向上的模型是研究的重點。自底向上的模型以視覺注意機制作為底層數(shù)據來驅動視覺刺激，是對底層特征自動加工的過程。其中Itti等人以中心-周圍強度、顏色和方向對比度特征提出了第一個也是最經典的基于生物的視覺注意的計算模型Itti98。隨后該模型通過引入運動和閃變的對比度特征而擴展到視頻顯著性計算中。Walther和Koch在Itt’ s98模型的基礎上進行了擴展以便得到一個顯著典型(proto)目標。譜參差方法，把圖像變換到頻域去除圖像中的冗余信息，從全局角度抑制非顯著區(qū)域。基于圖論的GBVS模型借用圖論的思想把提取的圖像特征轉換成圖模型進而用于計算顯著性。基于頻率調整的FT模型利用多種低層特征通過調整不同的頻率范圍得到了不失圖像分辨率的顯著圖?；谖谋旧舷挛?Context-Aware (簡稱CA)的顯著區(qū)域檢測方法從全局與局部的角度總結出了顯著區(qū)域具備的四條準則，然后分別根據四條準則做出了相應的計算，最后得到每個像素點局部范圍內的顯著度。自頂向下的模型根據期望目標的先驗信息在圖像中尋找候選區(qū)域，是以先驗高層語義知識來驅動的，是一個選擇特征控制指導的加工過程。這種模型要根據觀察任務的需要，確定期望知識信息和相應的特征，進而提取顯著區(qū)域。混合模型即自底向上的模型和自頂向下模型的結合。由于以上檢測模型自身的局限性，使得檢測結果對一些大尺度目標物體或背景復雜情況下的圖像顯著區(qū)域檢測效果較差，存在顯著目標缺失誤檢，漏檢等問題，從而導致提取的顯著區(qū)域不準確，不完整。

發(fā)明內容
本發(fā)明的目的在于提供一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，以提高顯著區(qū)域檢測的準確性和完整性。為達到上述發(fā)明目的，本發(fā)明采用的技術方案是一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，再進行如下處理(1)預處理；所述預處理包括，判斷待處理的源圖像中是否存在不同子區(qū)域之間的清晰度差異，如果存在，則定位圖像中的清晰區(qū)域位置，所述子區(qū)域為以預先設定的分塊尺度大小對原圖像進行分割形成的區(qū)域；(2)對經過預處理的圖像進行低層特征提??；所述低層特征提取是，在空間域中利用Lab顏色計算圖像顯著值，獲得空間顯著圖，在頻率域中從顏色、亮度和邊緣特征三個通道去除全局內的冗余信息，獲得頻域顯著圖；(3)對經過預處理的圖像進行高層語義特征提??；所述高層語義特征提取是，采用人臉檢測方法獲得人臉顯著圖；(4)對步驟( 和步驟C3)獲得的空間顯著圖、頻域顯著圖和人臉顯著圖進行中心聚集化操作，獲得綜合顯著圖；(5)根據綜合顯著圖對待處理的源圖像進行分割處理，提取出顯著區(qū)域。上文中，所述分塊尺度大小可以根據源圖像的大小預先設定，一般地，可以以源圖像較長邊除以數(shù)值a作為分塊尺度大小，a的取值可以取8至32之間的數(shù)。為處理方便， 也可以設定一個定值大小進行子區(qū)域劃分。上述技術方案中，步驟(1)中，預處理的具體方法為，生成待處理的源圖像的高頻分量圖，將高頻分量圖分割成多個塊，提取高頻分布向量并計算離散度；如果離散度大于1，則圖像中存在子區(qū)域清晰度差異，根據像素的清晰度將圖像分為清晰區(qū)域和非清晰區(qū)域，將非清晰區(qū)域的像素點設為背景顏色；如果離散度小于等于1，則圖像中不存在子區(qū)域清晰度差異，直接進入步驟O)。優(yōu)選的技術方案，高頻分量圖分割成塊時，以圖像的長、寬中較大的量除以16作為分塊的尺度標準進行分塊。上述技術方案中，步驟O)中，所述空間顯著圖采用Context-Aware方法獲取。步驟中，所述中心聚集化操作為，對空間顯著圖、頻域顯著圖和人臉顯著圖進行歸一化處理；把頻域顯著圖中大于0. 2的顯著點和空間顯著圖中大于0. 2的顯著點用于擴展人臉顯著圖中大于0.8的顯著點的聚類中心，得到新的聚類中心集，根據該新的聚類中心集更新空間顯著圖，獲得綜合顯著圖。由于上述技術方案運用，本發(fā)明與現(xiàn)有技術相比具有下列優(yōu)點本發(fā)明考慮了綜合圖像的低層特征和高層語義特征信息，采用離散度準則判斷圖像中是否存在清晰度差異，從而抑制非清晰區(qū)域，從空間域和頻率域角度分別提取低層特征計算局部和全局顯著度，用中心聚集化操作綜合二者的優(yōu)勢，并結合人臉信息作為高層語義特征增強顯著性。本發(fā)明能夠一定程度上解決傳統(tǒng)的顯著區(qū)域檢測方法中存在的對大尺度目標圖像檢測內容缺失問題和對背景復雜圖像情況下檢測的誤檢問題，是一種準確度更高的顯著區(qū)域檢測方法。


圖1是本發(fā)明實施例中顯著區(qū)域檢測模型圖2是實施例中顯著區(qū)域檢測算法流程示意圖；圖3是實施例中部分圖像的HFM圖；圖4是實施例中有清晰度差異的圖像抑制非清晰區(qū)域后的結果圖；圖5是實施例中生成的聚集化顯著圖示意圖；圖6是實施例中提取的顯著區(qū)域示意圖。
具體實施例方式下面結合附圖和實施例對本發(fā)明作進一步描述。實施例參見圖1所示，一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，再進行如下處理1、非清晰區(qū)域抑制(預處理)清晰度是能夠影響人眼視覺選擇注意的一個重要特征。圖像中的清晰區(qū)域是給人視覺反差較大的區(qū)域，同時也是首先吸引人注意力的區(qū)域。對于待檢測的圖像，首先判斷其中是否存在不同子區(qū)域之間的清晰度差異，如果存在，則需要定位圖像中的清晰區(qū)域位置， 即對非清晰區(qū)域抑制，然后在清晰區(qū)域內根據低層特征和高層特征計算圖像中物體的顯著度。如果不存在清晰度的差異，則直接根據低層特征和高層特征計算顯著度。2、低層特征提取在抑制非清晰區(qū)域的前提下，為了符合人眼視覺選擇顯著目標時遵循的規(guī)律，即顯著區(qū)域在局部范圍內與周圍其他區(qū)域有明顯不同的特征，在全局范圍內出現(xiàn)的頻率相對較少。在低層特征的提取中，分別從空間域和頻率域兩個角度計算圖像的局部和全局的顯著度，增強顯著區(qū)域的顯著性。3、高層語義特征提取人眼觀察圖像時，自然會收到其先驗知識的影響，其中人臉區(qū)域是注意力首先集中的區(qū)域之一，用人臉區(qū)域作為先驗知識知道人眼的視覺選擇，從而結合高層語義特征，更符合人眼觀察圖像的規(guī)律。4、經中心聚集化操作獲得綜合顯著圖。5、后處理分割提取顯著區(qū)域。上述處理的具體算法的流程如圖2所示，分為三大塊預處理，顯著值計算和后處理。算法步驟如表1所示。表1顯著區(qū)域檢測算法
Stepl計算源圖像(ImgInput)的高頻分量圖High Frequency Map(HFM)。Step2根據HFM提取高頻分布向量L并計算離散度A，如果A>1,則跳到 Step3,否則跳到Step4。Step3計算ImgInput中每個像素的清晰度值，并據該值抑制非清晰區(qū)域得更新后的Imgfoput。Step4:對ImgInput分別在空間域和頻率域計算顯著值的空間域顯著圖SW5paee和頻率域顯著圖SMprequency，同時計算高層的人臉顯著圖SMpace。Step5用SMFrequency和SMpace擴展SMspace得到的聚類中心，進更新SMspace的值，得到綜合顯著圖SM。Step6根據SWr對ImgInput經過后處理分割出顯著區(qū)域Imgkliency。Step7結束。1、預處理預處理階段主要是判斷輸入圖像是否存在子區(qū)域之間的清晰度差異，并對存在差異的圖像進行非清晰區(qū)域的抑制。采用離散度作為判斷圖像中是否存在清晰度差異的標準。(1)圖像的高頻分量圖(High Frequency Map, HFM)的生成采用小波變換方法。假設輸入圖像為f(i，j) = {R，G，B} \小波變換后的垂直、水平和對角線高頻分量分別為Hvf、Hhf和Hdf，則輸入圖像的高頻信息區(qū)域Hf為Hf = Hvf+Hhf+Hdf (1)把⑴得到的結果經過二值化處理得到HFM。圖3所示為部分圖像的HFM。其中， 第1、3行分別為有和無清晰度差異圖像，第2、4行分別為1、3行的HFM圖。(2)提取高頻分布向量^并計算離散度入離散度λ反映的是圖像數(shù)據分布以及聚集程度，以此標準作為衡量HFM中高頻信息點的聚集程度。假設把HFM圖以合適的大小分成mXn ±夬，統(tǒng)計每個塊內的高頻信息點分布，并將
其轉換為一維向量rCi = (Hfl,Hf2,L ,Hfi,L ,Hfmxn)(2)對g歸一化_ mxn ‘ mxn ^ ‘ mxn夂‘
H r- Σ H ^ H r-/=1 J1 /=1 J1 /=1 J1HFM的離散度
H “ H^H,
其中，Hfi表示原圖像第i個子區(qū)域中所有高頻信息點之和，邛和舛分別為f的標準方差和平均值，離散度λ反映的是向量中數(shù)據的分布和離散程度，λ值越大，數(shù)據的離散性越差，聚集性越好，反之λ值越小，數(shù)據的離散性越好，聚集性越差。經統(tǒng)計分析，當選取塊尺度為size/16時，類間距離distaaHty達到最大。其中Size = Max {Height, Width}，圖像的大小為HeightXWidth。在該尺度下計算λ值，并依據λ按照以下規(guī)則對圖像中是否存在子區(qū)域清晰度差異進行判斷λ > 1，圖像中存在子區(qū)域清晰度差異；λ ( 1，圖像中不存在子區(qū)域清晰度差異。(3)非清晰區(qū)域抑制經過(2)判斷，如果確定了圖像中存在清晰度差異，需要對其進行非清晰區(qū)域的抑制。首先需要計算基于像素的清晰度值；然后根據每個像素的清晰度值把圖像分為兩類 清晰區(qū)域和非清晰區(qū)域；最后對非清晰區(qū)域的像素點設為統(tǒng)一的背景顏色以達到抑制的效果，如圖4所示為抑制的結果。清晰區(qū)域特征在空域用梯度函數(shù)度量，在頻域用小波變換來凸顯。圖像采取三種不同尺度{Scalel，kale2，Scale3}分塊。在以離散度指標計算中確定的一種合適分塊尺度size/16的基礎上，選取另外size/8和size/32兩種尺度即scales = {size/8, size/16, size/32}來綜合評定塊的清晰度值。每個分塊尺度下的第i個子塊像素清晰度定義為 Di(m,n)ScaleJ = Discalej
(5) 其中(m，η)為第f子塊像素坐標，Discale1為尺度j下第i子塊清晰度，其定義為
權利要求
1.一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，其特征在于，再進行如下處理(1)預處理；所述預處理包括，判斷待處理的源圖像中是否存在不同子區(qū)域之間的清晰度差異，如果存在，則定位圖像中的清晰區(qū)域位置，所述子區(qū)域為以預先設定的分塊尺度大小對原圖像進行分割形成的區(qū)域；(2)對經過預處理的圖像進行低層特征提??；所述低層特征提取是，在空間域中利用 Lab顏色計算圖像顯著值，獲得空間顯著圖，在頻率域中從顏色、亮度和邊緣特征三個通道去除全局內的冗余信息，獲得頻域顯著圖；(3)對經過預處理的圖像進行高層語義特征提??；所述高層語義特征提取是，采用人臉檢測方法獲得人臉顯著圖；(4)對步驟( 和步驟C3)獲得的空間顯著圖、頻域顯著圖和人臉顯著圖進行中心聚集化操作，獲得綜合顯著圖；(5)根據綜合顯著圖對待處理的源圖像進行分割處理，提取出顯著區(qū)域。
2.根據權利要求1所述的基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，其特征在于步驟(1)中，預處理的具體方法為，生成待處理的源圖像的高頻分量圖，將高頻分量圖分割成多個塊，提取高頻分布向量并計算離散度；如果離散度大于1，則圖像中存在子區(qū)域清晰度差異，根據像素的清晰度將圖像分為清晰區(qū)域和非清晰區(qū)域，將非清晰區(qū)域的像素點設為背景顏色；如果離散度小于等于1，則圖像中不存在子區(qū)域清晰度差異，直接進入步驟⑵。
3.根據權利要求2所述的基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，其特征在于高頻分量圖分割成塊時，以圖像的長、寬中較大的量除以16作為分塊的尺度標準進行分塊。
4.根據權利要求1所述的基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，其特征在于步驟O)中，所述空間顯著圖采用Context-Aware方法獲取。
5.根據權利要求1所述的基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，其特征在于步驟中，所述中心聚集化操作為，對空間顯著圖、頻域顯著圖和人臉顯著圖進行歸一化處理；把頻域顯著圖中大于0. 2的顯著點和空間顯著圖中大于0. 2的顯著點用于擴展人臉顯著圖中大于0.8的顯著點的聚類中心，得到新的聚類中心集，根據該新的聚類中心集更新空間顯著圖，獲得綜合顯著圖。
全文摘要
本發(fā)明公開了一種基于非清晰區(qū)域抑制的多特征融合顯著區(qū)域提取方法，首先輸入待處理的源圖像，再進行如下處理(1)預處理；(2)對經過預處理的圖像進行低層特征提取，獲得空間顯著圖和頻域顯著圖；(3)對經過預處理的圖像進行高層語義特征提取，獲得人臉顯著圖；(4)對步驟(2)和步驟(3)獲得的空間顯著圖、頻域顯著圖和人臉顯著圖進行中心聚集化操作，獲得綜合顯著圖；(5)根據綜合顯著圖對待處理的源圖像進行分割處理，提取出顯著區(qū)域。本發(fā)明解決了傳統(tǒng)的顯著區(qū)域檢測方法中存在的對大尺度目標圖像檢測內容缺失問題和對背景復雜圖像情況下檢測的誤檢問題，是一種準確度更高的顯著區(qū)域檢測方法。
文檔編號G06K9/46GK102521592SQ20111039018
公開日2012年6月27日 申請日期2011年11月30日 優(yōu)先權日2011年11月30日
發(fā)明者劉純平, 季怡, 王朝暉, 鄭陽, 陳寧強, 陳宇 申請人:蘇州大學