專利名稱：一種生物激勵(lì)的自頂向下的視覺注意方法
技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)視覺領(lǐng)域，具體涉及一種生物激勵(lì)的自頂向下的視覺注意方法。
背景技術(shù)：
視覺注意方法主要是解決圖像中的數(shù)據(jù)篩選問題。在計(jì)算機(jī)圖像中，任務(wù)所關(guān)心 的內(nèi)容通常僅僅是圖像中很小的一部分，所以，有必要將不同的處理優(yōu)先級(jí)賦予不同的圖 像區(qū)域，這樣可以降低處理過程的復(fù)雜度，還能夠減少不必要的計(jì)算浪費(fèi)。在人類視覺信息 處理中，總是迅速選擇少數(shù)幾個(gè)顯著的對(duì)象進(jìn)行優(yōu)先處理，而忽略或舍棄其他的非顯著的 對(duì)象，這樣使本發(fā)明能夠有選擇地分配計(jì)算資源，從而極大地提高視覺信息處理的效率，該 過程被稱為視覺注意。心理學(xué)研究發(fā)現(xiàn)，不但那些能夠產(chǎn)生新異的刺激、較強(qiáng)的刺激的圖像區(qū)域容易引 起觀察者的注意，而且那些能夠產(chǎn)生與觀察者所期待的刺激的圖像區(qū)域也容易引起觀察者 的注意。據(jù)此，可以將視覺注意分為兩種類型一種是基于初級(jí)視覺，由數(shù)據(jù)驅(qū)動(dòng)的自底向 上的注意；另一種是基于高層視覺，與任務(wù)、知識(shí)等相關(guān)的自頂向下的注意。常用的自底向上視覺注意方法是Itti等(L. Itti，C.Koch and E. Niebur, "A model of saliency-based visual attention for rapid scene analysis,，，IEEETransactions on Pattern Analysis and Machine Intelligence, 20(11)，pp. 1254-1259,1998.)提出的，該方法獨(dú)立使用了初級(jí)視覺特征如亮度，方位和顏 色。Itti 等(L Itti and C. Koch,"Feature combination strategies forsaliency-based visual attention systems,，，Journal of Electronic Imaging，10 (1)，pp. 161-169， 2001.)還提出了空間競(jìng)爭(zhēng)函數(shù)來融合不同的初級(jí)視覺特征。在自頂向下的視覺注意 方法中，現(xiàn)有的具有代表性的是V0CUS自頂向下的模型(S.Frintrop，V0CUS :A Visual Attention System for Object Detection andGoal—directed Search,Lecture Notes in Artificial Intelligence(LNAI), Springer,Berlin/Heidelberg,2006.)禾口 Navalpakkam 的模型(V. Navalpakkam and L. Itti,"An integrated model of top-down and bottom-up attention for optimal objeetdeteetion speed,，，IEEE Computer Society Conference on Computer Vision andPattern Recognition，pp. 2049-2056，2006.)。V0CUS 自頂向 下的模型描述如下，先將學(xué)習(xí)圖像和待注意的圖像都分解成一些低水平的視覺特征圖， 再對(duì)學(xué)習(xí)圖像中的每個(gè)特征圖，計(jì)算目標(biāo)與背景的比值作為該特征的權(quán)重，然后在待注 意圖中將每一個(gè)特征圖乘以從學(xué)習(xí)圖像中獲得的相應(yīng)權(quán)重得到了自頂向下的顯著性圖。 Navalpakkam模型是根據(jù)下述的方法得到的，先將學(xué)習(xí)圖像和待注意的圖像都分解成一些 低水平的視覺特征圖，再對(duì)學(xué)習(xí)圖像中的每一個(gè)特征圖，利用統(tǒng)計(jì)知識(shí)通過最大化目標(biāo)和 背景的信噪比得到該特征的最優(yōu)權(quán)重，最后在待注意圖中將每一特征圖乘以相應(yīng)的最優(yōu)權(quán) 重得到自頂向下的顯著性圖。這兩種現(xiàn)有的自頂向下的視覺注意方法都與目標(biāo)所在的背景有關(guān)，因而當(dāng)目標(biāo)所在的背景改變時(shí)，即當(dāng)待注意圖中的目標(biāo)不總是出現(xiàn)在訓(xùn)練圖的背景中，或者待注意圖中 的目標(biāo)和其背景的組合與訓(xùn)練圖中的目標(biāo)和其背景的組合相差很大時(shí)，現(xiàn)有方法的視覺注 意效果將變得很差。

發(fā)明內(nèi)容
本發(fā)明的目的在于提出一種生物激勵(lì)的自頂向下的視覺注意方法，該方法僅利用 了目標(biāo)自身的屬性，能獲得較好的視覺效果。本發(fā)明提供的一種生物激勵(lì)的自頂向下的視覺注意方法，其步驟為第1步對(duì)于一個(gè)給定的待注意圖，先提取顏色，亮度，方位和紋理初級(jí)視覺特征； 將顏色特征分解成紅、綠、藍(lán)3種類型，將亮度特征分解成亮度開啟和亮度閉合2種類型；用 4個(gè)方位的濾波器分別對(duì)待注意圖進(jìn)行濾波，得到4種方位特征類型；分別用原始的LBP算 子和環(huán)半徑延伸的LBP算子計(jì)算得到的2種紋理特征類型，一共得到待注意圖的11種特征 類型；第2步根據(jù)待注意圖的11種特征類型和長(zhǎng)期記憶庫中存儲(chǔ)學(xué)習(xí)目標(biāo)類得到自 頂向下的顯著性圖；根據(jù)待注意圖的11種特征類型本身的對(duì)比度得到一個(gè)自底向上的顯 著性圖；第3步將自頂向下顯著性圖中的每一點(diǎn)的像素值除以自頂向下顯著性圖中的 最大像素值，將自底向上顯著性圖中的每一點(diǎn)的像素值除以自底向上顯著性圖中的最大像 素值，最后將這兩個(gè)標(biāo)準(zhǔn)化后的圖的乘積作為最終顯著性圖；第4步利用勝者全贏的方法，得到最終顯著性圖中的最顯著的點(diǎn)和該點(diǎn)對(duì)應(yīng)的 最優(yōu)尺寸構(gòu)成了最顯著區(qū)域；第5步將最終顯著性圖中最顯著區(qū)域的像素值都置為零，得到一個(gè)新的最終顯 著性圖；第6步重復(fù)第4步至第5步，直至預(yù)先設(shè)定的次數(shù)，完成后得到的最顯著性的點(diǎn) 和該點(diǎn)所在區(qū)域的尺寸，作為注意焦點(diǎn)。本發(fā)明提出一種生物激勵(lì)的自頂向下的視覺注意方法，包括學(xué)習(xí)目標(biāo)的表示，自 頂向下顯著性圖和自底向上顯著性圖。在學(xué)習(xí)目標(biāo)的表示時(shí)，現(xiàn)有的方法都是利用了學(xué)習(xí) 目標(biāo)的特性和學(xué)習(xí)目標(biāo)所在背景的特性，再將每一個(gè)特征圖中的目標(biāo)與背景的比值作為該 特征的權(quán)重，然后根據(jù)這些權(quán)重聯(lián)合待注意圖中的不同的特征圖得到自頂向下的顯著性 圖。這些方法存在的缺點(diǎn)是當(dāng)目標(biāo)所在的背景改變時(shí)，即當(dāng)待注意圖中的目標(biāo)不總是出現(xiàn) 在訓(xùn)練圖的背景中，或者待注意圖中的目標(biāo)和其背景的組合與學(xué)習(xí)圖中的目標(biāo)和其背景的 組合相差很大時(shí)，在待注意圖中很難檢測(cè)到學(xué)習(xí)的目標(biāo)。為了解決以上的問題，本發(fā)明在 學(xué)習(xí)目標(biāo)的表示時(shí)，僅僅利用了學(xué)習(xí)目標(biāo)本身的特性，而沒有考慮其所在的背景，這樣的目 標(biāo)表示具有更強(qiáng)的魯棒性。在實(shí)驗(yàn)結(jié)果中，分別與Itti等的方法，V0CUS自頂向下的方法， Navalpakkam的方法相比，本發(fā)明在待注意圖中能夠更好地檢測(cè)學(xué)習(xí)的目標(biāo)圖像，獲得較好 的視覺效果。


圖1是本發(fā)明流程圖2是LBP算子；圖3(a)是原始的LBP算子；(b)是延伸的LBP算子；圖4是合成圖的實(shí)驗(yàn)結(jié)果；圖4a是Itti模型第12次找到目標(biāo)；圖4b是V0⑶S自頂向下模型第4次找到目標(biāo)；
圖4c是Navalpakkam模型第7次找到目標(biāo)；圖4d是本發(fā)明的模型第1次找到目標(biāo)；圖5是訓(xùn)練圖；圖6是測(cè)試圖；圖6a是Itti模型第10次找到目標(biāo)；圖6b是V0⑶S自頂向下模型第8次找到目標(biāo)；圖6c是Navalpakkam模型第6次找到目標(biāo)；圖6d是本發(fā)明的模型第3次找到目標(biāo)；圖7是四種方法的所有目標(biāo)的實(shí)驗(yàn)結(jié)果的直方圖(X軸表示找到目標(biāo)的次數(shù)，Y軸 表示該次出現(xiàn)的總數(shù))；圖7a是Itti的自底向上的方法；
圖7b是V0⑶S自頂向下方法；圖 7c 是 Navalpakkam 的方法；圖7d是本發(fā)明的方法。
具體實(shí)施例方式下面結(jié)合附圖和實(shí)例對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。在實(shí)施本發(fā)明之前，需要先建立長(zhǎng)期記憶庫，用于存儲(chǔ)學(xué)習(xí)目標(biāo)類，其步驟包括(1)提取所有的學(xué)習(xí)圖的特征視網(wǎng)膜的輸入信息被諸如顏色，亮度，方位和紋理等初級(jí)特征平行地處理，每一個(gè) 特征被分解成不同的特征類型。(1. 1)本發(fā)明將顏色分解成紅、綠、藍(lán)3種類型，分別記為r，g和b，對(duì)于每一特征 類型圖，計(jì)算它的均值和標(biāo)準(zhǔn)差，例如Jilu，Oia), (Ui,2, 0i,2)和(^,3，0i,3)分別表示 第i個(gè)學(xué)習(xí)圖的紅、綠、藍(lán)3種特征類型。在后續(xù)的特征提取中，如果學(xué)習(xí)圖是彩色圖，則首先將其轉(zhuǎn)變成灰度圖像再進(jìn)行處理。(1. 2)本發(fā)明將亮度特征分為成亮度開啟(由亮到暗)和亮度閉合(由暗到亮)2 種類型，這是由于人類視覺系統(tǒng)的視覺感知場(chǎng)中的活性細(xì)胞有2種類型，中央開啟的細(xì)胞 增強(qiáng)中心亮的部分抑制周圍亮的部分，中央閉合的細(xì)胞抑制中心亮的部分增強(qiáng)周邊亮的部 分(S. E. Palmer，Vision science，photons to phenomenology,The MIT Press，Cambridge， MA，1999)，將圖像中每個(gè)點(diǎn)的像素值減去該點(diǎn)周圍四鄰域像素值的均值作為該點(diǎn)的響應(yīng)值 (如果是負(fù)值則令其為零)，這樣得到了亮度開啟的特征類型圖，同樣將圖像中每個(gè)點(diǎn)周圍 四鄰域像素值的均值減去該點(diǎn)的像素值作為該點(diǎn)的響應(yīng)值(如果是負(fù)值則令其為零)，這 樣得到了亮度閉合的特征類型圖。同樣(Pu，oi>4)和，0i,5)分別表示亮度開啟和
6亮度閉合2種特征類型。(1. 3)用Gabor濾波器檢測(cè)出4個(gè)方位特征類型0°，45°，90°和135°，Gabor 濾波器的數(shù)學(xué)表達(dá)式為h(u, v) = q(u' , v' )cos(2 3i cofu' ) (1)其中 f表示Gabor濾波器的中心頻率，它決定了濾波器帶通區(qū)域中心在頻率上的位 置，通過選取不同的0^可以得到不同的尺度。Su和Sv分別是Gabor濾波器沿著橫坐標(biāo) 和縱坐標(biāo)的高斯包絡(luò)的空間常量，Su、Sv分別與Gabor濾波器的頻率帶寬Bf和方位帶寬 Be并有以下關(guān)系
⑷ 一般情況下取《f = 0. 12，Bf = 1. 25，B0 = Ji /6， 是高斯坐標(biāo)軸與橫坐標(biāo)軸的 夾角，當(dāng)小分別取0°，45°，90°和135°時(shí)，得到4個(gè)不同的Gabor濾波器。在提取方位 特征類型時(shí)，用這4個(gè)Gabor濾波器分別濾波，得到了 4種方位的特征類型圖，分別表示成 (U ij6, o i6)，(u i>7, o i7)，(u i,8，o i8)禾口( i! i9，o i9)。(1.4)對(duì)于紋理特征，本發(fā)明考慮了局部二值模式LBP(Local BinaryPattern), LBP是用來描述圖像的局部空間結(jié)構(gòu)特征并且已被廣泛用來解釋人類感知的紋理特征， Ojala 等 人(T. Ojala, M. PietikAainen, and D. Harwood, "A comparative study of texture measures with classification based on featureddistributions, "Pattern Recognition, 29(1) =51-59,1996.)首先介紹了這種算子并顯示了其強(qiáng)大的紋理分類的能 力。在圖像中給定的位置(x。，y。)，LBP被定義為一個(gè)中心像素和周邊八鄰域像素比較得到 的二值次序的集合(如圖2所示)，結(jié)果的十進(jìn)制可以被下述式子表示出來 其中i。是中心位置(x。，yc)的像素值，in是周邊八鄰域的像素值，函數(shù)s (x)被定 義成 本發(fā)明使用了 2個(gè)LBP算子，一個(gè)是原始的LBP算子，另一個(gè)是環(huán)半徑的延伸的 LBP算子，該算子可以保持尺寸和旋轉(zhuǎn)不變性，當(dāng)它的像素點(diǎn)不在像素中心時(shí)，是通過插值 得到的，兩個(gè)LBP算子如圖3所示，被表示成(1^,1(|，0i,1(l)和(ii^，0i,n)。所以，本發(fā)明 一共使用了 11個(gè)特征類型。(2)將同一種類所有的學(xué)習(xí)圖表示成均值向量和標(biāo)準(zhǔn)差向量
學(xué)習(xí)圖的種類是指學(xué)習(xí)圖中物體所屬的類型，比如所有包含不同式樣的杯子屬于 同一種類。本發(fā)明聯(lián)合相同種類的不同學(xué)習(xí)圖構(gòu)成一個(gè)更加魯棒更加一般的目標(biāo)類(也可 以稱之為學(xué)習(xí)類)，并且將這個(gè)目標(biāo)類存儲(chǔ)在長(zhǎng)期記憶庫中。設(shè)是第i個(gè)學(xué)習(xí)圖的事件 (i G {l，2，L，n})，n表示所有學(xué)習(xí)圖的個(gè)數(shù)。(2.1)假設(shè)0是表示觀察的隨機(jī)變量，0 = 0是0被觀察到的事件。P(0 = o|Ti) 是條件概率，表示在第i個(gè)學(xué)習(xí)圖發(fā)生的情況下事件0 = o發(fā)生的概率。假設(shè)P (0 = o | T》 服從正態(tài)分布N(yi，E》，其中y i = (uia, uij2, L P ^廣表示平均特征值的向量，E i 是協(xié)方差矩陣，由于本發(fā)明假定不同的特征是相互獨(dú)立的，所以協(xié)方差矩陣是一個(gè)對(duì)角矩 陣，它的對(duì)角線上的元素等于特征的方差，記為彳= ，<2，L < )r。
(2. 2)令T是目標(biāo)類發(fā)生的事件，本發(fā)明按照下述方式定義T
(8)
換句話說，一個(gè)觀察事件屬于某一個(gè)目標(biāo)類當(dāng)且僅當(dāng)它屬于這個(gè)類中的某一個(gè)物
本發(fā)明考慮0|T的分布并且得到下面的式子 方程(14)、(15)、(16)、(19)、(20)和(21)中的do表示對(duì)變量o的積分。由上式 獲得的P和o仍然是向量，為了與以上記號(hào)的區(qū)別，記為P (f)和o (f)，l11，一 般說來，0|T有多種形式的分布，但是為了作為一種近似地表達(dá)，本發(fā)明僅考慮其服成標(biāo)準(zhǔn) 正態(tài)分布的情況。通過處理許多相同類的不同位置和尺寸的學(xué)習(xí)圖片，本發(fā)明得到它們的目標(biāo)表示 并且聯(lián)合它們形成一個(gè)目標(biāo)類的表示。如圖1所示，本發(fā)明方法包括以下步驟第1步對(duì)于一個(gè)給定的待注意圖，本發(fā)明提取顏色，亮度，方位和紋理等初級(jí)視 覺特征。顏色特征被分解成紅、綠、藍(lán)3種類型；根據(jù)視覺感知場(chǎng)中活性細(xì)胞的2種類型， 亮度特征被分為成亮度開啟(由亮到暗)和亮度閉合(由暗到亮)2種類型；用4個(gè)方位 (0°，45°，90°和135° )的Gabor濾波器分別對(duì)待注意圖進(jìn)行濾波，得到4種方位特征類 型；對(duì)待注意圖，分別用原始的LBP算子和環(huán)半徑延伸的LBP算子計(jì)算得到的2種紋理特征 類型。這樣一共得到了待注意圖的11種特征類型。第2步本發(fā)明在這一部分根據(jù)待注意圖的11種特征類型和長(zhǎng)期記憶庫中存儲(chǔ) 學(xué)習(xí)目標(biāo)類得到自頂向下的顯著性圖；與此同時(shí)，根據(jù)待注意圖的11種特征類型本身的對(duì) 比度得到一個(gè)自底向上的顯著性圖。(A)獲取待注意圖的自頂向下的顯著性圖為了檢測(cè)待注意圖中特殊的目標(biāo)，本發(fā)明使用存儲(chǔ)在長(zhǎng)期記憶庫中的學(xué)習(xí)目標(biāo)類 的表示聯(lián)合不同的特征圖，形成一個(gè)自頂向下的顯著性圖。對(duì)于待注意圖I，根據(jù)以上提取的11種特征類型，每一種特征類型構(gòu)成一個(gè)與待 注意圖大小相同的特征類型圖，選擇一些不同的學(xué)習(xí)圖的尺寸作為滑動(dòng)窗口，對(duì)于坐標(biāo)位 置(x，y)，本發(fā)明使用滑動(dòng)窗口通過每一個(gè)特征類型圖并在每一個(gè)窗口中計(jì)算均值和標(biāo)準(zhǔn) 差，并將待注意圖I的第f個(gè)特征類型的第s個(gè)尺度的均值和標(biāo)準(zhǔn)差分別記為y ^..(x^) 和o^Jx，》。如果在該點(diǎn)處的均值和標(biāo)準(zhǔn)差與學(xué)習(xí)圖的均值和標(biāo)準(zhǔn)差越接近，那么認(rèn)為 該點(diǎn)與學(xué)習(xí)圖越相似，所以本發(fā)明定義第f 個(gè)特征類型，第S個(gè)尺度的響應(yīng)圖為
「0085」 其中分母上的1是為了避免Rf,s(x，y)變得無界，U (f)和O (f)分別是學(xué)習(xí)目標(biāo) 的第f 特征類型的均值和標(biāo)準(zhǔn)差。第f 特征類型在不同的空間尺度聯(lián)合生成的響應(yīng)圖Rf(x， y)為
(24)在獲得每一個(gè)特征類型的響應(yīng)圖之后，本發(fā)明用空間競(jìng)爭(zhēng)函數(shù)來融合這些響應(yīng) 圖。具體過程如下先將每個(gè)響應(yīng)圖Rf(x，y)標(biāo)準(zhǔn)化到
區(qū)間內(nèi)變成&(x，>0，然后對(duì) 每一個(gè)響應(yīng)圖用兩維差分濾波器(DoG)反復(fù)迭代，兩維差分濾波器如方程(25)所示。 o曰和o inh的取值與待注意圖I的寬度值有關(guān)，取值范圍在寬度值的到100之間，本發(fā)明中0 和oinh分別取待注意圖I寬度值的2%和和cinh是常數(shù)，其 取值范圍在區(qū)間W.l，l]內(nèi)，本發(fā)明中和cinh分別取0.5和1.5。在迭代過程中，如果出 現(xiàn)了負(fù)值則令其為零，如方程(26)所示。 Tf(x, y) H Yf(x, y) + Yf(x, y) * DoG - Cmh U(26)符號(hào)| | 表示丟棄負(fù)值部分，符號(hào)一表示在迭代的過程中將右邊的值賦給左 邊，cinh為常數(shù)，其取值范圍在區(qū)間w，0. 1]內(nèi)，本發(fā)明中取Cinh = 0.02，這樣迭代的結(jié)果是 增強(qiáng)了顯著性的區(qū)域，抑制了非顯著性的區(qū)域。設(shè)空間競(jìng)爭(zhēng)函數(shù)為g，本發(fā)明使用g聯(lián)合所有的特征類型形成一個(gè)自頂向下的顯 著性圖。 (B)獲取待注意圖的自底向上的顯著性圖自底向上顯著性圖包括顏色特征，亮度特征和方位特征，采用Itti等人提出的模 型就可以完成。作為本發(fā)明的一種改進(jìn)，自底向上顯著性圖也可以考慮紋理信息，這種自底向上 顯著性模型是Itti等人提出的模型的一種延伸。下面具體說明如下將待注意圖分解成3種顏色特征類型，2種亮度特征類型，4種方位特征類型和2 種紋理特征類型，對(duì)于每一個(gè)特征類型圖，將其分解成9個(gè)高斯金字塔圖(從尺度0到尺 度8)，這樣對(duì)于特征類型圖Fa(l彡a彡11)，有9個(gè)高斯金字塔圖Fa(0) G {0，1，K， 8})，F(xiàn)a(0)的尺寸等于待注意圖的尺寸，F(xiàn)a(l)的尺寸是？。(0)尺寸的一半，F(xiàn)a (2)的尺寸 ^Fa(l)尺寸的一半，……Fa(8)的尺寸是？。(7)尺寸的一半，取c e {2,3,4}, x G {3， 4}，a = c+ t，令
(28)其中 表示高斯金字塔的逐點(diǎn)差，這樣每一個(gè)特征類型圖都有6個(gè)特征圖，再將 這6個(gè)特征圖融合成一個(gè)特征類型響應(yīng)圖羅 以保持尺度不變性 其中0表示逐點(diǎn)求和。見在坐標(biāo)點(diǎn)(x，y)處的值可以表示為見(x,_y)。本發(fā)明使用Itti等人的特征圖歸一化算子N(.)來增強(qiáng)顯著峰較少的特征圖，而 削弱存在大量顯著峰的特征圖。對(duì)每一特征圖，該算子的操作包括1)歸一化該特征圖至 一固定范圍
內(nèi)，以消除依賴于特征的幅度差別，其中M是該特征圖中的最大像素 值；2)計(jì)算除全局最大值外所有局部極大的均值歷；3)用(M-&)2乘該特征圖。所有小于最 大值20%的值都置為零。僅考慮局部極大值可使N(.)對(duì)特征圖中有意義的區(qū)域進(jìn)行比較，而忽略均勻區(qū) 域。全局最大值與所有局部極大均值之差反映了最感興趣區(qū)域與平均感興趣區(qū)域間的差 別。若該差值較大，最感興趣區(qū)域就會(huì)突出出來，若該差值較小，表明特征圖中不含任何具 有獨(dú)特性質(zhì)的區(qū)域。N(.)的生物學(xué)依據(jù)在于它近似地表達(dá)了皮層的側(cè)抑制機(jī)制，即近鄰相 似特征通過特定的聯(lián)結(jié)相互抑制。所有的特征類型響應(yīng)圖被歸一化，并求均值得到自底向上顯著性圖Sbu(x, y)，如式(30)所示 第3步獲取最終顯著性圖自頂向下與自底向上的顯著性圖如上所述，最終的顯著性圖是他們點(diǎn)對(duì)點(diǎn)的乘 積，這兩個(gè)圖都競(jìng)爭(zhēng)顯著性，自頂向下圖強(qiáng)調(diào)學(xué)習(xí)的特征而自底向上的圖強(qiáng)調(diào)圖本身的顯 著性，為了使他們可比較，用另外一個(gè)標(biāo)準(zhǔn)化算子Norm(.)將自頂向下和自底向上的顯著 性圖標(biāo)準(zhǔn)化到W，l]區(qū)間內(nèi)，具體是將自頂向下顯著性圖中的每一點(diǎn)的像素值除以自頂向 下顯著性圖中的最大像素值，將自底向上顯著性圖中的每一點(diǎn)的像素值除以自底向上顯著 性圖中的最大像素值。最后將這兩個(gè)標(biāo)準(zhǔn)化后的圖的乘積作為最終顯著性圖S(x, y)。S(x, y) = Norm(Std(x, y)) XNorm(Sbu(x, y)) (31)由以上的計(jì)算過程可知，此時(shí)最終顯著性圖S(x，y)的尺寸是待注意圖I的尺寸的 1/16，為了與待注意圖的尺寸保持一致，將S(x，y)的尺寸放大到與I相同的尺寸。第4步勝者全贏(Wirmer-take-all)對(duì)于最終顯著性圖中的每一點(diǎn)U/，根據(jù)熵 的最大化方法獲得一個(gè)最優(yōu)的尺寸Vp如方程(32)所示，此方程表示了該點(diǎn)位置處的空間
顯著性。
(32)其中D是最終顯著性圖中以圓心為V半徑為r的圓形局部區(qū)域所有像素值的集 合，半徑r的取值范圍是從待注意圖長(zhǎng)度和寬度值中最小值的1/12到1/3，HD(r, V)是根 據(jù)方程(33)得到的熵值，WD(r，V)是由方程(34)得到的尺度間的尺度。
其中p“, w是通過在以上局部區(qū)域內(nèi)標(biāo)準(zhǔn)化像素的直方圖得到的概率塊函數(shù)，描 述值d是集合D中的一個(gè)元素。這樣對(duì)于最終顯著性圖中的每一點(diǎn)V，獲得了一個(gè)最優(yōu)的尺寸1^，再計(jì)算該點(diǎn)在 一個(gè)局部區(qū)域內(nèi)的均值，這個(gè)局部區(qū)域是以該點(diǎn)為圓心，以為半徑的圓形區(qū)域，所有的 均值構(gòu)成了一個(gè)圖，該圖中最大值的點(diǎn)即為最顯著的點(diǎn)，最顯著的點(diǎn)和該點(diǎn)對(duì)應(yīng)的最優(yōu)尺 寸構(gòu)成了最顯著的區(qū)域。第5步返回抑制(Inhibition-of-return)根據(jù)勝者全贏的方法得到了一個(gè)最 顯著的區(qū)域，在視線注意到這一區(qū)域之后，為了實(shí)現(xiàn)注意轉(zhuǎn)移，使之注意到下一個(gè)區(qū)域，就 要消除當(dāng)前最終顯著性圖中的最顯著性的區(qū)域，本發(fā)明是將最終顯著性圖中最顯著的區(qū)域 的像素值都置為零。這樣就得到了一個(gè)新的最終顯著性圖。第6步注意選擇重復(fù)步驟第4步至第5步，直至預(yù)先設(shè)定的次數(shù)X，當(dāng) A < 10時(shí)能達(dá)到良好的實(shí)驗(yàn)效果，完成后得到的最顯著性的點(diǎn)和該點(diǎn)所在區(qū)域的尺
寸，作為注意焦點(diǎn)。實(shí)例
本發(fā)明使用了 Itti模型，V0CUS自頂向下模型Navalpakkam模型和本發(fā)明的模型 分別作用于相同的待注意圖像和學(xué)習(xí)圖。在50組實(shí)驗(yàn)中，有24個(gè)自然場(chǎng)景，包括20個(gè)單 目標(biāo)場(chǎng)景和4個(gè)多目標(biāo)場(chǎng)景，此外還有26個(gè)合成的場(chǎng)景，包括17個(gè)單目標(biāo)場(chǎng)景和9個(gè)多目 標(biāo)場(chǎng)景。實(shí)驗(yàn)有兩種形式，一種是知道要注意的特征類型，例如如果本發(fā)明的任務(wù)是尋找水 平的紅色的目標(biāo)，則此時(shí)第一個(gè)特征類型紅色和第六個(gè)特征類型0°是相關(guān)的特征類型，所 以令y (1) = 1，o (1) =0, u (6) = 1，o (6) = 0，其余的均值和方差都為零，實(shí)驗(yàn)結(jié)果如 圖4所示。另外一種方法是不知道要注意的特征類型，以一個(gè)自然場(chǎng)景為例，圖5和圖6分 別是學(xué)習(xí)圖和待注意圖的實(shí)驗(yàn)結(jié)果。圖7是四種模型的所有目標(biāo)的實(shí)驗(yàn)結(jié)果的直方圖本發(fā)明不僅局限于上述具體實(shí)施方式
，本領(lǐng)域一般技術(shù)人員根據(jù)本發(fā)明公開的內(nèi) 容，可以采用其它多種具體實(shí)施方式
實(shí)施本發(fā)明，因此，凡是采用本發(fā)明的設(shè)計(jì)結(jié)構(gòu)和思 路，做一些簡(jiǎn)單的變化或更改的設(shè)計(jì)，都落入本發(fā)明保護(hù)的范圍。
權(quán)利要求
一種生物激勵(lì)的自頂向下的視覺注意方法，其步驟為第1步 對(duì)于一個(gè)給定的待注意圖，先提取顏色，亮度，方位和紋理初級(jí)視覺特征；將顏色特征分解成紅、綠、藍(lán)3種類型，將亮度特征分解成亮度開啟和亮度閉合2種類型；用4個(gè)方位的濾波器分別對(duì)待注意圖進(jìn)行濾波，得到4種方位特征類型；分別用原始的LBP算子和環(huán)半徑延伸的LBP算子計(jì)算得到的2種紋理特征類型，一共得到待注意圖的11種特征類型；第2步 根據(jù)待注意圖的11種特征類型和長(zhǎng)期記憶庫中存儲(chǔ)學(xué)習(xí)目標(biāo)類得到自頂向下的顯著性圖；根據(jù)待注意圖的11種特征類型本身的對(duì)比度得到一個(gè)自底向上的顯著性圖；第3步 將自頂向下顯著性圖中的每一點(diǎn)的像素值除以自頂向下顯著性圖中的最大像素值，將自底向上顯著性圖中的每一點(diǎn)的像素值除以自底向上顯著性圖中的最大像素值，最后將這兩個(gè)標(biāo)準(zhǔn)化后的圖的乘積作為最終顯著性圖；第4步 利用勝者全贏的方法，得到最終顯著性圖中的最顯著的點(diǎn)和該點(diǎn)對(duì)應(yīng)的最優(yōu)尺寸構(gòu)成了最顯著區(qū)域；第5步 將最終顯著性圖中最顯著區(qū)域的像素值都置為零，得到一個(gè)新的最終顯著性圖；第6步 重復(fù)第4步至第5步，直至預(yù)先設(shè)定的次數(shù)，完成后得到的最顯著性的點(diǎn)和該點(diǎn)所在區(qū)域的尺寸，作為注意焦點(diǎn)。
2.根據(jù)權(quán)利要求1所述的生物激勵(lì)的自頂向下的視覺注意方法，其特征在于，第2步， 按照下述過程獲取待注意圖的自頂向下的顯著性圖每一種特征類型構(gòu)成一個(gè)與待注意圖大小相同的特征類型圖，對(duì)于待注意圖I，根據(jù)提 取的11種特征類型，選擇不同的學(xué)習(xí)圖的尺寸作為滑動(dòng)窗口，對(duì)于坐標(biāo)位置(x，y)，使用滑 動(dòng)窗口通過每一個(gè)特征類型圖并在每一個(gè)窗口中計(jì)算均值和標(biāo)準(zhǔn)差，并將待注意圖I的第 f個(gè)特征類型的第s個(gè)尺度的均值和標(biāo)準(zhǔn)差分別記為P^s(Ly)和O1^s(Ly)；第s個(gè) 尺度的響應(yīng)圖Rf,s(x，y)為 其中，μ (f)和σ (f)分別是學(xué)習(xí)目標(biāo)的第f特征類型的均值和標(biāo)準(zhǔn)差，第f個(gè)特征類 型在不同的空間尺度聯(lián)合生成的響應(yīng)圖Rf (X，y)為 在獲得每一個(gè)特征類型的響應(yīng)圖之后，使用空間競(jìng)爭(zhēng)函數(shù)聯(lián)合所有的特征類型形成一個(gè)自頂向下的顯著性圖
3.根據(jù)權(quán)利要求1所述的生物激勵(lì)的自頂向下的視覺注意方法，其特征在于，第2步， 按照下述過程獲取待注意圖的自底向上的顯著性圖對(duì)于每一個(gè)特征類型圖，將其分解成9個(gè)高斯金字塔圖，其尺度是從尺度O到尺度8，標(biāo) 記為β，這樣對(duì)于特征類型圖Fa，有9個(gè)高斯金字塔圖Fa (β)，1彡α彡11，β e {0,1, K,8),Fa(O)的尺寸等于待注意圖的尺寸，F(xiàn)a(l)的尺寸是？。(0)尺寸的一半，F(xiàn)a (2)的尺寸^Fa(I)尺寸的一半，……Fa(S)的尺寸是？。(7)尺寸的一半，取C e {2,3,4}, τ e {3， 4}，a = c+ τ ,令 其中Θ表示高斯金字塔的逐點(diǎn)差，這樣每一個(gè)特征類型圖都有6個(gè)特征圖，再將這6 個(gè)特征圖融合成一個(gè)特征類型響應(yīng)圖羅α以保持尺度不變性 其中0表示逐點(diǎn)求和。見在坐標(biāo)點(diǎn)(x，y)處的值可以表示為見所有的特征類型 響應(yīng)圖被歸一化，并求均值得到自底向上顯著性圖Sbu(χ，y)
4.根據(jù)權(quán)利要求1、2或3所述的生物激勵(lì)的自頂向下的視覺注意方法，其特征在于，第 2步中的按照下述過程建立長(zhǎng)期記憶庫中存儲(chǔ)學(xué)習(xí)目標(biāo)類(Al)提取所有的學(xué)習(xí)圖的初級(jí)視覺特征，得到11個(gè)特征類型； (A2)將同一種類所有的學(xué)習(xí)圖表示成均值向量和標(biāo)準(zhǔn)差向量； 其中化=，η表示所有學(xué)習(xí)圖的個(gè)數(shù)；μ i = ( μ U，μ i,2，L μ T表示第i個(gè)學(xué)習(xí)圖 η的均值向量Ji是第i個(gè)學(xué)習(xí)圖的事件(i e {l，2，L，n}) ；Ρ(0 = ο| \)表示在Ti發(fā)生的條 件下事件ο出現(xiàn)的概率；do表示對(duì)變量ο的積分。
全文摘要
本發(fā)明公開了一種生物激勵(lì)的自頂向下的視覺注意方法，步驟為①提取所有的學(xué)習(xí)圖的特征；②將同類型所有的學(xué)習(xí)圖表示成均值向量和標(biāo)準(zhǔn)差向量；③獲取待注意圖的自頂向下的顯著性圖和自底向上的顯著性圖；④獲取最終顯著性圖；⑤勝者全贏；⑥返回抑制，將最終顯著性圖中最顯著性點(diǎn)所在區(qū)域的像素值都置為零，得到了一個(gè)新的最終顯著性圖；⑦注意選擇。本發(fā)明在學(xué)習(xí)目標(biāo)的表示時(shí)，僅僅利用了學(xué)習(xí)目標(biāo)本身的特性，而沒有考慮其所在的背景，這樣的目標(biāo)表示具有更強(qiáng)的魯棒性，獲得較好的視覺效果。
文檔編號(hào)G06T5/00GK101894371SQ201010229180
公開日2010年11月24日 申請(qǐng)日期2010年7月19日 優(yōu)先權(quán)日2010年7月19日
發(fā)明者左崢嶸, 楊衛(wèi)東, 桑農(nóng), 王岳環(huán), 胡靜, 高常鑫, 魏龍生 申請(qǐng)人:華中科技大學(xué)