專利名稱：基于位熵率的視覺注意計(jì)算方法及系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像與視頻處理技術(shù)，計(jì)算機(jī)視覺以及視覺感知等多個(gè)領(lǐng)域，尤其涉
及一種基于位熵率的視覺注意計(jì)算方法及系統(tǒng)。
背景技術(shù)：
選擇性注意是指心理資源有選擇性的被分配給某些認(rèn)知加工過程，使得這些認(rèn)知 過程對(duì)信息的加工更加快速準(zhǔn)確。注意對(duì)于協(xié)調(diào)各種認(rèn)知加工過程非常重要。人類每一時(shí) 刻都接受到大量的外界信息，處于被"信息轟炸"的狀態(tài)中。我們有限的心理資源和神經(jīng)資 源不可能同時(shí)處理這么多的信息，只能選擇性的處理具有高優(yōu)先性的信息而忽視低優(yōu)先性 的信息，注意的作用正是體現(xiàn)于此。 選擇性注意是一個(gè)非常復(fù)雜的認(rèn)知過程，它時(shí)時(shí)刻刻影響著大腦的信息加工過 程。對(duì)選擇性注意的研究自上個(gè)世紀(jì)八十年代以來一直是認(rèn)知科學(xué)的熱點(diǎn)領(lǐng)域，這一點(diǎn)可 以從每年發(fā)表的關(guān)于注意的文章的數(shù)量和質(zhì)量得到證明。關(guān)于注意機(jī)制的理論紛繁復(fù)雜， 但研究者比較認(rèn)同以下分類從注意產(chǎn)生的方向來分，選擇性注意包括自下而上，數(shù)據(jù)驅(qū)動(dòng) 的過程(bottom-up and data-driven process)禾口自上而下，目標(biāo)指弓l的過程(top-down and goal-directed process);從注意選擇的目標(biāo)來分，選擇性注意包括基于空間的注意 (space-basedattention)，基于特征的注意(feature-based attention)禾口基于物體的注 意(object-based attention)。 選擇性注意一般包括靜態(tài)注意分析和動(dòng)態(tài)注意分析，分別針對(duì)靜態(tài)圖像和動(dòng)態(tài)視 頻中顯著區(qū)域的檢測(cè)。在靜態(tài)注意分析中有兩種模型，一種是自下而上任務(wù)無關(guān)的模型，也 稱為剌激驅(qū)動(dòng)的模型；另一種是自上而下任務(wù)相關(guān)的模型，也稱為任務(wù)驅(qū)動(dòng)的模型。自下而 上的方法主要來自于視覺認(rèn)知心理學(xué)方面的一些研究成果。Koch和Ullman在1985年就 提出了一個(gè)簡單的自下而上方法，它把視覺場(chǎng)景中每個(gè)位置的剌激顯著性響應(yīng)作為輸入并 編碼成一個(gè)顯式的二維顯著圖，沿著此圖中顯著性下降的順序提供一種有效的注意掃描方 式。自下而上的方法無需考慮任何知識(shí)信息，然而我們時(shí)刻都在受到自身知識(shí)、文化背景的 影響。換句話說，我們時(shí)時(shí)刻刻都是任務(wù)驅(qū)動(dòng)的，以自上而下的方法觀察周圍的事物。因此， 已有一些工作將先驗(yàn)知識(shí)應(yīng)用于視覺注意分析中，提高分析結(jié)果與眼動(dòng)實(shí)驗(yàn)結(jié)果的吻合程 度。近年來，越來越多的工作開始致力于動(dòng)態(tài)注意分析。在視頻中，每一幀的顯著度分布不 僅受其自身內(nèi)容影響，同時(shí)受到時(shí)間上下文關(guān)系的影響，所以運(yùn)動(dòng)特征在視頻中起著至關(guān) 重要的作用。 現(xiàn)有的方法存在兩方面的問題一方面，現(xiàn)有的方法有的是基于中心-周圍模型 有的是基于信息最大化原理的，很少有方法能同時(shí)從這兩方面來解釋；另一方面，現(xiàn)有的方 法對(duì)視覺注意點(diǎn)的預(yù)測(cè)并不是特別準(zhǔn)確，與真實(shí)的眼動(dòng)數(shù)據(jù)有很大差距。

發(fā)明內(nèi)容
本發(fā)明的目的在于，提供一種視覺注意計(jì)算方法及系統(tǒng)，基于本發(fā)明，能夠獲取更
4加精確的圖像或者視頻的顯著度分析結(jié)果，更加符合生理學(xué)和心理學(xué)的依據(jù)。
本發(fā)明提供了一種基于位熵率的視覺注意計(jì)算方法，包括如下步驟濾波步驟，采 用稀疏碼本基函數(shù)對(duì)圖像或視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖，其中所述稀疏碼本 基函數(shù)是基于學(xué)習(xí)稀疏碼本而獲取的；全連接圖建立步驟，分別為所述多個(gè)子帶特征圖的 每一子帶特征圖建立對(duì)應(yīng)的全連接圖；位熵率圖獲取步驟，在每一所述全連接圖上采用隨 機(jī)游走的方法進(jìn)行信息的傳遞，在隨機(jī)游走過程中，依據(jù)位熵率進(jìn)行顯著度度量，進(jìn)而獲取 每一所述子帶特征圖對(duì)應(yīng)的位熵率圖；顯著度圖獲取步驟，將所述多個(gè)位熵率圖加起來，獲 取所述圖像或視頻數(shù)據(jù)的顯著度圖。上述 上述基于位熵率的視覺注意計(jì)算方法，優(yōu)選所述位熵率圖獲取步驟中，所述位熵 率用于確定所述每一子帶特征圖對(duì)應(yīng)的全連接圖中，每個(gè)節(jié)點(diǎn)i到其他節(jié)點(diǎn)的平均信息量 DERi表示為 淑一,Z!-^/l0gA其中，i是隨機(jī)游走過程的靜止概率，Pij是結(jié)點(diǎn)i到結(jié)點(diǎn)j的轉(zhuǎn)移概率，i、 j均
為自然數(shù)。 上述基于位熵率的視覺注意計(jì)算方法，優(yōu)選所述顯著度圖獲取步驟中，基于特征
整合理論，將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。 上述基于位熵率的視覺注意計(jì)算方法，優(yōu)選所述濾波步驟中，采用獨(dú)立成分分析 方法分別為灰度圖像和彩色圖像學(xué)習(xí)稀疏碼本。 上述基于位熵率的視覺注意計(jì)算方法，優(yōu)選所述濾波步驟中，采用所述稀疏碼本 基函數(shù)對(duì)視頻的每一幀進(jìn)行濾波，獲取每一幀的多個(gè)子帶特征圖，第t幀的第j個(gè)子帶特征 圖，依據(jù)下式更新
A:
力(x, _y力一 S exP(— " - r) y^'(x,;;,0 = 其中，fj(x，y，t)是更新前的第t幀的第j個(gè)子帶特征圖，f' j(x，y，t)是更新后 的第t幀的第j個(gè)子帶特征圖，o是特征衰減率，o設(shè)置為1. 5，利用第t幀之前的k幀來 對(duì)第t幀進(jìn)行更新。 另一方面，本發(fā)明還提供了一種基于位熵率的視覺注意計(jì)算系統(tǒng)，包括濾波模 塊、全連接圖建立模塊、位熵率圖獲取模塊和顯著度圖獲取模塊。其中，濾波模塊用于采用 稀疏碼本基函數(shù)對(duì)圖像或視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖，其中所述稀疏碼本基 函數(shù)是基于學(xué)習(xí)稀疏碼本而獲取的；全連接圖建立模塊用于分別為所述多個(gè)子帶特征圖的 每一子帶特征圖建立對(duì)應(yīng)的全連接圖；位熵率圖獲取模塊用于在每一所述全連接圖上采用 隨機(jī)游走的方法進(jìn)行信息的傳遞，在隨機(jī)游走過程中，依據(jù)位熵率進(jìn)行顯著度度量，進(jìn)而獲 取每一所述子帶特征圖對(duì)應(yīng)的位熵率圖；顯著度圖獲取模塊，用于將所述多個(gè)位熵率圖加 起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。 上述基于位熵率的視覺注意計(jì)算系統(tǒng)，優(yōu)選所述位熵率圖獲取模塊中，所述位熵 率用于確定所述每一子帶特征圖對(duì)應(yīng)的全連接圖中，每個(gè)節(jié)點(diǎn)i到其他節(jié)點(diǎn)的平均信息 量，所述位熵率SERi表示為
5
其中，i是隨機(jī)游走過程的靜止概率，Pij是結(jié)點(diǎn)i到結(jié)點(diǎn)j的轉(zhuǎn)移概率。 上述基于位熵率的視覺注意計(jì)算系統(tǒng)，優(yōu)選所述顯著度圖獲取模塊中，基于特征
整合理論，將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。 上述基于位熵率的視覺注意計(jì)算系統(tǒng)，優(yōu)選所述濾波模塊中，采用獨(dú)立成分分析
方法分別為灰度圖像和彩色圖像學(xué)習(xí)稀疏碼本。 上述基于位熵率的視覺注意計(jì)算系統(tǒng)，優(yōu)選所述濾波模塊中，采用所述稀疏碼本 基函數(shù)對(duì)視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖后，第t幀的第j個(gè)子帶特征圖，依據(jù)下 式更新
/y 0，- Z exp(-o, y" - y。-(x，jj;,0二 其中，fj(x，y，t)是更新前的第t幀的第j個(gè)子帶特征圖，f' j(x，y，t)是更新后 的第t幀的第j個(gè)子帶特征圖，o是特征衰減率，o設(shè)置為1. 5，利用第t幀之前的k幀來 對(duì)第t幀進(jìn)行更新。 相對(duì)于現(xiàn)有技術(shù)中，本發(fā)明有如下幾個(gè)優(yōu)勢(shì) 第一、通過了大量的實(shí)驗(yàn)證明，無論是在圖像顯著度分析還是視頻顯著度分析，基 于本發(fā)明獲取的分析結(jié)果都比現(xiàn)有的其他方法更加精確。 第二、提出的計(jì)算方法有生理學(xué)、心理學(xué)方面的依據(jù)來支撐初期視覺皮層中簡單 細(xì)胞的稀疏編碼特性指導(dǎo)本模型采用稀疏碼本生成圖像的子帶特征圖，視皮層神經(jīng)網(wǎng)絡(luò)中 存在著的再生局部連接和長范圍的水平連接方式指導(dǎo)本模型在每一個(gè)子帶特征圖上采用 了一種全連接的圖模型作為基本的表示，一個(gè)神經(jīng)元的行為由周圍神經(jīng)元的總的突觸輸入 來驅(qū)動(dòng)指導(dǎo)我們提出了位熵率。 第三、同時(shí)能從視覺注意的兩種驅(qū)動(dòng)方式_信息最大化和中心周圍模型_來解釋 本模型。


圖1為本發(fā)明基于位熵率的視覺注意計(jì)算方法實(shí)施例的步驟流程圖；
圖2是本發(fā)明基于位熵率的視覺注意計(jì)算方法的處理過程示意圖；
圖3是本發(fā)明中提取出的關(guān)于灰度圖像的稀疏碼本示意圖； 圖4A是本發(fā)明基于位熵率的視覺注意計(jì)算方法對(duì)3幅彩色圖像的視覺注意點(diǎn)的 預(yù)測(cè)結(jié)果； 圖4B是本發(fā)明基于位熵率的視覺注意計(jì)算方法對(duì)另外3幅彩色圖像的視覺注意 點(diǎn)的預(yù)測(cè)結(jié)果； 圖5為本發(fā)明基于位熵率的視覺注意計(jì)算系統(tǒng)實(shí)施例的結(jié)構(gòu)框圖。
具體實(shí)施例方式
為使本發(fā)明的上述目的、特征和優(yōu)點(diǎn)能夠更加明顯易懂，下面結(jié)合附圖和具體實(shí)施方式
對(duì)本發(fā)明作進(jìn)一步詳細(xì)的說明。 參照?qǐng)D1，圖1為本發(fā)明基于位熵率的視覺注意計(jì)算方法實(shí)施例的步驟流程圖，包 括如下步驟 濾波步驟110，學(xué)習(xí)稀疏碼本，獲取稀疏碼本基函數(shù)；采用所述稀疏碼本基函數(shù)對(duì) 圖像或視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖。 全連接圖建立步驟120，分別為所述每一子帶特征圖建立對(duì)應(yīng)的全連接圖。
位熵率圖獲取步驟130，在所述每一全連接圖上采用隨機(jī)游走的方法進(jìn)行信息的 傳遞，在隨機(jī)游走過程中，依據(jù)位熵率作進(jìn)行顯著度度量，進(jìn)而獲取每一所述子帶特征圖對(duì) 應(yīng)的位熵率圖。 顯著度圖獲取步驟140，將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的 顯著度圖。 參照?qǐng)D2，圖2為本發(fā)明基于位熵率的視覺注意計(jì)算方法的處理過程示意圖。圖2 中，a為輸入的圖像或者視頻數(shù)據(jù)。首先用學(xué)習(xí)得到的稀疏碼本基函數(shù)b對(duì)輸入圖像或者 視頻數(shù)據(jù)a進(jìn)行濾波，得到的每一個(gè)子帶特征圖c對(duì)應(yīng)一個(gè)稀疏碼本；然后為每一個(gè)子帶特 征圖c建立了一個(gè)全連接圖d表示，這種全連接圖d表示能夠描述圖像中較遠(yuǎn)像素的關(guān)系； 為了模擬神經(jīng)網(wǎng)絡(luò)中各個(gè)神經(jīng)元之間信號(hào)(信息)的傳遞，本方法在每一個(gè)對(duì)應(yīng)的全連接 圖d上采用了隨機(jī)游走的方法，熵率(Entropy Rate)描述了隨機(jī)游走過程的平均信息量， 把這個(gè)總的平均信息量分發(fā)到各個(gè)圖結(jié)點(diǎn)上去，提出了一個(gè)新的顯著度度量-位熵率，同 時(shí)它也描述了各個(gè)結(jié)點(diǎn)到所有其他結(jié)點(diǎn)的平均信息量，這樣對(duì)應(yīng)于每個(gè)子帶特征圖就可以 得到一個(gè)位熵率圖e ;最后，把所有的位熵率圖加起來就得到了顯著度圖f。
下面結(jié)合圖3和圖4對(duì)上述各個(gè)步驟進(jìn)行詳細(xì)說明。 濾波步驟110中，稀疏碼本學(xué)習(xí)后，獲取稀疏碼本基函數(shù)，采用該稀疏碼本基函數(shù) 對(duì)目標(biāo)圖像或者視頻進(jìn)行濾波，下面對(duì)稀疏碼本進(jìn)行說明。 大量證據(jù)顯示當(dāng)有剌激出現(xiàn)在細(xì)胞感受野的時(shí)候只有少量的早期視覺神經(jīng)元會(huì) 被激活，為了模擬這種特性，稀疏編碼理論被提出來去表示自然圖像的內(nèi)在結(jié)構(gòu)。稀疏碼本 基函數(shù)為Vk， k是對(duì)基函數(shù)位置、方向和尺度的索引，則圖像I可表示為
<formula>formula see original document page 7</formula>
cik是基函數(shù)的系數(shù)，本方法采用ak作為早期視覺特征，它可以通過與基函數(shù)對(duì)
應(yīng)的濾波函數(shù)Gk計(jì)算得到 <formula>formula see original document page 7</formula>
本實(shí)施例采用獨(dú)立成分分析方法(Ind印endent ComponentAnalysis， ICA)分別為 灰度圖像和彩色圖像學(xué)習(xí)了一套稀疏碼本，這里的ICA是一種把混合信號(hào)分解成統(tǒng)計(jì)意義 上相互獨(dú)立的子信號(hào)的方法。如圖3所示，為本發(fā)明中提取出的關(guān)于灰度圖像的稀疏碼本 示意圖。 全連接圖建立步驟120為分別為所述每一子帶特征圖建立對(duì)應(yīng)的全連接圖，具體 說明如下 對(duì)應(yīng)于每一個(gè)子帶特征圖Fk建立了一個(gè)全連接圖GK = {Vk， EJ，其中Vk = {vkl， . . . ， vkn}是對(duì)應(yīng)于圖像像素處的結(jié)點(diǎn)，vki = (Xi， yi， fk(Xi， y》)有位置和特征響應(yīng)兩 個(gè)屬性，Ek二 {ekij，i，j = l，...n}是結(jié)點(diǎn)之間的加權(quán)邊，其中^.= (i，j，wkij)。權(quán)重wkij包含特征差異度。kij和空間距離這兩項(xiàng)wkij =①kiMj 其中Okij和可以表示為 ①kij = e鄧{I fk (Xi ， y》-fk (Xj ， y》| /Mk}& =exp{—;^(A — x))2 +0^ — a)2 /Z)} 在本模型中Mk是每個(gè)子帶特征圖中的最大特征響應(yīng)差，D是圖像的最大維度(即 寬度和高度中的最大值)，A用來調(diào)節(jié)這兩項(xiàng)的重要性，一般設(shè)置為5。
位熵率圖獲取步驟130，說明用于度量顯著度的位熵率(SiteEntropy Rate)。
為了模擬神經(jīng)網(wǎng)絡(luò)中神經(jīng)元之間信號(hào)的傳遞，在每一個(gè)子帶特征圖所對(duì)應(yīng)的全連 接圖上實(shí)施了一個(gè)隨機(jī)游走過程(Random Walk)，在這個(gè)隨機(jī)游走過程中從結(jié)點(diǎn)i到結(jié)點(diǎn)j 的轉(zhuǎn)移概率是(下面為了描述簡單省略掉子帶特征圖的索引k，如wkij為 ^=^^ 隨機(jī)游走的熵率是用來描述這個(gè)隨機(jī)過程的總的平均信息量的，它同時(shí)也描述了 所有圖結(jié)點(diǎn)(神經(jīng)元)傳遞的總的信息量，把熵率分解到每一個(gè)結(jié)點(diǎn)上去，本模型就提出了 一個(gè)新的概念-位熵率(Site Entropy Rate, SER)-去描述每個(gè)結(jié)點(diǎn)到其他所有結(jié)點(diǎn)的平 均信息量 雄,=巧2>A1《 其中i是隨機(jī)游走過程的靜止概率。根據(jù)人眼視覺系統(tǒng)信息獲取最大化的原理， 本模型提出用SER來描述各個(gè)結(jié)點(diǎn)的視覺顯著度。 最后，基于Treisman提出的特征整合理論(Feature-IntegrationTheory，即視覺 系統(tǒng)首先會(huì)提取初期視覺特征形成特征圖，然后特征圖集成到一個(gè)顯著圖去指導(dǎo)人們的關(guān) 注點(diǎn))，顯著圖由各個(gè)特征圖所對(duì)應(yīng)的SER圖相加來得到(這里重新恢復(fù)子帶特征圖索引 k): S,-=J]S￡i A, 其中Si是結(jié)點(diǎn)i的顯著值。 參照?qǐng)D4A和圖4B，圖4A是本發(fā)明基于位熵率的視覺注意計(jì)算方法對(duì)3幅彩色圖 像的視覺注意點(diǎn)的預(yù)測(cè)結(jié)果，圖4B是本發(fā)明基于位熵率的視覺注意計(jì)算方法對(duì)另外3幅彩 色圖像的視覺注意點(diǎn)的預(yù)測(cè)結(jié)果。在圖4A和圖4B中，最左側(cè)的一列為輸入的原始圖像，中 間一列為采用本發(fā)明所提供的方法所獲取的顯著度圖，最右邊的一列為人們?cè)谟^測(cè)原始圖 像時(shí)由眼動(dòng)儀測(cè)得的注意點(diǎn)數(shù)據(jù)(眼動(dòng)數(shù)據(jù))?？梢钥闯?，顯著度圖與眼動(dòng)數(shù)據(jù)極為相近， 這說明了本發(fā)明提出的方法對(duì)人眼注意點(diǎn)預(yù)測(cè)比較準(zhǔn)確。 顯著度圖獲取步驟140，在神經(jīng)科學(xué)中有證據(jù)顯示在信號(hào)傳遞過程中，只有現(xiàn)階 段中不可預(yù)料的信號(hào)才能傳遞到下一階段；同時(shí)電生理學(xué)有證據(jù)顯示神經(jīng)響應(yīng)會(huì)隨著細(xì) 胞暴露在同一個(gè)剌激下的時(shí)間長度而急劇下降。基于這些事實(shí)，本模型認(rèn)為如果結(jié)點(diǎn)處產(chǎn) 生不可預(yù)料的信號(hào)或者結(jié)點(diǎn)處的信號(hào)發(fā)生了變化，這個(gè)結(jié)點(diǎn)就是比較顯著的。在視頻注意 分析中，在計(jì)算t時(shí)刻的顯著圖的時(shí)候應(yīng)該抵消掉t時(shí)刻之前視頻幀的影響，具體的說，需要減去過去數(shù)幀的加權(quán)子帶特征圖來更新當(dāng)前幀的子帶特征圖。fj(x，y，t)是第t幀的第 j個(gè)子帶特征圖，用如下式子來更新它
力(x, y力—X! exP(— *)力O, 乂f 一 " 其中，f' j(x，y，t)是更新后的第t幀的第j個(gè)子帶特征圖，o是特征衰減率，o 設(shè)置為1. 5，利用第t幀之前的k幀來對(duì)第t幀進(jìn)行更新。后續(xù)建立全連接圖和計(jì)算位熵率 以及最后的顯著度圖與圖像注意分析一致。 參照?qǐng)D5，圖5為本發(fā)明基于位熵率的視覺注意計(jì)算系統(tǒng)實(shí)施例的結(jié)構(gòu)框圖，包括 如下步驟 濾波模塊52，用于學(xué)習(xí)稀疏碼本，獲取稀疏碼本基函數(shù)；采用所述稀疏碼本基函 數(shù)對(duì)圖像或視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖。 全連接圖建立模塊54，用于分別為所述每一子帶特征圖建立對(duì)應(yīng)的全連接圖。
位熵率圖獲取模塊56，用于在所述每一全連接圖上采用隨機(jī)游走的方法進(jìn)行信息 的傳遞，在隨機(jī)游走過程中，依據(jù)位熵率作進(jìn)行顯著度度量，進(jìn)而獲取每一所述子帶特征圖 對(duì)應(yīng)的位熵率圖。 顯著度圖獲取模塊58，用于將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù) 據(jù)的顯著度圖。 其中，位熵率圖獲取模塊54中，位熵率用于確定所述每一子帶特征圖對(duì)應(yīng)的全連 接圖中，每個(gè)節(jié)點(diǎn)i到其他節(jié)點(diǎn)的平均信息量，所述位熵率表示為 Ji i是隨機(jī)游走過程的靜止概率，Pij是結(jié)點(diǎn)i到結(jié)點(diǎn)j的轉(zhuǎn)移概率。 在顯著度圖獲取模塊58中，可以基于特征整合理論，將所述多個(gè)位熵率圖加起
來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。 在所述濾波模塊52中，采用獨(dú)立成分分析方法分別為灰度圖像和彩色圖像學(xué)習(xí) 稀疏碼本。 另外，本系統(tǒng)還提出了視頻注意分析中當(dāng)前幀的子帶特征圖的更新策略。具體說 明如下 濾波模塊中，采用所述稀疏碼本基函數(shù)對(duì)視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征 圖后，第t幀的第j個(gè)子帶特征圖，依據(jù)下式更新
力(X，乂/) - J]exp(—f)力0,;;，/ — r)
r=l 其中，fj(x，y，t)是更新前的第t幀的第j個(gè)子帶特征圖，f' j(x，y，t)是更新后 的第t幀的第j個(gè)子帶特征圖，o是特征衰減率，o設(shè)置為1. 5，利用第t幀之前的k幀來 對(duì)第t幀進(jìn)行更新。 需要說明的是，上述實(shí)施例基于位熵率的視覺注意計(jì)算系統(tǒng)與基于位熵率的視覺 注意計(jì)算方法原理是類似，相關(guān)之處可以參考對(duì)于方法實(shí)施例的說明。在此不再贅述。
以上對(duì)本發(fā)明所提供的一種基于位熵率的視覺注意計(jì)算方法及系統(tǒng)進(jìn)行了詳細(xì)
9 /,_/0，；;,0 =介紹，本文中應(yīng)用了具體個(gè)例對(duì)本發(fā)明的原理及實(shí)施方式進(jìn)行了闡述，以上實(shí)施例的說明 只是用于幫助理解本發(fā)明的方法及其核心思想；同時(shí)，對(duì)于本領(lǐng)域的一般技術(shù)人員，依據(jù)本 發(fā)明的思想，在具體實(shí)施方式
及應(yīng)用范圍上均會(huì)有改變之處，綜上所述，本說明書內(nèi)容不應(yīng) 理解為對(duì)本發(fā)明的限制。
權(quán)利要求
一種基于位熵率的視覺注意計(jì)算方法，其特征在于，包括如下步驟濾波步驟，采用稀疏碼本基函數(shù)對(duì)圖像或視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖，其中所述稀疏碼本基函數(shù)是基于學(xué)習(xí)稀疏碼本而獲取的；全連接圖建立步驟，分別為所述多個(gè)子帶特征圖的每一子帶特征圖建立對(duì)應(yīng)的全連接圖；位熵率圖獲取步驟，在每一所述全連接圖上采用隨機(jī)游走的方法進(jìn)行信息的傳遞，在隨機(jī)游走過程中，依據(jù)位熵率進(jìn)行顯著度度量，進(jìn)而獲取每一所述子帶特征圖對(duì)應(yīng)的位熵率圖；顯著度圖獲取步驟，將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。
2. 根據(jù)權(quán)利要求1所述的基于位熵率的視覺注意計(jì)算方法，其特征在于，所述位熵率 圖獲取步驟中，所述位熵率用于確定所述每一子帶特征圖對(duì)應(yīng)的全連接圖中，每個(gè)節(jié)點(diǎn)i 到其他節(jié)點(diǎn)的平均信息量表示為其中，^是隨機(jī)游走過程的靜止概率，Pij是結(jié)點(diǎn)i到結(jié)點(diǎn)j的轉(zhuǎn)移概率，i、 j均為自 然數(shù)。
3. 根據(jù)權(quán)利要求2所述的基于位熵率的視覺注意計(jì)算方法，其特征在于，所述顯著度 圖獲取步驟中，基于特征整合理論，將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù) 的顯著度圖。
4. 根據(jù)權(quán)利要求3所述的基于位熵率的視覺注意計(jì)算方法，其特征在于，所述濾波步 驟中，采用獨(dú)立成分分析方法分別為灰度圖像和彩色圖像學(xué)習(xí)稀疏碼本。
5. 根據(jù)權(quán)利要求4所述的基于位熵率的視覺注意計(jì)算方法，其特征在于，所述濾波步 驟中，采用所述稀疏碼本基函數(shù)對(duì)視頻的每一幀進(jìn)行濾波，獲取每一幀的多個(gè)子帶特征圖， 第t幀的第j個(gè)子帶特征圖，依據(jù)下式更新其中，fj(x，y，t)是更新前的第t幀的第j個(gè)子帶特征圖，f' j(x，y，t)是更新后的第 t幀的第j個(gè)子帶特征圖，o是特征衰減率，o設(shè)置為1.5，利用第t幀之前的k幀來對(duì)第 t幀進(jìn)行更新。
6. —種基于位熵率的視覺注意計(jì)算系統(tǒng)，其特征在于，包括濾波模塊，用于采用稀疏碼本基函數(shù)對(duì)圖像或視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖，其中所述稀疏碼本基函數(shù)是基于學(xué)習(xí)稀疏碼本而獲取的；全連接圖建立模塊，用于分別為所述多個(gè)子帶特征圖的每一子帶特征圖建立對(duì)應(yīng)的全位熵率圖獲取模塊，用于在每一所述全連接圖上采用隨機(jī)游走的方法進(jìn)行信息的傳 遞，在隨機(jī)游走過程中，依據(jù)位熵率進(jìn)行顯著度度量，進(jìn)而獲取每一所述子帶特征圖對(duì)應(yīng)的位熵率圖；顯著度圖獲取模塊，用于將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯 著度圖。
7. 根據(jù)權(quán)利要求6所述的基于位熵率的視覺注意計(jì)算系統(tǒng)，其特征在于，所述位熵率 圖獲取模塊中，所述位熵率用于確定所述每一子帶特征圖對(duì)應(yīng)的全連接圖中，每個(gè)節(jié)點(diǎn)i 到其他節(jié)點(diǎn)的平均信息量，所述位熵率表示為其中，^是隨機(jī)游走過程的靜止概率，Pij是結(jié)點(diǎn)i到結(jié)點(diǎn)j的轉(zhuǎn)移概率。
8. 根據(jù)權(quán)利要求7所述的基于位熵率的視覺注意計(jì)算系統(tǒng)，其特征在于，所述顯著度 圖獲取模塊中，基于特征整合理論，將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù) 的顯著度圖。
9. 根據(jù)權(quán)利要求8所述的基于位熵率的視覺注意計(jì)算系統(tǒng)，其特征在于，所述濾波模 塊中，采用獨(dú)立成分分析方法分別為灰度圖像和彩色圖像學(xué)習(xí)稀疏碼本。
10. 根據(jù)權(quán)利要求7所述的基于位熵率的視覺注意計(jì)算系統(tǒng)，其特征在于，所述濾波模 塊中，采用所述稀疏碼本基函數(shù)對(duì)視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖后，第t幀的第水子帶特征圖，依據(jù)下式更新<formula>formula see original document page 3</formula>其中，fj(x，y，t)是更新前的第t幀的第j個(gè)子帶特征圖，f' j(x，y，t)是更新后的第 t幀的第j個(gè)子帶特征圖，o是特征衰減率，o設(shè)置為1.5，利用第t幀之前的k幀來對(duì)第 t幀進(jìn)行更新。
全文摘要
本發(fā)明公開了一種基于位熵率的視覺注意計(jì)算方法及系統(tǒng)。所述方法包括學(xué)習(xí)稀疏碼本，獲取稀疏碼本基函數(shù)；采用所述稀疏碼本基函數(shù)對(duì)圖像或視頻數(shù)據(jù)進(jìn)行濾波，獲取多個(gè)子帶特征圖；分別為所述每一子帶特征圖建立對(duì)應(yīng)的全連接圖；在所述每一全連接圖上采用隨機(jī)游走的方法進(jìn)行信息的傳遞，在隨機(jī)游走過程中，依據(jù)位熵率作進(jìn)行顯著度度量，進(jìn)而獲取每一所述子帶特征圖對(duì)應(yīng)的位熵率圖；將所述多個(gè)位熵率圖加起來，獲取所述圖像或視頻數(shù)據(jù)的顯著度圖。通過了大量的實(shí)驗(yàn)證明，無論是在圖像顯著度分析還是視頻顯著度分析，基于本發(fā)明獲取的分析結(jié)果都比現(xiàn)有的其他方法更加精確且有生理學(xué)、心理學(xué)方面的依據(jù)來支撐。
文檔編號(hào)G06T7/20GK101751671SQ20091024370
公開日2010年6月23日 申請(qǐng)日期2009年12月23日 優(yōu)先權(quán)日2009年12月23日
發(fā)明者王亦洲, 王威, 高文, 黃慶明 申請(qǐng)人:北京大學(xué)