專利名稱：用于產(chǎn)生縮減尺寸的圖像序列的方法與設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種方法和設(shè)備，所述方法和設(shè)備根據(jù)表現(xiàn)源序列的圖像內(nèi)像素或像素組的感知關(guān)聯(lián)的特征的信息，從第一圖像序列(稱作源序列)產(chǎn)生縮減尺寸的第二圖像序列。
背景技術(shù)：
本發(fā)明涉及從源序列產(chǎn)生縮減序列。確實，當(dāng)瀏覽大量圖像序列時，看一眼就選擇序列可能令人感興趣。為了這個目的，產(chǎn)生縮減序列可能令人感興趣。縮減序列具有比產(chǎn)生該縮減序列的源序列更小的尺寸。例如，在序列瀏覽的情況下，可以通過在給定的再現(xiàn)設(shè)備顯示多個縮減序列(例如，在電視機顯示器上顯示縮減序列的馬賽克)，簡化并加速從多個序列中選擇圖像序列。一種用于產(chǎn)生縮減序列的經(jīng)典方法包括下采樣源序列的圖像。在這種情況下，如果尺寸縮減太多，則縮減序列的最重要部分變得非常小，從而破壞了用戶的觀看體驗。

發(fā)明內(nèi)容
本發(fā)明旨在通過考慮從其中產(chǎn)生縮減序列的源序列的圖像內(nèi)，像素或像素組(下稱區(qū)域)的感知關(guān)聯(lián)，來產(chǎn)生縮減序列，從而改善用戶的觀看體驗。
本發(fā)明涉及一種用于從至少一幅源圖像的序列(稱作源序列)中產(chǎn)生至少一幅縮減圖像的序列(稱作縮減序列)的方法，至少一幅縮減圖像具有比至少一幅源圖像的尺寸更小的或與之相等的尺寸，通過由從至少一幅源圖像中提取源圖像中由提取窗限定的至少一個圖像部分，來產(chǎn)生至少一幅縮減圖像。通過以下步驟定義提取窗-根據(jù)至少一幅源圖像的像素的感知興趣值，定義初始提取窗；
-移置初始提取窗，使得移置之后的初始提取窗以移置之前的初始提取窗的感知關(guān)聯(lián)重心為中心，用提取窗標(biāo)識移置之后的初始提取窗。
根據(jù)第一實施例，用于定義初始提取窗的步驟包括以下步驟a)以具有最高感知興趣的源圖像像素(稱作當(dāng)前最明顯像素)為中心，在源圖像中定位預(yù)備窗；b)計算與預(yù)備窗相關(guān)聯(lián)的感知興趣值和與源圖像相關(guān)聯(lián)的感知興趣值之間的當(dāng)前比；c)如果當(dāng)前比低于第一預(yù)定閾值，則通過調(diào)整預(yù)備窗的尺寸來定義初始提取窗，使得與初始提取窗相關(guān)聯(lián)的感知興趣值高于與預(yù)備窗相關(guān)聯(lián)的感知興趣值，否則通過用初始提取窗標(biāo)識預(yù)備窗來定義初始提取窗。
優(yōu)選地，如果在移置初始提取窗之后，提取窗沒有完全包括進源圖像中，則將提取窗平移到被完全包括進源圖像中。
根據(jù)特定特點，如下計算感知關(guān)聯(lián)重心坐標(biāo)iGC和jGCiGC=Σp∈WEs(ip,jp)*ipΣp∈WEs(ip,jp)]]>和jGC=ΣΣp∈WEs(ip,jp)*jpΣp∈WEs(ip,jp)]]>其中-(ip，jp)是提取窗WE的像素p的坐標(biāo)；-s(ip，jp)是與像素p相關(guān)聯(lián)的感知關(guān)聯(lián)值。
有利地，用于定義初始提取窗的步驟c)包括以下四個連續(xù)步驟·用預(yù)備窗初始化窗，稱作當(dāng)前窗；·通過第一遞增增加當(dāng)前窗的高度，并通過第二遞增增加當(dāng)前窗的寬度；·計算與當(dāng)前窗相關(guān)聯(lián)的感知興趣值和與源圖像相關(guān)聯(lián)的感知興趣值之間的新的比，當(dāng)前比變成在前比，新的比變成當(dāng)前比；·如果當(dāng)前比與在前比之差低于第二預(yù)定閾值，則通過用初始提取窗標(biāo)識當(dāng)前窗來定義初始提取窗，否則返回增加步驟。
根據(jù)特定實施例，序列包括至少兩幅圖像，將方法相繼應(yīng)用于序列圖像。優(yōu)選地，如果第一圖像和第一圖像之后的第二圖像的最明顯像素之間的距離低于預(yù)定閾值，則第二圖像中的預(yù)備窗以位于與第一圖像中的最明顯像素相同位置的像素為中心。
根據(jù)第二實施例，用于定義初始提取窗的步驟包括以下步驟a)以具有最高感知興趣的源圖像像素(稱作當(dāng)前最明顯像素)為中心，在源圖像中定位當(dāng)前窗；b)計算與位于源圖像中的每個窗相關(guān)聯(lián)的感知興趣值之和以及與源圖像相關(guān)聯(lián)的感知興趣值之間的當(dāng)前比；c)如果當(dāng)前比低于第三預(yù)定閾值·用比當(dāng)前最明顯像素的感知興趣值稍低的最高感知興趣值標(biāo)識源圖像的像素，稱作新的最明顯像素；·以新的最明顯像素為中心，在源圖像中定位新的窗，新的最明顯像素變成當(dāng)前最明顯像素，新的窗變成當(dāng)前窗；·返回步驟b；否則，通過用初始提取窗標(biāo)識包括所有已定位的窗的更小窗，來定義初始提取窗。
優(yōu)選地，感知興趣值是顯著值。
本發(fā)明還涉及一種用于產(chǎn)生多幅圖像的組合縮減序列的方法。為此，從源序列產(chǎn)生第一縮減圖像序列，并通過下采樣源序列來產(chǎn)生第二縮減圖像序列，通過用第二縮減序列的對應(yīng)圖像取代第一縮減序列的預(yù)定數(shù)目的連續(xù)圖像，從第一縮減圖像序列產(chǎn)生組合縮減序列。


通過以下結(jié)合附圖的一些實施例描述，本發(fā)明的其它特征和優(yōu)點將顯而易見，其中-圖1描繪根據(jù)本發(fā)明的方法的總流程圖；-圖2描繪在本發(fā)明方法的不同步驟，源圖像中窗的多個位置；-圖3描繪為了將窗完全包括在源圖像中，如何平移窗(垂直正平移)；-圖4描繪為了將窗完全包括在源圖像中，如何平移窗(垂直負平移)；-圖5描繪為了將窗完全包括在源圖像中，如何平移窗(垂直和水平正平移)；-圖6描繪顯著比的演變；-圖7描繪從兩個窗產(chǎn)生縮減圖像；具體實施方式
本發(fā)明涉及一種方法，所述方法根據(jù)與源序列的圖像內(nèi)的像素的感知關(guān)聯(lián)相關(guān)的輔助信息，從源圖像序列產(chǎn)生縮減圖像序列。該方法也可以用于從單幅源圖像產(chǎn)生單幅縮減圖像。例如，可以由外部裝置在數(shù)據(jù)文件內(nèi)提供輔助信息。也可以通過包括針對源序列的每幅圖像的每個像素確定感知關(guān)聯(lián)值的以下方法提供輔助信息。與每個像素相關(guān)聯(lián)的感知關(guān)聯(lián)值可以是顯著值。在這種情況下，將顯著地圖與每幅源圖像相關(guān)聯(lián)。顯著地圖是圖像顯著性的二維地形表示。例如，將該地圖在0到255之間歸一化。因此，顯著地圖提供每個像素的顯著值s(i，j)(其中(i，j)表示像素坐標(biāo))，來表現(xiàn)像素的感知關(guān)聯(lián)的特征。s(i，j)越高，坐標(biāo)(i，j)的像素更相關(guān)。可以通過EP 1 544792申請和O.Le Meur等所著的題為“From low level perception tohigh level perception，a coherent approach for visual attentionmodeling”的文章(發(fā)表于2004年1月，the proceedings of SPIE HumanVision and Electronic Imaging IX(HVEI’04)，SanJose，CA，(B.Rogowitz，T.N.Pappas Ed.))中描述的方法獲得針對給定圖像的顯著地圖。2004年10月發(fā)表在proceedings of ICIP中的O.LeMeur等所著的題為“Performance assessment of a visual attentionsystem entirely based on a human vision modeling”的文章也解釋了顯示模型。該方法包括以下步驟-如果圖像是單色圖像，則根據(jù)亮度分量投影圖像，如果圖像是彩色圖像，則根據(jù)亮度分量和色度分量投影圖像；-根據(jù)人眼的能見度閾值，在頻域中進行已投影分量的感知子帶分解；通過以空間徑向頻率(spatial radial frequency)和取向劃分頻域，來獲得子帶；可以將每個結(jié)果子帶看作與視覺細胞群相對應(yīng)的、適應(yīng)一定空間頻率范圍和特定取向的神經(jīng)圖像；-從子帶中提取子帶的、與亮度分量和色度分量相關(guān)的顯著元素，即，最重要信息；-進行每個子帶中與亮度分量和色度分量相關(guān)的顯著元素的輪廓增強；-從每個子帶的、與亮度分量相關(guān)的顯著元素的已增強輪廓中計算針對亮度分量的顯著地圖；-從每個子帶的、與色度分量相關(guān)的顯著元素的已增強輪廓中計算針對每個色度分量的顯著地圖；-作為針對每個子帶的已獲得顯著地圖的函數(shù)，創(chuàng)建顯著地圖。
為了清楚起見，針對單幅源圖像描述方法步驟，但是可以將其并行或相繼地應(yīng)用于源序列的每幅圖像，從而產(chǎn)生縮減序列。
●源圖像，即，源序列的圖像，具有由(origsx，origsy)表示的尺寸，其中origsx是圖像寬度，origsy是圖像高度；●(redsx0，redsy0)是縮減序列圖像的更小尺寸，其中redsx0是縮減圖像的寬度，redsy0是縮減圖像的高度；可由用戶選擇它們；●(redsxitermax，redsyitermax)是縮減序列圖像的更大尺寸，其中redsxitermax是縮減圖像的寬度，redsyitermax是縮減圖像的高度；可由用戶選擇它們；●與圖像、圖像部分或窗的顯著值是分別與圖像、圖像部分或窗的的每個像素相關(guān)聯(lián)的顯著值之和。
根據(jù)第一實施例，方法包括圖1中作為參考10、11、12和13的4個步驟。參考圖1和圖2，步驟10包括第一子步驟，所述第一子步驟包括以源圖像2內(nèi)顯著值最高的坐標(biāo)為imax和jmax的像素(即，當(dāng)前最明顯像素)為中心，在源圖像2中定位尺寸為(redsx0，redsy0)的預(yù)備窗20。該窗在源圖像2中限定圖像部分。隨后，平等地使用字窗(wordswindow)和圖像部分來指定由所述窗限定的圖像部分。優(yōu)選地，必須定位預(yù)備窗20，使得它完全包括在源圖像2中。因此，步驟10可以包括第二子步驟，所述第二子步驟包括平移預(yù)備窗20以便它完全包括在源圖像2中。
如果(imax-redsx02)>=0]]>并且(jamx-redsy02)>=0,]]>則預(yù)備窗20完全包括在源圖像20中，不需要將其平移。如下計算該窗左上角的坐標(biāo)(corx，cory)corx=imax-redsx02]]>cory=jmax-redsy02]]>如果預(yù)備窗20不完全包括在源圖像20中，則必須以矢量T→=txty.]]>平移該窗，所述矢量的坐標(biāo)取決于坐標(biāo)(imax，jmax)的像素的位置。在這種情況下，如下計算已平移的預(yù)備窗20左上角的坐標(biāo)corx=imax-redsx02+tx]]>cory=jmax-redsy02+ty]]>根據(jù)imax和jmax的值，多種情況發(fā)生。如果預(yù)備窗20沿一個方向(水平或垂直方向)超出源圖像2的局限，則-如圖3所示，如果(jmax-redsy02)<0,]]>則T→=txty=0redsy02-jmax;]]>這與窗的垂直正平移相對應(yīng)。
-如圖4所示，如果(jmax-redsy02)>origsy,]]>則T→=txty=0origsy-redsy02-jmax;]]>這與窗的垂直負平移相對應(yīng)。
-如果(imax-redsx02)<0,]]>則T→=txty=redsx02-imax0;]]>這與窗的水平正平移相對應(yīng)。
-如果(imax-redsx02)>origsx,]]>則T→=txty=origsx-redsx00-imax0;]]>這與窗的水平負平移相對應(yīng)。
如果預(yù)備窗20沿水平和垂直方向都超出源圖像2的極限，則-如圖5中所示，如果(jmax-redsy02)<0]]>并且(iamx-redsx02)<0,]]>則T→=txty=redsx02-imaxredsy02-jmax;]]>-如果(jmax+redsy02)>origsy]]>并且(iamx+redsx02)>origsx,]]>則T→=txty=origsx-redsx02-imaxorigsy-redsy02-jmax;]]>這是垂直和水平負平移。
-如果(jmax-redsy02)<0]]>并且(iamx+redsx02)>origsx,]]>則T→=txty=origsx-redsx02-imaxredsy02-jmax.]]>-如果(jmax+redsy02)>origsy]]>并且(iamx-redsx02)<0,]]>則T→=txty=redsx02-imaxorigsy-redsy02-jmax.]]>通過只考慮包括進源圖像的部分窗20，可以避免平移子步驟。在這種情況下，將后續(xù)步驟11、12和13應(yīng)用于該部分，而不應(yīng)用于整個預(yù)備窗20。
步驟11首先包括計算與可能已平移的預(yù)備窗20相關(guān)聯(lián)的顯著值，表示為SMreduced。為了估計預(yù)備窗的感知興趣，通過計算Ψ=SMreducedSMimage,]]>將SMreduced和與源圖像2(SMsource=Σi=0origsx-1Σj=0origsy-1s(i,j))]]>相關(guān)聯(lián)的顯著值SMimage相比較。根據(jù)優(yōu)選實施例，如果比Ψ接近0，即，Ψ低于作為圖1中參考T2的第二預(yù)定閾值(例如，如果Ψ＜0.2)，因為預(yù)備窗20不包括任何足夠顯著的區(qū)域，所以最明顯像素21可能是異?；蛎}沖點。因此，標(biāo)識了具有略次于與當(dāng)前最明顯像素21相關(guān)聯(lián)的顯著值的最高顯著值的像素。新的最明顯像素變成當(dāng)前最明顯像素，使用該像素再次應(yīng)用步驟10和11。如果Ψ高于第二預(yù)定閾值，則直接應(yīng)用步驟12。
步驟12動態(tài)地包括使用迭代方法，將預(yù)備窗20的尺寸調(diào)整到適合圖像內(nèi)容，從而產(chǎn)生作為圖2上參考22的初始提取窗。當(dāng)然，從一幅圖像到另一幅，高感知興趣區(qū)域的尺寸可以變化(例如，在縮放或圖像內(nèi)多個興趣區(qū)域的情況下)。由在步驟11計算的值Ψ驅(qū)動該調(diào)整。如果Ψ接近1，如果Ψ高于第一預(yù)定閾值(例如，如果Ψ≥0.8)，因為與預(yù)備窗20相關(guān)聯(lián)的顯著值足夠高，所以不調(diào)整預(yù)備窗20的尺寸。在這種情況下，將初始提取窗22設(shè)置成與預(yù)備窗20相等，即，通過用初始提取窗22標(biāo)識預(yù)備窗20來定義初始提取窗22。如果Ψ不接近1，如果Ψ低于第一預(yù)定閾值，則迭代地增加預(yù)備窗20的尺寸。首先，通過用當(dāng)前窗標(biāo)識預(yù)備窗20來定義(即，初始化)稱作當(dāng)前窗的窗。如下所說明，在迭代k，當(dāng)前窗的尺寸從(redsxk-1，redsyk-1)增加到(redsxk，redsyk)redsxk=redsxk-1+δxredsyk=redsyk-1+δy]]>其中-δx和δy是任意設(shè)定值；以及-k是代表迭代次數(shù)的整數(shù)。
增加當(dāng)前窗的尺寸，直到k＞itermax或ΔΨk≤ε，其中ε是任意設(shè)置(例如，ε＝10-3)的第三預(yù)定閾值。初始提取窗22的尺寸等于最后迭代計算出的尺寸，即，通過用初始窗提取22標(biāo)識最終定義的當(dāng)前窗來定義初始窗22。優(yōu)選地，當(dāng)必須在尺寸為2的倍數(shù)的再現(xiàn)設(shè)備上顯示縮減序列時，為了使上/下采樣濾波器的確定比較容易，δx和δy是2的倍數(shù)。
步驟13包括通過提取由初始窗22限定的源圖像的圖像部分，產(chǎn)生縮減圖像?？s減圖像的第一像素與初始提取窗22的左上角像素相對應(yīng)。
根據(jù)優(yōu)選實施例，步驟12’在步驟12之后，步驟12’包括將初始提取窗22(以后也稱作WE)移置到新位置，以產(chǎn)生己移置的提取窗23。通過計算初始提取窗22的重心GC實現(xiàn)這一步驟。用于計算重心的、與像素相關(guān)聯(lián)的系數(shù)是像素的感知興趣值(例如，顯著值)。因此，如下計算重心GC的坐標(biāo)(iGC，jGC)iGC=Σp∈WEs(ip,jp)*ipΣp∈WEs(ip,jp)]]>和jGC=ΣΣp∈WEs(ip,jp)*jpΣp∈WEs(ip,jp)]]>其中-(ip，jp)是提取窗WE的像素p的坐標(biāo)；以及-s(ip，jp)是與像素p相關(guān)聯(lián)的感知關(guān)聯(lián)值(例如，顯著值)。因此，將初始提取窗22移置到新位置，使其中心位置重心位置GC。為了確保已移置的提取窗23完全包括在源圖像2中，可以根據(jù)步驟10的第二子步驟平移已移置的提取窗23。
在至少兩幅圖像的源序列的情況下，有利地修改步驟10，以便將當(dāng)前源圖像2中尺寸為(redsx0，redsy0)的窗的中心定位在可以與最明顯像素21不同的坐標(biāo)為Imaxcur和Jmaxcur的像素上。計算Imaxcur和Jmaxcur，以便通過避免源圖像中預(yù)備窗20的空間位置從一幅源圖像到下一源圖像時劇烈改變，來確保序列的時間一致性。為此，通過以下公式計算兩幅連續(xù)源圖像中兩個最明顯像素(即，最高顯著值像素)之間的移置距離dd=(imaxcur-imaxprev)2+(jmaxcur-jmaxprev)2]]>其中-(imaxcur，jmaxcur)是當(dāng)前源圖像中最明顯像素的坐標(biāo)；-(imaxprev，jmaxprev)是當(dāng)前源圖像之前的在前源圖像中最明顯像素的坐標(biāo)。
為了避免抖動，并為了兩個最明顯像素之間的較小移置距離d，將預(yù)備窗20的中心定位在當(dāng)前源圖像中坐標(biāo)與在前源圖像中最明顯像素的坐標(biāo)相等的像素上。因此，如果d≤ThStill，則設(shè)置Imaxcur和Jmaxcur的值等于imaxprev和jmaxprev。對于ThStill，7似乎是合適的。ThStill也可以取決于窗的尺寸。
對于較大的移置距離，即，如果d＞ThMove，則威脅到時間一致性。ThMove取決于預(yù)備窗20的尺寸。例如，該值與預(yù)備窗20的對角線相等，例如，ThMove=(redsx0)2+(redsy0)2.]]>因此，將預(yù)備窗20的中心定位在當(dāng)前源圖像中像素上，并如下計算像素的坐標(biāo)Imaxcur和JmaxcurImaxcur=imaxprev+imaxcur-imaxprev2]]>和Jmaxcur=jmaxprev+jmaxcur-jmaxprev2]]>根據(jù)優(yōu)選實施例，使用多個窗產(chǎn)生縮減圖像。在這種情況下，用以下步驟取代步驟10、11和12。參考圖7，將第一窗70定位在源圖像2，使其中心位于源圖像2的第一最明顯像素(即，其顯著值在源圖像2內(nèi)最高)上。計算與第一窗70相關(guān)聯(lián)的顯示值SMreduced_70以及與源圖像2相關(guān)聯(lián)的顯示值SMimage。如果比Ψ0=SMreduced_70SMimage]]>接近1，即，高于第五預(yù)定閾值(例如，如果Ψ0≥0.8)，則通過提取源圖像2中由第一窗70限定的圖像部分來產(chǎn)生縮減圖像。如果Ψ不接近1，即，低于第五預(yù)定閾值，則在源圖像2中定位第二窗71，使其中心位于源圖像2的第二最明顯像素(即，其顯著值稍低于第一最明顯像素的顯著值的源圖像2的最明顯像素)上。計算與第二窗7l相關(guān)聯(lián)的顯著值SMreduced_71。如果比Ψ1=SMreduced_70+SMreduced_71SMimage]]>接近1，則從源圖像2中提取的、用以產(chǎn)生縮減圖像的圖像部分與包括第一窗70和第二窗71的更小窗7相對應(yīng)。如果Ψ1不接近1，則在源圖像2中定位第三窗，使其中心位于源圖像2的第三最明顯像素(即，其顯著值稍低于第二最明顯像素的顯著值的源圖像2的最明顯像素)上。將與三個窗相關(guān)聯(lián)的三個顯著值之和以及顯著值SMimage之間的比與1相比較。如果比接近1，則從源圖像2中提取的、用以產(chǎn)生縮減圖像的圖像部分與包括三個窗的更小窗相對應(yīng)。如果比不接近1，則重復(fù)定位新的窗的過程，直到與每個已定位的窗相關(guān)聯(lián)的顯著值之和以及SMimage之間的比接近1。因此，在每次迭代k，在源圖像2中定位新的窗，使其中心位于顯著值稍低于在前最明顯像素(k-1)的顯著值的最明顯像素(k)上。
然后通過從源圖像2中提取由包括所有已定位的窗的更小窗限定的圖像部分，產(chǎn)生縮減圖像。優(yōu)選地，在計算窗的顯著值之前，將窗平移到完全包括進源圖像和/或根據(jù)步驟12’移置窗。
根據(jù)另一實施例，由以下步驟取代步驟10、11和12，該步驟包括通過在源圖像2中標(biāo)識顯著值高于第四預(yù)定閾值的圖像，定位初始提取窗22。因此，由其左上角和右下角限定初始提取窗22。在橫左標(biāo)最低的已標(biāo)識像素中，將具有最低縱坐標(biāo)的像素設(shè)置為初始提取窗22的左上角。在橫左標(biāo)最高的已標(biāo)識像素中，將具有最高縱坐標(biāo)的像素設(shè)置為初始提取窗22的右下角。
然后應(yīng)用步驟13，以通過提取由初始提取窗22限定的源圖像的圖像部分來產(chǎn)生縮減圖像。縮減圖像的第一像素與初始提取窗22的左上像素相對應(yīng)。
根據(jù)特定實施例，在多幅圖像的序列的情況下，在步驟13之后有利地進行以下步驟，該步驟包括通過在根據(jù)本發(fā)明的縮減序列(稱作第一縮減序列與根據(jù)經(jīng)典方法縮減的源序列(稱作第二縮減序列)之間切換，產(chǎn)生組合的縮減序列。經(jīng)典方法指簡單下采樣源序列的圖像來產(chǎn)生縮減序列的方法。通過向觀看者提供全景(例如，源圖像的下采樣版本)，這種組合的縮減序列應(yīng)該改善觀看者對場景的理解。由Ψ的值驅(qū)動切換步驟。為此，針對當(dāng)前圖像計算比Ψ。如圖6所描繪，如果Ψ不接近1，則在Δ秒期間傳輸經(jīng)典縮減視頻(即，下采樣的源圖像)。可由用戶設(shè)置Δ值。也可以通過規(guī)律地(例如，每Δ秒)在兩個縮減序列之間切換，或，例如，通過每Δ秒用第二縮減序列的對應(yīng)畫面取代第一縮減序列中給定數(shù)目的畫面，來自動驅(qū)動切換，以便提供整個場景略圖。
根據(jù)特定實施例，可以通過將縮減圖像劃分為多個部分(例如，四個子圖像)來處理感興趣的多個區(qū)域，每個部分包括源序列或最明顯區(qū)域(即，更高的顯著值)之一。
由以下四個連續(xù)步驟確定與最明顯區(qū)域相對應(yīng)的部分●在源圖像中標(biāo)識不是被禁止(inhibited)像素的最明顯像素；●從源圖像中提取以在前位置為中心的尺寸為(redsx0，redsy0)的圖像部分；●禁止(inhibit)與提取的圖像部分相對應(yīng)的最明顯像素；●返回標(biāo)識步驟，直到已經(jīng)提取了預(yù)定數(shù)目的圖像部分。
顯然，本發(fā)明不限于上述實施例。技術(shù)人員可以組合所有這些實施例。假如除顯著值或顯著地圖之外的信息表現(xiàn)像素或像素組的感知關(guān)聯(lián)的特征，可以將這些信息用作輔助信息。
下面列舉了以最重要的區(qū)域為中心來創(chuàng)建縮減序列的一些優(yōu)點●減少選擇時間(以簡化瀏覽)，●看一眼就理解序列，●提供源序列的可靠摘要，●允許通過限制帶寬的信道傳輸多個序列，而不丟失最有用的信息。
不同實施例可以提供一些以下所列的優(yōu)點●通過使用縮減幀的自適應(yīng)尺寸計算或通過多個窗，處理大量多媒體內(nèi)容(例如，可以處理多個高感知興趣區(qū)域)；●提供簡單方法，使用窗的重心在源幀中重新定位縮減窗；●提供良好的時間一致性；●允許對場景的必要的全面理解。
可以將本方法用于多種應(yīng)用，例如序列摘要、瀏覽、序列索引。有利地，也可以將本發(fā)明用于在較小顯示器上(例如，在個人數(shù)據(jù)助理上、在蜂窩式電話或數(shù)碼相機上)瀏覽圖像序列。
權(quán)利要求
1.一種用于從稱作源序列的至少一幅源圖像的序列中產(chǎn)生稱作縮減序列的至少一幅縮減圖像的序列的方法，所述至少一幅縮減圖像具有比所述至少一幅源圖像的尺寸更小的或與之相等的尺寸，通過從所述至少一幅源圖像中提取所述源圖像中由提取窗(23)限定的至少一個圖像部分，來產(chǎn)生所述至少一幅縮減圖像，所述方法的特征在于通過以下步驟定義所述提取窗(23)-根據(jù)所述至少一幅源圖像的像素的感知興趣值，定義初始提取窗(22)；以及-移置所述初始提取窗(22)，使得移置之后的所述初始提取窗(22)以移置之前的所述初始提取窗(22)的感知關(guān)聯(lián)重心為中心，移置之后的所述初始提取窗(22)是用所述提取窗(23)標(biāo)識的。
2.根據(jù)權(quán)利要求1所述的方法，其特征在于用于定義所述初始提取窗(22)的步驟包括以下步驟a)以具有最高感知興趣的所述源圖像的、稱作當(dāng)前最明顯像素的像素為中心，在所述源圖像中定位(10)預(yù)備窗(20)；b)計算(11)與所述預(yù)備窗(20)相關(guān)聯(lián)的感知興趣值和與所述源圖像相關(guān)聯(lián)的感知興趣值之間的當(dāng)前比；以及c)如果所述當(dāng)前比低于第一預(yù)定閾值，則通過調(diào)整(12)所述預(yù)備窗(20)的尺寸來定義所述初始提取窗(22)，使得與所述初始提取窗(22)相關(guān)聯(lián)的感知興趣值高于與所述預(yù)備窗(20)相關(guān)聯(lián)的感知興趣值，否則通過用所述初始提取窗(22)標(biāo)識預(yù)備窗(20)來定義所述初始提取窗(22)。
3.根據(jù)權(quán)利要求1或2所述的方法，其特征在于，如果在移置所述初始提取窗(22)之后，所述提取窗(23)沒有完全包括進所述源圖像中，則將所述提取窗(23)平移到被完全包括進所述源圖像中。
4.根據(jù)權(quán)利要求1到3之一所述的方法，其特征在于如下計算感知關(guān)聯(lián)重心坐標(biāo)iGC和jGCiGC=Σp∈WEs(ip,jp)*ipΣp∈WEs(ip,jp)]]>和jGC=Σp∈WEs(ip,jp)*jpΣp∈WEs(ip,jp)]]>其中-(ip，jp)是所述提取窗WE(22)的像素p的坐標(biāo)；-s(ip，jp)是與像素p相關(guān)聯(lián)的感知關(guān)聯(lián)值。
5.根據(jù)權(quán)利要求2到4之一所述的方法，其特征在于用于定義所述初始提取窗(22)的步驟c)包括以下四個連續(xù)步驟●用所述預(yù)備窗(20)初始化稱作當(dāng)前窗的窗；●通過第一遞增增加(12)當(dāng)前窗(20)的高度，并通過第二遞增增加(12)當(dāng)前窗(20)的寬度；●計算與所述當(dāng)前窗相關(guān)聯(lián)的感知興趣值和與所述源圖像相關(guān)聯(lián)的感知興趣值之間的新的比，當(dāng)前比變成在前比，以及新的比變成當(dāng)前比；●如果當(dāng)前比與在前比之差低于第二預(yù)定閾值，則通過用所述初始提取窗(22)標(biāo)識所述當(dāng)前窗來定義所述初始提取窗(22)，否則返回增加步驟(12)。
6.根據(jù)權(quán)利要求1到5之一所述的方法，其中序列包括至少兩幅圖像，將本方法相繼應(yīng)用于序列圖像。
7.根據(jù)權(quán)利要求2到6之一所述的方法，其中如果第一圖像和所述第一圖像之后的第二圖像的最明顯像素之間的距離低于預(yù)定閾值，則所述第二圖像中的預(yù)備窗(20)以位于與所述第一圖像中的最明顯像素相同位置的像素為中心。
8.根據(jù)權(quán)利要求1所述的方法，其特征在于用于定義所述初始提取窗(22)的步驟包括以下步驟a)以具有最高感知興趣的、稱作當(dāng)前最明顯像素的所述源圖像的像素為中心，在所述源圖像中定位當(dāng)前窗；b)計算與位于所述源圖像中的每個窗相關(guān)聯(lián)的感知興趣值之和以及與所述源圖像相關(guān)聯(lián)的感知興趣值之間的當(dāng)前比；c)如果所述當(dāng)前比低于第三預(yù)定閾值●用比所述當(dāng)前最明顯像素的感知興趣值稍低的最高感知興趣值標(biāo)識所述源圖像的、稱作新的最明顯像素的像素；●以所述新的最明顯像素為中心，在源圖像中定位新的窗，新的最明顯像素變成當(dāng)前最明顯像素，新的窗變成當(dāng)前窗；●返回步驟b；否則，通過用所述初始提取窗(22)標(biāo)識包括所有所述已定位的窗的更小窗，來定義所述初始提取窗(22)。
9.根據(jù)權(quán)利要求1到8之一所述的方法，其特征在于感知興趣值是顯著值。
10.一種方法，用于產(chǎn)生多幅圖像的組合縮減序列，其特征在于，根據(jù)權(quán)利要求1、2和8之一所述的方法，從源序列產(chǎn)生第一縮減圖像序列，并通過下采樣所述源序列來產(chǎn)生第二縮減圖像序列，通過用第二縮減序列的對應(yīng)圖像取代第一縮減序列的預(yù)定數(shù)目的連續(xù)圖像，從第一縮減圖像序列產(chǎn)生組合的縮減序列。
全文摘要
本發(fā)明涉及一種用于從稱作源序列的至少一幅源圖像的序列中產(chǎn)生稱作縮減序列的至少一幅縮減圖像的序列的方法，至少一幅縮減圖像具有比至少一幅源圖像的尺寸更小的或與之相等的尺寸。通過從至少一幅源圖像中提取至少一個圖像部分來產(chǎn)生至少一幅縮減圖像，其中至少一個圖像部分的尺寸和位置取決于至少一個圖像部分中包括的像素的感知興趣。
文檔編號G06T3/40GK1904940SQ20061010809
公開日2007年1月31日 申請日期2006年7月27日 優(yōu)先權(quán)日2005年7月28日
發(fā)明者奧立弗·勒默爾, 菲利普·吉約泰爾, 朱利安·哈達德 申請人:湯姆森許可貿(mào)易公司