專利名稱：一種基于內(nèi)容的圖像自適應(yīng)縮放方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，具體涉及一種基于內(nèi)容的圖像自適應(yīng)縮放方法的研究及實(shí)現(xiàn)。具體是一種細(xì)縫裁減和網(wǎng)格映射最優(yōu)化結(jié)合進(jìn)行內(nèi)容自適應(yīng)的方法。
背景技術(shù)：
隨著移動多媒體技術(shù)的迅速發(fā)展，如移動電話和高清電視的不斷換代更新，不同類型不同尺寸的顯示終端不斷涌現(xiàn)以適應(yīng)各種不用的用戶需求。為了保證不同設(shè)備的用戶都能夠舒適地觀看同樣的圖像內(nèi)容，這就要求圖像重定位系統(tǒng)，使圖像內(nèi)容能夠自適應(yīng)于不同尺寸、不同比例的用戶終端，研究保持圖像主要內(nèi)容的自適應(yīng)技術(shù)具有重要的應(yīng)用意義?，F(xiàn)在已經(jīng)提出了很多的內(nèi)容自適應(yīng)方法主要有基于細(xì)縫裁減(seam carving) 的方法，基于網(wǎng)格的重定位(mesh-based retargetig)的方法和二者混合(hybrid approaches) StJ77 °基于細(xì)縫裁減方法特點(diǎn)是能夠最大限度的保持圖像中的重要區(qū)域，去除最低能量區(qū)域。但是當(dāng)圖像中的不重要信息全部去除后，繼續(xù)采用細(xì)縫裁減方法勢必會帶來重要信息的損失和對象變形，從而導(dǎo)致圖像視覺質(zhì)量快速下降?；诰W(wǎng)格的重定位的方法首先由用戶設(shè)定一些需要保持形狀的感興趣的重要區(qū)域，在進(jìn)行圖像縮放時(shí)，感興趣區(qū)基本上采取相似變換，而其它區(qū)域則采取非線性變換，這種方法的代價(jià)是其它非重要的背景區(qū)域發(fā)生大的變形來保護(hù)重要區(qū)域。但這種方法只能壓縮而不是去除非重要區(qū)域，當(dāng)圖像/視頻中有大量非重要區(qū)域時(shí)，處理效果不理想。現(xiàn)有的二者混合的方法有兩種細(xì)縫裁減的方法和尺度縮放的方法的結(jié)合，先進(jìn)行細(xì)縫裁減，然后用尺度縮放至目標(biāo)尺寸，這樣容易造成信息區(qū)域的丟失；細(xì)縫裁減的方法和網(wǎng)格映射的方法結(jié)合，每抽取一條細(xì)縫后，計(jì)算當(dāng)前圖像的變形，通過盡量縮減非重要區(qū)域來保持重要區(qū)域信息。

發(fā)明內(nèi)容
本發(fā)明是針對連續(xù)的細(xì)縫裁減導(dǎo)致的信息丟失等問題，提出了一種適應(yīng)于不同尺寸用戶終端的圖像自適應(yīng)技術(shù)，盡可能的保持圖像中的重要內(nèi)容，壓縮非重要內(nèi)容，以保證最佳的視覺效果。由于目前圖像自適應(yīng)技術(shù)方法對內(nèi)容相似度的識別有各自的優(yōu)缺點(diǎn)和局限性，本發(fā)明提供了一種新的方法，將加權(quán)的細(xì)縫裁剪方法和網(wǎng)格映射方法進(jìn)行最優(yōu)化結(jié)合。本方法首先提出了一種改善的細(xì)縫裁減方法，在對參考圖像進(jìn)行裁減的過程中對能量函數(shù)進(jìn)行加權(quán)，當(dāng)抽取的細(xì)縫落入重要區(qū)域時(shí)，將相鄰像素能量增值，這樣就降低了相鄰像素被抽取的可能性，從而減少了信息的損失；其次通過網(wǎng)格映射將參考圖像進(jìn)行縮放，以到達(dá)最佳的視覺效果。發(fā)明的方法具體包括如下步驟
1)輸入大小為M*N的原始圖像，并設(shè)定輸出圖像的目標(biāo)尺寸為M' 。2)用顯著度圖提取參考圖像的重要信息，并用閾值將重要區(qū)域像素置為0，非重要區(qū)域像素置為1，并參考這些信息進(jìn)一步對重要信息內(nèi)容進(jìn)行評價(jià)。進(jìn)一步的所述步驟2、具體包括2. 1)將參考圖像轉(zhuǎn)化為灰度圖像2. 2)計(jì)算閾值Α，r0為各像素點(diǎn)的灰度值g(x，y)之和的平均值。2. 3)用顯著度圖提取圖像中的重要像素信息，并用如下閾值法得到二值圖像函數(shù)
1 χ v~) < r
b(x, 7),^^)=1() g(x；其中值為0的像素為重要像素，并得到每一個(gè)像素點(diǎn)的坐標(biāo)3)用改進(jìn)的細(xì)縫裁減方法對灰度圖像進(jìn)行裁減，首先盡量多的對非重要信息部分進(jìn)行細(xì)縫裁減，如果細(xì)縫穿過重要區(qū)域，需對細(xì)縫的鄰近的像素值進(jìn)行加權(quán)，從而使過重要區(qū)域的細(xì)縫的數(shù)量減少，來有效的保持重要區(qū)域的形狀，具體包括3. 1)細(xì)縫裁減的初始化。先計(jì)算原始圖像中每個(gè)像素的灰度值，作為初始灰度值；然后從第二行像素開始計(jì)算每一個(gè)像素的灰度加權(quán)函數(shù)；其灰度加權(quán)函數(shù)是這個(gè)像素與其緊鄰的左上方、上方、 右上方的三個(gè)像素分別加權(quán)，取其最小值；在第二行像素的第一個(gè)像素由于沒有左上方的像素，第二行像素的第一個(gè)像素加權(quán)后的灰度值為第二行像素的第一個(gè)像素分別與其正上方、右上方像素加權(quán)，加權(quán)和較小的那個(gè)像素為此像素點(diǎn)的灰度值；在第二行像素的最后一個(gè)像素由于沒有右上方的像素，加權(quán)后的灰度值為第二行像素的最后一個(gè)像素與其正上方以及左上方像素二者之中較小的那個(gè)像素灰度值之和；其余的第二行像素的加權(quán)后的灰度值為該像素與其右上方、正上方以及左上方像素三者之中較小的那個(gè)像素灰度值加權(quán)之和；依次類推得到第三行的像素的灰度加權(quán)函數(shù)，然后再得到第四行的像素的灰度加權(quán)函數(shù)，直到整個(gè)圖像計(jì)算完畢得到最終的圖像所有的累積后的前向能量累積矩陣；每一行得到的最小的灰度加權(quán)值是上面一行鄰近的最小的加權(quán)值和本像素點(diǎn)的像素值加權(quán)得到的。 計(jì)算完畢后，從最后一行開始向上一行遍歷鄰近的最小的灰度權(quán)值，然后這些最小的灰度權(quán)值所經(jīng)過的像素點(diǎn)的連線即為要裁減的細(xì)縫；假設(shè)一副圖像I (X，y)，對其進(jìn)行垂直細(xì)縫裁減，可得到三種不同的像素值在對以(X，y)為中心的圖像左上方部分、上方，右上方部分裁減時(shí)的累積矩陣函數(shù)分別為在對以(X，y)為中心的圖像左上方、上方，右上方像素點(diǎn)裁減時(shí)的累積矩陣函數(shù)
分別為
權(quán)利要求
1.一種基于內(nèi)容的圖像自適應(yīng)縮放方法，其特征在于步驟如下(1)輸入原始圖像，并設(shè)定輸出圖像的目標(biāo)尺寸；(2)用顯著度圖提取參考圖像的重要信息，并用閾值將重要區(qū)域像素置為0，非重要區(qū)域像素置為1，并參考這些信息進(jìn)一步對重要信息內(nèi)容進(jìn)行評價(jià)；所述步驟2~)具體包括·2.1)將參考圖像轉(zhuǎn)化為灰度圖像(2. 2)計(jì)算閾值A(chǔ)，r0為各像素點(diǎn)的灰度值g(x，y)之和的平均值；(2.3)用顯著度圖提取圖像中的重要像素信息，并用如下閾值法得到二值圖像函數(shù) b(x, Y),b(x,y) = \ '·"； °，其中值為0的像素為重要像素，并得到每一個(gè)像素點(diǎn)的坐 [0 g(x,y)>r0標(biāo)值；(3)用改進(jìn)的細(xì)縫裁減方法對灰度圖像進(jìn)行裁減，首先盡量多的對非重要信息部分進(jìn)行細(xì)縫裁減，如果細(xì)縫穿過重要區(qū)域，需對細(xì)縫的鄰近的像素值進(jìn)行加權(quán)，從而使過重要區(qū)域的細(xì)縫的數(shù)量減少，來有效的保持重要區(qū)域的形狀，具體包括(3.1)細(xì)縫裁減的初始化先計(jì)算原始圖像中每個(gè)像素的灰度值，作為初始灰度值；然后從第二行像素開始計(jì)算每一個(gè)像素的灰度加權(quán)函數(shù)；其灰度加權(quán)函數(shù)是這個(gè)像素與其緊鄰的左上方、上方、右上方的三個(gè)像素分別加權(quán)，取其最小值；在第二行像素的第一個(gè)像素由于沒有左上方的像素，第二行像素的第一個(gè)像素加權(quán)后的灰度值為第二行像素的第一個(gè)像素分別與其正上方、右上方像素加權(quán)，加權(quán)和較小的那個(gè)像素為此像素點(diǎn)的灰度值；在第二行像素的最后一個(gè)像素像素由于沒有右上方的像素，加權(quán)后的灰度值為第二行像素的最后一個(gè)像素與其正上方以及左上方像素二者之中較小的那個(gè)像素灰度值之和；其余的第二行像素的加權(quán)后的灰度值為該像素與其右上方、正上方以及左上方像素三者之中較小的那個(gè)像素灰度值加權(quán)之和； 依次類推得到第三行的像素的灰度加權(quán)函數(shù)，然后再得到第四行的像素的灰度加權(quán)函數(shù)， 直到整個(gè)圖像計(jì)算完畢得到最終的圖像所有的累積后的前向能量累積矩陣；每一行得到的最小的灰度加權(quán)值是上面一行鄰近的最小的加權(quán)值和本像素點(diǎn)的像素值加權(quán)得到的。計(jì)算完畢后，從最后一行開始向上一行遍歷鄰近的最小的灰度權(quán)值，然后這些最小的灰度權(quán)值所經(jīng)過的像素點(diǎn)的連線即為要裁減的細(xì)縫；(3. 2)去除一條細(xì)縫，更新加權(quán)函數(shù)；如果一條細(xì)縫落入一副圖像的重要信息區(qū)域，應(yīng)該對其鄰近的像素點(diǎn)進(jìn)行能量加權(quán)；假設(shè)是沿垂直方向進(jìn)行細(xì)縫裁減，裁減掉一條細(xì)縫后，，沿^所對應(yīng)的細(xì)縫對垂直方向坐標(biāo)y進(jìn)行遍歷，即對坐標(biāo)(χο，y)進(jìn)行遍歷，根據(jù)二值圖像的坐標(biāo)矩陣判斷細(xì)縫是否落入重要區(qū)域，其中y是細(xì)縫對應(yīng)的垂直方向的所有的坐標(biāo)值，^是對應(yīng)y的橫坐標(biāo)；( ，y)的鄰近像素點(diǎn)的集合是C= {(x0+P,y),P = 士 1，士2L 士 Bandwidth}，其中Bandwidth是要加權(quán)的帶寬的一半，取Bandwidth為6-8之間的整數(shù)值，對像素點(diǎn)(X(1+p，y)進(jìn)行加權(quán)后的加權(quán)函數(shù)是wK + p, y ) = w(x0 +P,y) + do -^J-^ Μχο,γ)^(3. 3)測量重要區(qū)域的能量損失和判斷細(xì)縫裁減何時(shí)終止；用Ca_SSim的評價(jià)方法來測量全部重要區(qū)域的能量損失和判斷細(xì)縫裁減何時(shí)終止，具體包括首先進(jìn)行結(jié)構(gòu)相似度的測量(ssim)，ssim只適用于局部相似度的統(tǒng)計(jì)；假設(shè)f和g是兩個(gè)非負(fù)的圖像信號， f的均值和標(biāo)準(zhǔn)差分別為
全文摘要
一種基于內(nèi)容的圖像自適應(yīng)縮放方法屬于圖像處理領(lǐng)域。本發(fā)明通過將現(xiàn)有的細(xì)縫裁減進(jìn)行加權(quán)并和網(wǎng)格映射結(jié)合在一起。本方法首先采用細(xì)縫裁減的方法對圖像進(jìn)行裁減，當(dāng)細(xì)縫落入重要區(qū)域，對其鄰近細(xì)縫的能量進(jìn)行加權(quán)，以減少重要區(qū)域的細(xì)縫裁減，增加非重要區(qū)域的細(xì)縫裁減；對于細(xì)縫裁減后的圖像進(jìn)行網(wǎng)格映射，使圖像達(dá)到目標(biāo)尺寸。本發(fā)明不僅縮放了非重要區(qū)域的圖像信息，并且有效的保持了縮放后重要圖像信息的比例和細(xì)節(jié)，實(shí)現(xiàn)了圖像內(nèi)容自適應(yīng)的最優(yōu)化。
文檔編號G06T3/40GK102254300SQ20111018593
公開日2011年11月23日 申請日期2011年7月4日 優(yōu)先權(quán)日2011年7月4日
發(fā)明者劉書琴, 劉榿, 宮玉, 曹連超, 毋立芳, 鄧亞麗, 顏鳳輝, 高美琴 申請人:北京工業(yè)大學(xué)