專利名稱：分布式圖像重定向的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及圖像重定向領(lǐng)域。
背景技術(shù)：
顯示技術(shù)領(lǐng)域的最新發(fā)展已經(jīng)見證了顯示尺寸方面的極大多樣性，并且相同的內(nèi)容需要為不同的設(shè)備以不同的尺寸和長寬比來顯示。通常，為舊的4:3比例的CRT電視錄制的視頻現(xiàn)在顯示在16:9的寬屏電視上。因此，需要能夠使圖像適應(yīng)不同于其原本用于的顯示器的算法?；镜膱D像尺寸修改技術(shù)是線性縮放或裁剪。然而，由于細節(jié)丟失、各向異性擠壓或拉伸、裁剪窗口之外的區(qū)域的壓縮(suppression)等原因，這些技術(shù)導(dǎo)致圖像質(zhì)量下降。因此，需要考慮到圖像內(nèi)容的圖像有效自適應(yīng)。這樣的智能自適應(yīng)在本領(lǐng)域已知為“圖像重定向，，或(如果把視頻考慮進來)“視頻重定向”。關(guān)于“智能地”修改圖像，很多方法使用了為每個像素定義了信息值的顯著圖。例如，文獻EP 1968008公開了一種用于已知為“接縫雕刻”的內(nèi)容感知圖像重定向方法。根據(jù)能量函數(shù)，往往是亮度梯度函數(shù)，來生成來自源圖像的顯著圖(也稱為能量圖像)。從能量圖像中，根據(jù)最小化函數(shù)確定一個或多個接縫，以使每個接縫具有最小的能量。 通過壓縮(suppress)或復(fù)制接縫將每個接縫應(yīng)用到源圖像以獲得目標(biāo)圖像，該目標(biāo)圖像保留了內(nèi)容但具有不同的長寬比。這個技術(shù)通過在3D視頻時空立方體中定義2D接縫表面擴展到視頻重定向。就該文獻而言，該表面與每個幀的交叉定義了接縫。流形(manifold)接縫表面允許接縫隨時間自適應(yīng)地變化，維持時間相干性。無論使用了哪個重定向方法，顯著圖的計算是計算機密集的操作。通過這些內(nèi)容感知重定向方法獲得的更好質(zhì)量的重新縮放創(chuàng)建了對于更好的處理功耗使用的需求。

發(fā)明內(nèi)容
將會有利的是實現(xiàn)一種方法和設(shè)備，其降低計算成本同時維持通過內(nèi)容感知重新縮放方法而獲得的高質(zhì)量。為了更好地解決這些關(guān)注中的一個或多個，根據(jù)本發(fā)明的第一方面，一種用于在包括通過通信網(wǎng)絡(luò)連接到至少一個接收機的發(fā)射機的系統(tǒng)中重定向圖像的方法包括
-由發(fā)射機計算圖像顯著-通過通信網(wǎng)絡(luò)從發(fā)射機向至少一個接收機發(fā)送圖像和顯著圖； -由至少一個接收機基于所發(fā)送的顯著圖來重定向所發(fā)送的圖像。通過在發(fā)射機層計算顯著圖，此計算機密集的操作可以在許多接收機之間共有。 此外，無論最終的長寬比是什么，唯一的顯著圖都是可用的。因此，每個接收機的長寬比無需相同。該方法還具有將計算傳輸?shù)酵ǔ楦叨藢I(yè)裝備的發(fā)射機上的優(yōu)點。相對應(yīng)，接
3收機通常為諸如移動電話或電視機之類的通用公共裝備，其制造成本必須保持為盡可能的低。還可以事先計算好顯著圖，并且將顯著圖存儲在發(fā)射機中直到請求發(fā)送為止，以消除計算所需的時間。在特定的實施例中，顯著圖包括分別用于水平和垂直縮放的兩個一維顯著曲線。這個顯著圖變換顯著地減少了通過通信網(wǎng)絡(luò)發(fā)送的數(shù)據(jù)量。根據(jù)本發(fā)明的第二方面，一種用于重定向圖像的系統(tǒng)，包括 -發(fā)射機，包括
-顯著圖計算器，用于計算圖像的顯著圖；以及 -網(wǎng)絡(luò)接口，用于將圖像和顯著圖發(fā)送到通信網(wǎng)絡(luò)上； -接收機，包括
-接收器，連接到通信網(wǎng)絡(luò)以用于接收所發(fā)送的圖像和所發(fā)送的顯著圖； -圖像修改器，用于基于所發(fā)送的顯著圖重定向所發(fā)送的圖像。根據(jù)本發(fā)明的第三方面，一種在用于重定向圖像的系統(tǒng)中的發(fā)射機包括 -顯著圖計算器，用于計算圖像的顯著圖；以及
-網(wǎng)絡(luò)接口，用于將圖像和顯著圖發(fā)送到通信網(wǎng)絡(luò)上。根據(jù)本發(fā)明的第四方面一種在用于重定向圖像的系統(tǒng)中的接收機包括 -接收器，連接到通信網(wǎng)絡(luò)以用于接收所發(fā)送的圖像和所發(fā)送的顯著-圖像修改器，用于基于所發(fā)送的顯著圖重定向所發(fā)送的圖像。取決于圖像的類型，特定的實施例可以優(yōu)選為更易于適應(yīng)或給出更好的結(jié)果。然而，可以視情況或依照要求對這些特定的實施例的各方面進行組合或修改。


根據(jù)下文中描述的實施例，本發(fā)明的這些和其他方面是顯而易見的，并且參考這些實施例來闡明本發(fā)明的這些和其他方面，其中
圖1是根據(jù)本發(fā)明實施例的系統(tǒng)的示意圖2是根據(jù)本發(fā)明的第一實施例的重定向方法的流程圖3是根據(jù)本發(fā)明的第二實施例的重定向方法的流程圖4示出三個不同的局部放大曲線；
圖5示出劃分為8個垂直部分和4個水平部分的圖像；
圖6示出了非線性位置變換曲線的使用；
圖7示出通過圖6的非線性位置變換曲線獲得的經(jīng)縮放的圖像；
圖8-11示出通過使用根據(jù)本發(fā)明實施例的方法獲得的不同放大曲線；
圖12是示出根據(jù)本發(fā)明的用于修正長寬比的第二實施例的第一變體的流程圖13是示出根據(jù)本發(fā)明的用于修正長寬比的第二實施例的第二變體的流程圖14是示出圖13的變體的另一流程圖。
具體實施例方式參考圖1，諸如因特網(wǎng)之類的通信網(wǎng)絡(luò)1連接發(fā)射機3和至少一個接收機5。
發(fā)射機3包括網(wǎng)絡(luò)接口 7，其將發(fā)射機3連接到通信網(wǎng)絡(luò)1，并向接收機5發(fā)送數(shù)據(jù)。發(fā)射機3還包括計算器9和存儲區(qū)11以及用諸如MPEG-2、MPEG_4或其他格式之類的壓縮格式來傳送視頻的多個輸入源13。解碼器15根據(jù)所接收的視頻原始圖像數(shù)據(jù)IMD-I 生成將由計算器9使用的畫面流，其中每幀一個畫面。接收機5包括接收器17，其可以是類似于發(fā)射機3的網(wǎng)路接口 7的網(wǎng)絡(luò)接口。接收器17將接收機5連接到通信網(wǎng)絡(luò)1來接收由發(fā)射機3發(fā)送的數(shù)據(jù)。接收機5還包括圖像修改器19，以將接收的圖像尺寸修改到適合于顯示器21的新長寬t匕。圖2以流程圖的形式示出發(fā)射機3和至少一個接收機5之間的關(guān)系，其中，欄中的每個矩形指代在相應(yīng)設(shè)備中執(zhí)行的步驟。在步驟31處，發(fā)射機3通過其輸入源13之一接收視頻流。在步驟33處，視頻流被解碼成發(fā)送到計算器9的原始圖像流。在步驟35處，計算器9通過使用某個能量函數(shù)計算圖像的顯著圖。例如，計算器可以使用根據(jù)EP 1968008計算的顯著圖。在步驟37處，將每個圖像及其顯著圖發(fā)送到接收機5。為了優(yōu)化發(fā)送的吞吐率，圖像及其顯著圖可以使用公知的算法來進行壓縮。例如，為了避免壓縮步驟，所發(fā)送的圖像可以是通過輸入源13接收的壓縮圖像。因此，解碼的圖像僅用于計算顯著圖。在步驟39處，接收機5接收圖像及其顯著圖，并且如有必要就對它們進行解壓縮。 在步驟41處，圖像修改器19通過使用所發(fā)送的顯著圖將圖像重定向到期望的長寬比。由圖像修改器使用的重定向方法被選擇為與顯著圖兼容。例如，如果根據(jù)EP 1968008計算顯著圖，則重定向方法會是接縫雕刻方法。隨后，在步驟43處，將重定向的圖像顯示在顯示器21上。在圖3的變體中，在步驟51處，在步驟35處計算的顯著圖在發(fā)送前被變換成分別用于水平和垂直縮放的兩個一維(ID)曲線。這個變換顯著減少了在步驟53處要發(fā)送的信
息里ο在步驟55處，接收圖像和兩個一維顯著曲線，并且隨后在步驟57處，一維顯著曲線由接收機使用來計算縮放曲線，以便在步驟59處，將縮放曲線應(yīng)用到所接收的圖像以用于對其進行重定向。圖4示出三條示例性縮放曲線，并且更具體地，示出描述局部放大的放大曲線。這些曲線是一條具有恒定放大倍數(shù)的線性縮放曲線、一條具有負倍數(shù)的線性縮放曲線，以及所謂的“浴缸”曲線。浴缸曲線的形狀使得在圖像的中心處使用統(tǒng)一縮放，而放大率向圖像的邊緣增加。圖像中心處的統(tǒng)一縮放意指圖像中心處的對象保持沒有失真。通常放大率在 0. 5和2. 0之間。圖5、6和7示出通過使用非線性縮放曲線并且更具體地使用位置變換(或映射)曲線的非線性圖像縮放。位置變換曲線是放大曲線的積分的結(jié)果。圖5示出圖像61，其被劃分成等寬的8個垂直部分和等寬的4個水平部分。還示出了從圖像的一角到對角的線63。為了得出如圖7所示的非線性縮放圖像67，使用了如圖6所示的非線性位置變換曲線65。圖6清楚地示出是放大曲線的積分的結(jié)果的圖像縮放曲線，即位置變換曲線。在水平/垂直位置上對水平/垂直放大曲線進行積分以結(jié)果導(dǎo)致水平/垂直位置變換曲線。在圖中，還可以看出，接近圖像的邊緣，垂直部分變得更窄，而靠近中心，水平部分保持不變。 通過使用這種曲線，假設(shè)圖像最重要的信息位于圖像的中心附近。在圖7中，由于在水平方向非線性縮放的原因，具有斜度的直線63顯示為曲線69。然而，需要注意的是，最相關(guān)的信息并非總是位于圖像的中心附近。為此，可以有利地使用不同的縮放曲線。為了確定要使用的縮放曲線，在一個方向(水平或垂直)累積關(guān)于局部顯著性，即每個像素的顯著性的信息，這將在稍后進行更詳細的闡述。累積的局部顯著性用于計算不同縮放曲線的成本。在這個示例中，定義了初始的水平和/或垂直縮放曲線集，其包括標(biāo)準(zhǔn)曲線，即“浴缸曲線”，而且還包括在標(biāo)準(zhǔn)曲線無用的情況下可能適用的一些曲線。這主要在最重要的一個或多個對象處于屏幕的側(cè)面板(side panel)附近時發(fā)生。存儲的初始縮放曲線的數(shù)目至少為2，但是小于圖像中像素的數(shù)量。在大多數(shù)應(yīng)用中，使用3-10個初始縮放曲線就足夠了。給定當(dāng)前圖像的顯著特征或局部顯著性，可以計算這些初始曲線的每一個的“成本”?？s放曲線的成本取決于圖像中諸如面部、移動對象等重要對象的位置，使得局部縮放因子尤其在這些重要的對象位置處越不同于統(tǒng)一縮放(縮放因子1)，成本越增加。換言之， 處于縮放因子不同于1的位置的大量顯著特征導(dǎo)致高成本值。對于成本值的計算，可以忽略處于縮放因子為1的位置的顯著特征。要在實際圖像重新縮放中使用的縮放曲線，即位置變換曲線，被計算為各單獨曲線的加權(quán)平均，其中權(quán)重與前面提到的成本逆相關(guān)。這意味著隨著預(yù)定義的縮放曲線的成本增加，權(quán)重減小。所有的備選曲線(水平和垂直縮放曲線兩者)各自造成期望的長寬比變化。在權(quán)重之和等于1的情況下，結(jié)果獲得的曲線也將導(dǎo)致期望的長寬比變化。如果輸入視頻序列具有很好的時間穩(wěn)定性(沒有場景變化)，權(quán)重將只是逐漸地變化，這導(dǎo)致輸出的重定向視頻也是在時間上穩(wěn)定的。在輸入視頻的低時間穩(wěn)定性(場景變化)的情況下，輸出可以對經(jīng)更新的成本立即作出反應(yīng)而沒有余留來自先前場景的影響。因此，提出的重新縮放方法所非常令人欣賞的時間穩(wěn)定性沒有阻止快速適應(yīng)新的鏡頭。此外，通過或多或少大膽地選擇初始曲線(即，不同于標(biāo)準(zhǔn)曲線的曲線)，可以確保長寬比校正的偽影是適度的。表1-4示出用于計算要在圖像縮放中使用的校正放大曲線的具體示例。在這些表中，每一欄表示圖像中特定的水平位置。為簡單起見，在這些示例中的預(yù)定義縮放曲線僅使用兩個不同的放大率值，即值1和2。更廣泛地，這些放大率值也稱為局部放大率值或局部縮放曲線。因此，可以將預(yù)定義縮放曲線視為包括若干被認(rèn)為是粘合在一起的局部縮放曲線。在每個示例中，預(yù)定義縮放曲線集包括三個縮放曲線。表中示出的質(zhì)量指數(shù)與成本值逆相關(guān)，其中如以上解釋的那樣，通過將圖像中的局部顯著性考慮在內(nèi)來為預(yù)定義集中的每條曲線計算成本值。對于最終的縮放曲線，可以通過使用以下公式為每個位置Y計算在一個方向上，即水平或垂直方向上結(jié)果獲得的放大率
權(quán)利要求
1.一種用于在系統(tǒng)中重定向圖像的方法，所述系統(tǒng)包括通過通信網(wǎng)絡(luò)連接到至少一個接收機的發(fā)射機，所述方法包括-由所述發(fā)射機計算(35)所述圖像的顯著圖；-通過所述通信網(wǎng)絡(luò)從所述發(fā)射機向所述至少一個接收機發(fā)送(37)所述圖像和所述顯著圖；-由所述至少一個接收機基于所述發(fā)送的顯著圖來重定向(41)所發(fā)送的圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中所述顯著圖包括分別用于水平和垂直縮放的兩個一維顯著曲線。
3.根據(jù)權(quán)利要求1或2所述的方法，其中所述系統(tǒng)包括多個接收機。
4.一種用于重定向圖像的系統(tǒng)，包括 -發(fā)射機(3)，包括-顯著圖計算器(9)，用于計算所述圖像的顯著圖；以及 -網(wǎng)絡(luò)接口(7)，用于將所述圖像和所述顯著圖發(fā)送到通信網(wǎng)絡(luò)上； -接收機(5)，包括-接收器(17)，連接到所述通信網(wǎng)絡(luò)以用于接收所發(fā)送的圖像和所發(fā)送的顯著圖；-圖像修改器(19)，用于基于所發(fā)送的顯著圖重定向所發(fā)送的圖像。
5.一種在用于重定向圖像的系統(tǒng)中的發(fā)射機(3)，包括 -顯著圖計算器(9)，用于計算所述圖像的顯著圖；以及-網(wǎng)絡(luò)接口(7)，用于將所述圖像和所述顯著圖發(fā)送到通信網(wǎng)絡(luò)上。
6.一種在用于重定向圖像的系統(tǒng)中的接收機(5)，包括-接收器(17)，連接到所述通信網(wǎng)絡(luò)以用于接收所發(fā)送的圖像和所發(fā)送的顯著圖； -圖像修改器(19)，用于基于所發(fā)送的顯著圖重定向所發(fā)送的圖像。
全文摘要
一種用于在系統(tǒng)中重定向圖像的方法，該系統(tǒng)包括通過通信網(wǎng)絡(luò)連接到至少一個接收機的發(fā)射機，該方法包括由發(fā)射機計算(35)圖像的顯著圖；通過通信網(wǎng)絡(luò)從發(fā)射機向至少一個接收機發(fā)送(37)圖像和顯著圖；由至少一個接收機基于所發(fā)送的顯著圖來重定向所發(fā)送的圖像。
文檔編號G06T3/40GK102473288SQ201080033899
公開日2012年5月23日 申請日期2010年7月27日 優(yōu)先權(quán)日2009年7月30日
發(fā)明者德哈安 G. 申請人:皇家飛利浦電子股份有限公司