專利名稱：用于動(dòng)態(tài)指派有選擇地增強(qiáng)的細(xì)粒度可縮放編碼的圖像的方法和設(shè)備的制作方法
本申請(qǐng)涉及到以下共同轉(zhuǎn)讓的2000年7月12日提交的、題目為“System and Method for FineGranular Scalable Video with Selective Quality Enhancement(用于具有選擇的質(zhì)量增強(qiáng)的細(xì)粒度可縮放視頻的系統(tǒng)和方法)”的、美國(guó)專利申請(qǐng)序列號(hào)60/217,827；以及2001年12月13日提交的、題目為“Method and Apparatus for Dynamic Allocation of ScalableSelective Enhancement Fine Granular Encoded Images(用于動(dòng)態(tài)指派選擇增強(qiáng)的細(xì)粒度可縮放編碼圖像的方法和設(shè)備)”的、美國(guó)專利申請(qǐng)序列號(hào)10/015,508。
本發(fā)明總的涉及視頻編碼。更具體地，涉及動(dòng)態(tài)指派選擇增強(qiáng)的細(xì)粒度可縮放編碼的視頻數(shù)據(jù)。
MPEG-4-細(xì)粒度可縮放性(FGS)框架通過(guò)使用被稱為選擇增強(qiáng)的自適應(yīng)量化技術(shù)，允許不同級(jí)別地壓縮視頻圖像的不同部分。FGS編碼的視頻圖像的選擇增強(qiáng)在2000年7月12日提交的、題目為“System andMethod for Fine Granular Scalable Video with Selective QualityEnhancement(用于具有選擇的質(zhì)量增強(qiáng)的細(xì)粒度可縮放視頻的系統(tǒng)和方法)”的、美國(guó)專利申請(qǐng)序列號(hào)60/217,827中有更充分的討論。選擇地增強(qiáng)的FGS視頻信號(hào)的傳輸效率的提高在2001年12月13日提交的、題目為“Method and Apparatus for Dynamic Allocation ofScalable Selective Enhancement Fine Granular EncodedImages(用于動(dòng)態(tài)指派選擇增強(qiáng)的細(xì)粒度可縮放編碼圖像的方法和設(shè)備)”的、美國(guó)專利申請(qǐng)序列號(hào)10/015,508中更充分地作了討論。
FGS編碼的視頻圖像的指定區(qū)域可以利用選擇增強(qiáng)發(fā)送而達(dá)到比未指定的區(qū)域更高的質(zhì)量水平。正如在涉及到的專利申請(qǐng)中所公開(kāi)的，通過(guò)把FGS編碼的圖像單元的特定的或指定的區(qū)域或范圍“移位”到更高的傳輸優(yōu)先權(quán)水平，可以使發(fā)送的圖像達(dá)到更高的質(zhì)量水平或更高的分辨率。選擇增強(qiáng)的圖像因此不按它們的正常的序列被發(fā)送。特定的或指定的區(qū)域或范圍可以與特定的象素、象素陣列或象素陣列組(在這里稱為宏塊)相聯(lián)系。增強(qiáng)因子或移位因子的指示也與每個(gè)移位的FGS編碼的圖像單元(即宏塊)相聯(lián)系。
當(dāng)前的選擇增強(qiáng)方法的缺點(diǎn)在于，移位因子和為選擇增強(qiáng)所選擇的一個(gè)或多個(gè)區(qū)域?qū)嶋H上是在FGS編碼處理期間預(yù)先確定和指派的。這樣來(lái)選擇增強(qiáng)區(qū)域可以由自動(dòng)系統(tǒng)根據(jù)某些預(yù)定的法則來(lái)執(zhí)行。例如，可以選擇與圖像內(nèi)最慢的運(yùn)動(dòng)有關(guān)的數(shù)據(jù)塊以進(jìn)行增強(qiáng)。替換地，圖像內(nèi)的面部可以比起背景更多地增強(qiáng)。然而，這些基于法則的自動(dòng)系統(tǒng)常常無(wú)法精確地增強(qiáng)用戶或觀眾感興趣的部分。因此，由自動(dòng)系統(tǒng)選擇的那些感興趣的區(qū)域或范圍可能與用戶或觀眾感興趣的那些區(qū)域或范圍不一致。
因此，有需要提供一種允許用戶或觀眾選擇或指派感興趣的區(qū)域作為增強(qiáng)的FGS編碼數(shù)據(jù)進(jìn)行傳輸?shù)南到y(tǒng)。
給出了一種在FGS編碼的視頻圖像內(nèi)動(dòng)態(tài)地選擇或指派一或多個(gè)區(qū)域的方法和系統(tǒng)。該方法包括以下步驟在與視頻圖像中想要的區(qū)域或部分有關(guān)的每個(gè)FGS編碼的比特平面中確定至少一個(gè)FGS編碼的宏塊，確定在傳輸序列內(nèi)的每個(gè)確定的FGS編碼的宏塊的傳輸次序，以及以相應(yīng)于已知的增強(qiáng)級(jí)別的傳輸序列次序推進(jìn)每個(gè)確定的FGS編碼的宏塊，其中所推進(jìn)的FGS編碼的宏塊被包含在具有較高優(yōu)先權(quán)的比特平面中。在本發(fā)明的一個(gè)方面中，想要的區(qū)域可由用戶互動(dòng)地選擇。在另一方面中，想要的一個(gè)或多個(gè)區(qū)域可以自動(dòng)選擇。


圖1a顯示利用選擇增強(qiáng)技術(shù)的傳統(tǒng)的FGS系統(tǒng)；圖1b顯示傳統(tǒng)的經(jīng)過(guò)選擇增強(qiáng)的FGS編碼的視頻圖像；圖2顯示按照本發(fā)明的原理的、用于動(dòng)態(tài)選擇增強(qiáng)FGS編碼的圖像的FGS編碼系統(tǒng)；圖3a顯示傳統(tǒng)的非選擇性增強(qiáng)的FGS編碼的視頻圖像；圖3b顯示按照本發(fā)明的原理的、與圖3a所示的編碼的視頻圖像有關(guān)的示例性傳輸序列次序；圖4a顯示對(duì)圖3b所示的示例性傳輸序列次序的示例性調(diào)整；圖4b顯示按照本發(fā)明的原理的、與圖3a所示的編碼的視頻圖像有關(guān)的第二個(gè)示例性傳輸序列次序；圖4c顯示對(duì)圖4b所示的示例性傳輸序列次序的示例性調(diào)整；圖5顯示按照本發(fā)明的原理的、用于傳輸FGS編碼的圖像的示例性系統(tǒng)；圖6顯示按照本發(fā)明的原理的、用于動(dòng)態(tài)改變FGS編碼的圖像的幀傳輸序列的示例性處理過(guò)程的流程圖；圖7顯示按照本發(fā)明的原理的、用于改變FGS編碼的圖像的幀傳輸序列的示例性處理過(guò)程的流程圖；以及圖8顯示按照本發(fā)明的原理的一個(gè)方面的、用于處理用戶請(qǐng)求的示例性系統(tǒng)。
應(yīng)當(dāng)看到，這些圖只是為了說(shuō)明本發(fā)明的概念，而不打算作為對(duì)本發(fā)明的限制的級(jí)別。將會(huì)看到，相同的參考數(shù)字一直被使用來(lái)表示相應(yīng)的部件，在適當(dāng)?shù)牡胤竭@些數(shù)字可能被補(bǔ)充以參考字符。
圖1a顯示利用預(yù)先確定的選擇增強(qiáng)技術(shù)的、傳統(tǒng)的細(xì)粒度可縮放(FGS)視頻編碼系統(tǒng)100。如圖所示，這個(gè)系統(tǒng)由基本層編碼器102和增強(qiáng)層編碼器104組成。原始的視頻信號(hào)106由基本層編碼器102進(jìn)行數(shù)字編碼和量化，從而產(chǎn)生基本層(BL)110?；緦?10包含能表示最低可接受的視頻信號(hào)的足夠的信息?；緦有盘?hào)110也可包括運(yùn)動(dòng)補(bǔ)償信息。運(yùn)動(dòng)補(bǔ)償在本技術(shù)中是眾所周知的，因而無(wú)需在此討論?；緦有盘?hào)110然后被提供到緩存器/速率發(fā)射機(jī)170，用于以后通過(guò)網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))180傳輸。
原始的視頻信號(hào)106連同基本層110的數(shù)字化和量化的版本也一起被提供給增強(qiáng)層編碼器104。增強(qiáng)層編碼器104確定在原始的視頻信號(hào)與量化的基本層110之間的殘差。增強(qiáng)層編碼器104創(chuàng)建包含各信息項(xiàng)的質(zhì)量提高的(SNR)增強(qiáng)層150，當(dāng)把它加到被發(fā)送的基本層110時(shí)，將去除量化誤差并提高所傳輸?shù)膱D像質(zhì)量。SNR增強(qiáng)層信號(hào)150然后被提供到緩存器170，用于以后通過(guò)速率控制器175在網(wǎng)絡(luò)(例如，互聯(lián)網(wǎng))180上傳輸。
還顯示了時(shí)域FGS編碼的增強(qiáng)層(FGST)155，它包括有關(guān)基本層110和增強(qiáng)層150的運(yùn)動(dòng)補(bǔ)償信息。時(shí)域增強(qiáng)層信號(hào)155也被提供到緩存器170，用于以后通過(guò)速率控制器175在網(wǎng)絡(luò)180上傳輸。
正如在FGS編碼的視頻圖像的傳輸中看到的，在被發(fā)送的增強(qiáng)層150、155內(nèi)的信息項(xiàng)的數(shù)量取決于可得到的帶寬。因此，可能無(wú)法在一個(gè)幀期間發(fā)送增強(qiáng)層150、155內(nèi)的每個(gè)信息項(xiàng)。因此，傳輸?shù)膱D像中首先或以較高優(yōu)先權(quán)發(fā)送的那些區(qū)域比起以后發(fā)送的那些區(qū)域趨于具有更高的質(zhì)量或更高的分辨率。
在FGS編碼器104內(nèi)的選擇增強(qiáng)裝置108給要被發(fā)送的圖像內(nèi)指定的區(qū)域，比起圖像中其他未指定的區(qū)域或范圍提供更高的傳輸優(yōu)先權(quán)。選擇增強(qiáng)在所涉及的專利申請(qǐng)中被更充分地公開(kāi)，這些專利申請(qǐng)?jiān)诖艘茫怨﹨⒖肌?br> 圖1b顯示按照?qǐng)D1a所示的編碼器生成的具有預(yù)定的選擇增強(qiáng)的、傳統(tǒng)的FGS編碼的視頻圖像200。如圖所示，圖像200由基本層110、增強(qiáng)層150和移位因子層160組成。正如在所涉及的專利申請(qǐng)中更充分地討論的，被FGS編碼的視頻圖像被格式化為塊，這些通常被稱為宏塊的塊通常代表包含在六個(gè)8×8數(shù)據(jù)塊內(nèi)的圖像信息。所編碼的圖像存儲(chǔ)在各信息級(jí)別(被稱為比特平面)中。每個(gè)比特平面包含有關(guān)每個(gè)宏塊的視頻信息的、逐漸更詳細(xì)的信息(例如，非零DCT剩余系數(shù))。例如，一部分視頻圖像可存儲(chǔ)在基本層塊112中，而逐漸更細(xì)致的圖像分辨率的數(shù)據(jù)被存儲(chǔ)在增強(qiáng)層塊132、142等等。因此，按照FGS編碼原理，最低分辨率視頻圖像被存儲(chǔ)在由信息塊、宏塊或數(shù)據(jù)塊112、114、116、118等等組成的基本層110中，而有關(guān)視頻圖像的相應(yīng)部分的逐漸更細(xì)致分辨率的信息被存儲(chǔ)在由比特平面120、130和140等等組成的增強(qiáng)層150中。因此，在這個(gè)說(shuō)明的例子中，比特平面130包括有關(guān)相應(yīng)的宏塊的最高位或字節(jié)的信息，而比特平面140包括有關(guān)相應(yīng)的宏塊的最低位或字節(jié)的信息。
比特平面120包含有關(guān)選擇增強(qiáng)的宏塊的信息，這些宏塊被縮放以獲得更高的傳輸優(yōu)先權(quán)。在這個(gè)示例性說(shuō)明中，有關(guān)圖像的信息被縮放，以使得相應(yīng)的宏塊134的最高位或字節(jié)(表示為E’e)在相應(yīng)于第一宏塊132的最高位或字節(jié)(表示為E’o)之前發(fā)送。同樣地，有關(guān)相應(yīng)于宏塊144的次最高位或字節(jié)的信息(被表示為E”e)被“移位”或縮放，以使得它在第一宏塊142的次最高位或字節(jié)(被表示為E”o)之前被發(fā)送。有關(guān)相應(yīng)的宏塊的移位或縮放的信息位于移位因子層160，在本說(shuō)明的例子中，它由塊162、164、166、168組成，這些塊為每個(gè)相應(yīng)的宏塊提供信息。正如已知的，在160中的移位因子并不同時(shí)發(fā)送，而是在增強(qiáng)層150之前。一旦MB變得重要(即，非零DCT剩余系數(shù))就對(duì)各宏塊(MB)獨(dú)立地發(fā)送這些因子。因此，當(dāng)MB是重要的時(shí)，將發(fā)送MB，或替換地，將發(fā)送非零宏塊符號(hào)(NULL)，表示該MB仍舊是不重要的。在MB第一次變成為重要時(shí)，也將發(fā)送相應(yīng)的選擇增強(qiáng)(SE)移位因子160。
存儲(chǔ)在與視頻源相關(guān)幀相對(duì)應(yīng)的比特平面中的每個(gè)FGS編碼的宏塊信息項(xiàng)隨后被存儲(chǔ)在器件170。器件170可以是永久的或半永久媒體，諸如只讀存儲(chǔ)器(ROM)、隨機(jī)存取存儲(chǔ)器(RAM)、磁盤(pán)或光盤(pán)等等，用于以后通過(guò)通信網(wǎng)(諸如互聯(lián)網(wǎng))傳輸。雖然顯示的是示例性選擇地增強(qiáng)的組合圖像，但還應(yīng)當(dāng)看到，視頻源106的多個(gè)版本可被同時(shí)存儲(chǔ)在至少一個(gè)永久的或半永久媒體中，用于按照不同的帶寬或比特速率條件傳輸。雖然未示出，將會(huì)看到，F(xiàn)GST增強(qiáng)層155類似地由宏塊組成，并相應(yīng)地被移位。
圖2顯示按照本發(fā)明的原理的示例性編碼系統(tǒng)。在這個(gè)示例性系統(tǒng)中，基本層110、FGS增強(qiáng)層150和FGST增強(qiáng)層155被存儲(chǔ)在具有傳統(tǒng)的非選擇增強(qiáng)的結(jié)構(gòu)的緩存器170中。宏塊數(shù)據(jù)然后被提供到動(dòng)態(tài)選擇增強(qiáng)模塊210，以便當(dāng)請(qǐng)求選擇增強(qiáng)時(shí)動(dòng)態(tài)地確定傳輸序列。不管宏塊數(shù)據(jù)或信息是否被選擇地增強(qiáng)，該宏塊數(shù)據(jù)或信息都被提供到速率控制器175，用于以后通過(guò)網(wǎng)絡(luò)180傳輸。
圖3a顯示傳統(tǒng)的FGS編碼的視頻圖像的比特平面結(jié)構(gòu)，它簡(jiǎn)單地被表示為由四個(gè)宏塊組成。而且，視頻圖像在六個(gè)比特平面上被FGS編碼，其中由宏塊311、312、313和314組成的比特平面310代表基本層110，以及以后的比特平面320-360分別代表增強(qiáng)層150。因此，宏塊321、331、341等等包括使包含在宏塊311中的視頻信息逐漸得到更細(xì)致分辨率的信息。
在本例中，視頻圖像是使用傳統(tǒng)的行光柵型掃描370發(fā)送的，在本說(shuō)明性例子中，這種掃描在奇數(shù)行從左到右并在偶數(shù)行從右到左地發(fā)送各行中的宏塊數(shù)據(jù)。因此，在宏塊311中的數(shù)據(jù)首先被發(fā)送，然后，接著是宏塊312中的數(shù)據(jù)，后面分別跟隨宏塊314和313中的數(shù)據(jù)。然后，如果有足夠的帶寬可用，則接著發(fā)送在宏塊321、322、324和323中的數(shù)據(jù)，它們代表第一級(jí)別的增強(qiáng)層數(shù)據(jù)。如果有足夠帶寬可用，在比特平面330-360中的數(shù)據(jù)也可以被發(fā)送。雖然這里說(shuō)明了行光柵型掃描，但應(yīng)當(dāng)看到，水平和/或垂直逐行/隔行掃描也可認(rèn)為屬于本發(fā)明的范圍內(nèi)。
圖3b顯示相應(yīng)于圖3a所示的FGS編碼的比特平面結(jié)構(gòu)的示例性傳輸序列次序380。在所顯示的示例性傳輸序列次序中，與每個(gè)比特平面內(nèi)的每個(gè)宏塊有關(guān)的指針或矢量按傳輸?shù)拇涡虮淮鎯?chǔ)。因此，對(duì)于圖3a所示的示例性水平光柵掃描，與宏塊311有關(guān)的指針或矢量作為傳輸序列次序380中的第一項(xiàng)被存儲(chǔ)，以及與宏塊312、314和313有關(guān)的相應(yīng)的指針或矢量然后順序地被存儲(chǔ)在傳輸序列控制表中。同樣地，與每個(gè)比特平面中的每個(gè)宏塊有關(guān)的相應(yīng)的指針或矢量按它們的傳輸次序被存儲(chǔ)。正如將會(huì)看到的，如圖1或2所示速率控制器175，包括一個(gè)處理過(guò)程(這將進(jìn)一步被描述)，它順序地進(jìn)到傳輸序列次序380的每個(gè)單元以確定要被發(fā)送的第一個(gè)/下一個(gè)宏塊。正如將會(huì)看到的，宏塊傳輸?shù)牧硪粋€(gè)次序?qū)⒃斐上嚓P(guān)的宏塊指針或矢量的另一個(gè)儲(chǔ)存次序。因此，按照本發(fā)明的原理，宏塊的示例性傳輸序列不是固定的，或“硬連線的”，而是由在傳輸序列次序380中選擇的次序所確定。
圖4a顯示傳輸序列次序380的調(diào)整，這種調(diào)整是為了響應(yīng)對(duì)選擇地增強(qiáng)與在宏塊313中所示相對(duì)應(yīng)的所想要的部分圖像的請(qǐng)求。在這種情形下，與宏塊313和以后的比特平面中的宏塊(即宏塊323、333、343、353、363)有關(guān)的相應(yīng)的指針或矢量按傳輸表次序380被移位或改變位置，以適應(yīng)所請(qǐng)求的增強(qiáng)。傳輸次序的這個(gè)移位或改變位置給所請(qǐng)求的圖像部分提供更高的傳輸優(yōu)先權(quán)。因此，有關(guān)宏塊313的信息(被表示為指針或矢量394)被放置在有關(guān)宏塊311的信息(被表示為指針或矢量395)之前。同樣地，有關(guān)宏塊363的信息(被表示為指針或矢量397)被放置在有關(guān)宏塊361的信息(被表示為指針或矢量398)之前。
將會(huì)看到，為了提供與許多現(xiàn)有的接收系統(tǒng)的兼容性以及限制對(duì)于專門(mén)的接收和發(fā)送設(shè)備的需要，傳統(tǒng)的光柵型傳輸序列被保持。在這種情形下，指針或矢量391、392、393被引入到傳輸序列次序380，以補(bǔ)償所請(qǐng)求的宏塊311的選擇性增強(qiáng)或更高的傳輸優(yōu)先權(quán)。在本說(shuō)明性例子中，所述指針或矢量被設(shè)置作“不重要的”宏塊或塊。正如將會(huì)看到的，指針或矢量同樣可被設(shè)置為未用的數(shù)值，諸如“0”，它表示“不重要的”字符或塊。“不重要的”宏塊被發(fā)送來(lái)向相應(yīng)的接收系統(tǒng)表示用零去填充接收的宏塊。同樣地，為了保持在所有選擇增強(qiáng)的宏塊被發(fā)送后的傳輸次序，“0”指針被引入到所選擇增強(qiáng)的宏塊的比特平面中。因此，“0”指針被放置在傳輸控制表中，在相應(yīng)于移位過(guò)的宏塊信息的位置處給出序列次序380。在本例中，“0”指針被放置于位置399，表示將發(fā)送一組零塊。
圖4b和4c一起顯示傳輸序列次序的另一個(gè)實(shí)施例和使用鏈接表結(jié)構(gòu)的示例性改變。圖4b顯示類似于圖3b所示的傳輸序列次序。然而，類似于圖3b所示，在本例中，第一指針或矢量用來(lái)確定供傳輸?shù)暮陦K。第二指針或矢量415，420，...，440等等用來(lái)確定以后供傳輸?shù)暮陦K。因此，不用如圖3b中所做的那樣順序地獲取或確定下一個(gè)宏塊，而是用第二指針或矢量來(lái)確定下一個(gè)用于傳輸?shù)暮陦K。為了確定用于傳輸?shù)牡谝豁?xiàng)，保持了一個(gè)包含指針或矢量的分開(kāi)的數(shù)值410。
圖4c顯示了為選擇增強(qiáng)圖3a的宏塊313或提升其傳輸優(yōu)先權(quán)而做出的對(duì)傳輸序列次序所做的適配。在本例中，初始值指針410’被改變以獲取具有“不重要的”值的數(shù)據(jù)塊455。這時(shí)，數(shù)據(jù)塊455被利用來(lái)保持已知的傳輸次序。數(shù)據(jù)塊455的最后一項(xiàng)包括指針或矢量460，它選擇傳輸序列中相應(yīng)于宏塊313的那一項(xiàng)。與宏塊313相關(guān)的下一個(gè)宏塊指針465然后被改變以選擇用于下一次發(fā)送的宏塊311。然后，宏塊312被選擇為下一個(gè)用于發(fā)送的宏塊，因?yàn)榕c宏塊311有關(guān)的下一個(gè)宏塊指針未被改變。同樣地，宏塊314然后被選擇為下一個(gè)供發(fā)送的宏塊，因?yàn)榕c宏塊312有關(guān)的下一個(gè)宏塊指針470未被改變。然而，與宏塊314有關(guān)的下一個(gè)宏塊指針475被改變以選擇用于發(fā)送的宏塊324。為了完成和保持此傳輸序列次序，包括“不重要的”塊的、最后或最終的塊480可以由與上一個(gè)發(fā)送的宏塊364相關(guān)的指針獲取。
正如所看到的，數(shù)據(jù)塊455和480用來(lái)保持每個(gè)比特平面的均勻數(shù)目的宏塊。然而，將會(huì)看到，數(shù)據(jù)塊455或480中的任何一個(gè)的使用都是任選的，因?yàn)槊總€(gè)比特平面的非均勻數(shù)目的宏塊也可以被保持和被發(fā)送。
圖3b，4a，4b，和4c顯示線性的或順序的傳輸次序。本領(lǐng)域技術(shù)人員都了解如何使用初始的指針和鏈接表和或雙鏈接表來(lái)保持和動(dòng)態(tài)地改變傳輸序列。而且，通過(guò)使用鏈接表或雙鏈接表，可保持另外的非順序的傳輸序列。
雖然僅僅一個(gè)宏塊被選擇地增強(qiáng)到更高一級(jí)的傳輸優(yōu)先權(quán)，但應(yīng)當(dāng)看到，任何數(shù)目的宏塊可被移位到任何更高級(jí)別的傳輸優(yōu)先權(quán)。例如，多個(gè)宏塊可被移位或改變位置，以使得移位后的各宏塊可以在未增強(qiáng)的圖像的最高位或字節(jié)發(fā)送之前全部被發(fā)送。
動(dòng)態(tài)選擇增強(qiáng)處理過(guò)程可通過(guò)以下例子進(jìn)一步被說(shuō)明。假設(shè)原始的FGS剩余圖像在六個(gè)比特平面上被編碼，每個(gè)比特平面包括四個(gè)宏塊。而且，第一個(gè)宏塊的最高位的字節(jié)是6，第二個(gè)宏塊的最高位的字節(jié)是3，第三個(gè)宏塊的最高位的字節(jié)是4，以及第四個(gè)宏塊的最高位的字節(jié)是5。原始的FGS編碼的比特平面可被表示為
其中”Coded_bpx”是指相應(yīng)于宏塊的編碼的比特平面；以及“0”表示不重要的數(shù)值。
假設(shè)宏塊3以因子三(3)被選擇增強(qiáng)，則比特平面數(shù)被增加到七(7)，以及選擇地FGS編碼的宏塊被表示為
圖5顯示利用本發(fā)明原理的示例性傳輸系統(tǒng)500。在本示例性系統(tǒng)中，發(fā)送單元510由接收視頻幀圖像信息的視頻幀源106、類似于圖1a所示的但不帶有選擇性增強(qiáng)單元108的視頻編碼單元100、和存儲(chǔ)FGS編碼的視頻圖像的編碼器緩存器170組成。傳輸速率控制器175獲取包含在編碼器緩存器170內(nèi)的所存儲(chǔ)的FGS編碼的視頻圖像，并以存儲(chǔ)在相關(guān)的傳輸序列表中的次序在數(shù)據(jù)網(wǎng)180上發(fā)送所存儲(chǔ)的圖像數(shù)據(jù)。在接收系統(tǒng)517中，接收的數(shù)據(jù)幀被存儲(chǔ)在譯碼器緩存器518，并提供給視頻譯碼器520。譯碼的信息然后呈現(xiàn)在視頻顯示器522上。
進(jìn)一步說(shuō)明處理器577，它與圖2所示的動(dòng)態(tài)選擇增強(qiáng)設(shè)備210是類似的。在本示例性實(shí)施例中，動(dòng)態(tài)選擇性增強(qiáng)被集成到傳輸速率控制器175內(nèi)。在本說(shuō)明性例子中，控制器175動(dòng)態(tài)地確定那些要被選擇地增強(qiáng)的、包括想要的圖像部分的宏塊，調(diào)整用于下一個(gè)/以后的幀發(fā)送的傳輸序列次序，以及以適合于可用帶寬的速率在網(wǎng)絡(luò)180上發(fā)送圖像數(shù)據(jù)。處理器577還可通過(guò)網(wǎng)絡(luò)180接收有關(guān)用戶命令的或請(qǐng)求的選擇增強(qiáng)的信息。這時(shí)，處理器577響應(yīng)用戶對(duì)選擇增強(qiáng)的請(qǐng)求(這請(qǐng)求可由I/O處理器525提供)，可以動(dòng)態(tài)地確定包括所請(qǐng)求的圖像部分的那些宏塊，以及調(diào)整用于下一次/以后的發(fā)送的傳輸序列次序。
正如看到的，處理器577或IO處理器525可以是任何裝置，諸如通用或?qū)Ｓ糜?jì)算系統(tǒng)，或可以是硬件結(jié)構(gòu)，諸如專用邏輯電路、集成電路、可編程的陣列邏輯(PAL)、專用集成電路(ASIC)，它們響應(yīng)已知的輸入(即傳輸序列次序)提供已知的輸出(即宏塊數(shù)據(jù))。
在本發(fā)明的另一方面中，傳輸控制器175可自動(dòng)地(沒(méi)有用戶請(qǐng)求)選擇地增強(qiáng)所發(fā)送圖像的指定的區(qū)域，以便根據(jù)可用的帶寬為接收系統(tǒng)提供更好的質(zhì)量。例如，基于面部的增強(qiáng)法則、基于運(yùn)動(dòng)的分段法則、基于重要性掩膜的增強(qiáng)法則、基于中心的增強(qiáng)法則等等可自動(dòng)確定一個(gè)或多個(gè)增強(qiáng)區(qū)域。
圖6顯示用于傳輸控制器175的示例性處理過(guò)程的流程圖600。在本示例性處理過(guò)程中，在塊610，選擇第一指針。在塊615，確定所選擇的指針是否相應(yīng)于不重要的宏塊。如果回答是肯定的，則在塊620，選擇表示為“0”指針的數(shù)據(jù)塊供發(fā)送。
然而，如果回答是否定的，則在塊630，選擇在所選擇的數(shù)據(jù)塊內(nèi)的信息項(xiàng)用于發(fā)送。
在塊640，選擇下一個(gè)指針。在塊650，確定所選擇的下一個(gè)指針是否為幀末尾標(biāo)記。如果回答是否定的，則處理過(guò)程返回到塊615，確定所選擇的下一個(gè)指針是否與“零”塊相關(guān)。
然而，如果回答是肯定的，則對(duì)所選擇的幀傳輸序列的處理過(guò)程完成。
圖7顯示按照本發(fā)明的原理的、用于動(dòng)態(tài)調(diào)整幀傳輸序列的示例性處理過(guò)程的流程圖700。在本例中，處理器577確定圖像的指定區(qū)域能夠被選擇地增強(qiáng)。例如，正如圖所示，在塊710，處理器577可以接收用戶對(duì)于選擇地增強(qiáng)圖像的一部分的請(qǐng)求。在另一個(gè)實(shí)施例中，處理器577可以根據(jù)可用的帶寬確定選擇性增強(qiáng)是合適的。
在塊720，確定有關(guān)或包括選定的圖像部分的宏塊，所述圖像部分是經(jīng)請(qǐng)求要被選擇地增強(qiáng)的。同樣地，在塊730，確定增強(qiáng)的級(jí)別。在塊740，選擇每個(gè)下一個(gè)幀傳輸序列表。在每個(gè)所選擇的下一個(gè)幀傳輸序列表中，所確定的與所請(qǐng)求的選擇性增強(qiáng)區(qū)域有關(guān)的宏塊在塊750被調(diào)整(即移位或改變位置)使得所確定的宏塊能夠被分配給更高的傳輸優(yōu)先權(quán)。在塊760，在每個(gè)選定的序列表內(nèi)不包含指針數(shù)據(jù)的各個(gè)位置被填充，以便允許表示為“0”數(shù)據(jù)的數(shù)據(jù)塊發(fā)送。
圖8顯示可被使用來(lái)實(shí)施本發(fā)明的原理的、處理器577的示例性實(shí)施例。處理器577可以代表臺(tái)式、筆記本式或掌上計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、諸如錄像機(jī)(VCR)、數(shù)字錄像機(jī)(DVR)、TiVO設(shè)備等等的視頻/圖像存儲(chǔ)設(shè)備，以及這些和其他設(shè)備的一部分或組合。處理器577包括一個(gè)或多個(gè)輸入/輸出設(shè)備802、處理器803和存儲(chǔ)器804。存儲(chǔ)器804可以是諸如RAM、ROM、閃存、超高速緩存的半導(dǎo)體媒體，諸如磁盤(pán)的磁媒體或諸如CD-ROM的光媒體。
處理器577可以通過(guò)I/O設(shè)備802訪問(wèn)一個(gè)或多個(gè)數(shù)據(jù)源801，例如緩存器170，數(shù)據(jù)源可以通過(guò)網(wǎng)絡(luò)(未示出)被接收。源801替換地可以是一個(gè)或多個(gè)網(wǎng)絡(luò)連接，用于通過(guò)例如因特網(wǎng)這樣的全球計(jì)算機(jī)通信網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、或電話網(wǎng)以及這些和其他類型的網(wǎng)絡(luò)的一部分或組合從一個(gè)或多個(gè)服務(wù)器接收信息。
輸入/輸出設(shè)備802、處理器803和存儲(chǔ)器804可以通過(guò)通信媒體805通信。通信媒體805可以是，例如，總線、通信網(wǎng)、電路的一個(gè)或多個(gè)內(nèi)部連接、電路卡或其它器件、以及這些和其他通信媒體的一部分或組合。來(lái)自源801的數(shù)據(jù)按照存儲(chǔ)在存儲(chǔ)器804并由處理器803執(zhí)行的一個(gè)或多個(gè)軟件程序被處理，以便改變傳輸序列次序，以及生成一個(gè)輸出，它可提供給網(wǎng)絡(luò)(未示出)或顯示設(shè)備806。
在優(yōu)選實(shí)施例中，采用本發(fā)明的原理的編碼和譯碼可以由系統(tǒng)執(zhí)行的計(jì)算機(jī)可讀代碼來(lái)實(shí)施。代碼可以存儲(chǔ)在存儲(chǔ)器804中或可以從諸如CDROM或軟盤(pán)的存儲(chǔ)器媒體中讀出/下載。在其他實(shí)施例中，可以使用硬件電路代替軟件指令或與其相組合來(lái)實(shí)施本發(fā)明。例如，這里說(shuō)明的單元也可以由分立的硬件單元來(lái)實(shí)現(xiàn)。
雖然以優(yōu)選的形式描述和顯示了本發(fā)明，然而，應(yīng)當(dāng)看到，本公開(kāi)內(nèi)容只是作為例子作出的，并且在不背離如此后所要求的本發(fā)明的精神和范圍的前提下可以在細(xì)節(jié)上作出許多改變。例如，所描述的指示符可以由說(shuō)明在傳輸幀中采用的特定方法的各個(gè)設(shè)置值所指定。或者指示符可以是在傳輸幀內(nèi)具有固定數(shù)目的傳輸比特的編碼值?；蛘咧甘痉梢允且粋€(gè)單獨(dú)的設(shè)置，它規(guī)定了在傳輸幀中采用的特定的方法的存在。本專利打算通過(guò)所附權(quán)利要求書(shū)中的適當(dāng)?shù)谋磉_(dá)來(lái)包含在所公開(kāi)的本發(fā)明中存在的可取得專利的創(chuàng)新性的那些特性。
權(quán)利要求
1.一種用于動(dòng)態(tài)確定由分布在多個(gè)比特平面(310，320)之間的多個(gè)宏塊(311，312)所組成的FGS編碼的視頻圖像的傳輸序列以允許有選擇地增強(qiáng)所述視頻圖像中想要的部分的方法，所述傳輸序列是預(yù)定的(380)，所述方法包括以下步驟確定與所述視頻圖像的所述想要部分相關(guān)的、每個(gè)所述比特平面(310，320，330)中的所述各FGS編碼的宏塊(311，312)中的至少一個(gè)宏塊(313)；確定在所述傳輸序列內(nèi)的每個(gè)所述已確定的至少一個(gè)所述FGS編碼的宏塊(313)的傳輸次序(380)；以及以與已知的增強(qiáng)級(jí)別相對(duì)應(yīng)的所述傳輸序列次序(380)推進(jìn)每個(gè)所述至少一個(gè)(313)所述已確定的FGS編碼的宏塊(313)，其中所述推進(jìn)的FGS編碼的宏塊被包含在具有較高的傳輸優(yōu)先權(quán)的比特平面中。
2.如權(quán)利要求1中闡述的方法，還包括在所述傳輸序列中填充已知的數(shù)值(391，399)以保持所述傳輸序列次序的步驟。
3.如權(quán)利要求2中闡述的方法，其中所述已知的數(shù)值(391，399)代表不重要的數(shù)值。
4.如權(quán)利要求1中闡述的方法，還包括根據(jù)用戶請(qǐng)求確定所述想要的部分的步驟。
5.如權(quán)利要求1中闡述的方法，還包括根據(jù)用戶請(qǐng)求確定所述已知的增強(qiáng)級(jí)別的步驟。
6.如權(quán)利要求1中闡述的方法，還包括按照已知因素確定所述想要的部分的步驟。
7.如權(quán)利要求6中闡述的方法，其中所述已知的因素是從包括以下項(xiàng)目的組中選擇的圖像的中心、面部、運(yùn)動(dòng)圖像、等等。
8.如權(quán)利要求1中闡述的方法，還包括按照可用的網(wǎng)絡(luò)帶寬確定所述增強(qiáng)因素的步驟。
9.如權(quán)利要求1中闡述的方法，其中所述預(yù)定的傳輸序列是從包括以下項(xiàng)目的組中選擇的水平掃描、垂直掃描、對(duì)角線掃描、光柵掃描、逐行掃描、隔行掃描等等。
10.如權(quán)利要求1中闡述的方法，還包括從所述傳輸序列(380)確定所述傳輸序列次序的步驟。
11.一種用于動(dòng)態(tài)確定由分布在多個(gè)比特平面(310，320)之間的多個(gè)宏塊(311，312)所組成的FGS編碼的視頻圖像的傳輸序列以允許有選擇地增強(qiáng)所述視頻圖像的想要的部分的設(shè)備(175)，所述傳輸序列是預(yù)定的(380)，所述設(shè)備包括用于確定與所述視頻圖像的所述想要的部分有關(guān)的、每個(gè)所述比特平面(310，320)中的所述各FGS編碼的宏塊(311，312)中的至少一個(gè)宏塊的裝置；用于確定在所述傳輸序列內(nèi)的每個(gè)所述已確定的至少一個(gè)所述FGS編碼的宏塊的傳輸次序(380)的裝置；以及用于以與已知的增強(qiáng)級(jí)別相對(duì)應(yīng)的所述傳輸序列次序推進(jìn)每個(gè)所述至少一個(gè)所述已確定的FGS編碼的宏塊(311)的裝置，所述推進(jìn)的FGS編碼的宏塊(311)被包含在具有較高的傳輸優(yōu)先權(quán)的比特平面(310，320)中。
12.如權(quán)利要求11中闡述的設(shè)備，還包括用于在所述傳輸序列中填充已知的數(shù)值(391)以保持所述傳輸序列次序的裝置。
13.如權(quán)利要求12中闡述的設(shè)備，其中所述已知的數(shù)值代表不重要的數(shù)值。
14.如權(quán)利要求11中闡述的設(shè)備，還包括用于根據(jù)用戶請(qǐng)求確定所述想要的部分的裝置。
15.如權(quán)利要求11中闡述的設(shè)備，還包括用于根據(jù)用戶請(qǐng)求確定所述已知的增強(qiáng)級(jí)別的裝置。
16.如權(quán)利要求11中闡述的設(shè)備，還包括用于按照已知因素確定所述想要的部分的裝置。
17.如權(quán)利要求16中闡述的設(shè)備，其中所述已知的因素是從包括以下項(xiàng)目的組中選擇的圖像的中心、面部、運(yùn)動(dòng)圖像等等。
18.如權(quán)利要求11中闡述的設(shè)備，其中還包括用于按照可用的網(wǎng)絡(luò)帶寬確定所述增強(qiáng)因素的裝置。
19.如權(quán)利要求11中闡述的設(shè)備，其中所述預(yù)定的傳輸序列是從包括以下項(xiàng)目的組中選擇的水平掃描、垂直掃描、對(duì)角線掃描、光柵掃描、逐行掃描、隔行掃描等等。
20.如權(quán)利要求19中闡述的設(shè)備，還包括用于從所述傳輸序列確定所述傳輸序列次序的裝置。
全文摘要
一種用于動(dòng)態(tài)地有選擇地增強(qiáng)被FGS編碼的視頻圖像中想要的區(qū)域的方法和系統(tǒng)。該方法包括以下步驟確定在與視頻圖像的想要的區(qū)域或部分相關(guān)的每個(gè)FGS編碼的比特平面中的至少一個(gè)FGS編碼的宏塊，確定在傳輸序列內(nèi)的每個(gè)已確定的FGS編碼的宏塊的傳輸次序，以及以與已知的增強(qiáng)級(jí)別相對(duì)應(yīng)的傳輸序列次序推進(jìn)每個(gè)確定的FGS編碼的宏塊，其中推進(jìn)的FGS編碼的宏塊被包含在具有較高的傳輸優(yōu)先權(quán)的比特平面中。在本發(fā)明的一個(gè)方面中，所述想要的區(qū)域可由用戶互動(dòng)地選擇。另一方面，想要的一個(gè)或多個(gè)區(qū)域可以自動(dòng)地選擇。
文檔編號(hào)H03M7/30GK1602633SQ02824746
公開(kāi)日2005年3月30日 申請(qǐng)日期2002年12月6日 優(yōu)先權(quán)日2001年12月13日
發(fā)明者M·范德沙爾 申請(qǐng)人:皇家飛利浦電子股份有限公司