專利名稱：使用多描述分層編碼提高傳輸效率的方法和系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明致力于通過通信網(wǎng)絡(luò)進(jìn)行的視頻傳輸，并且更加具體地講，致力于使用多描述和分層編碼進(jìn)行的視頻圖像傳輸。
背景技術(shù)：
在本領(lǐng)域中，多描述編碼(MDC)被認(rèn)為是一種用于通過遭受多路干擾和多普勒多樣性的網(wǎng)絡(luò)(比如無線網(wǎng)絡(luò))進(jìn)行強(qiáng)健通信的有效技術(shù)。MDC還在通過多個(gè)盤驅(qū)動器(例如廉價(jià)盤的冗余陣列(RAIDS))和因特網(wǎng)分發(fā)的數(shù)據(jù)的傳輸中得到了采用。我們已知了數(shù)種類型的MDC編碼方案。例如，Servetto等人在《多描述網(wǎng)格向量量化(Multiple Description Lattice Vector Quantization)》(IEEE數(shù)據(jù)壓縮收斂會報(bào)(Proceedings of IEEE Data CompressionConvergence(DCC))，美國猶他州，Snowbird市，1999年3月)中教導(dǎo)了標(biāo)量勢。Y.Wang等人在《利用成對關(guān)聯(lián)變換的多描述編碼(Multiple Description Coding using Pairwise CorrelatingTransforms)》(1999年1月)中倡導(dǎo)關(guān)聯(lián)變換。Goyal、Vetteri等人在《多描述變換編碼使用密排幀展開的疑符的強(qiáng)健性(MultipleDescription Transform CodingRobustness to Erasures Using TightFrame Expansion)》(1998年8月)中倡導(dǎo)幀展開。Puri等人在《用于因特網(wǎng)視頻流送和多點(diǎn)傳送信號處理的基于多描述編碼的正向誤碼修正(FED)(Forward Error Correction(FED)Codes Based on MultipleDescription Coding for Internet Video Streaming and Multicast SignalProcessing)》(《圖像通信(Image Communication)》第16卷第8期，第745-762頁，2001年5月)中倡導(dǎo)正向誤碼修正(FEC)。
附圖1表示由J.G.Apostolopoulos在《利用多狀態(tài)編碼和路徑分集通過有損分組網(wǎng)絡(luò)進(jìn)行的可靠視頻通信(Reliable VideoCommunication Over Lossy Packet Networks using Multiple StateEncoding and Path Diversity)》(《可視通信和圖像處理(VCIP)(Visual Communications and Image Processing(VCIP))》2001年1月，第392-409頁)中提出的MDC方法100，其中將由多個(gè)圖像幀(表示為110a、110b、110c)組成的視頻數(shù)據(jù)分成信息的奇數(shù)幀(表示為121、123、125)和信息的偶數(shù)幀(表示為122、124、126)。然后使用公知的編碼技術(shù)，比如MPEG等，對各個(gè)奇數(shù)幀和偶數(shù)幀中的視頻信息獨(dú)立地進(jìn)行編碼。然后可以使用相同或不同的信道通過網(wǎng)絡(luò)來發(fā)送各個(gè)奇數(shù)和偶數(shù)幀中的編碼信息。在后一種情況下，能夠明顯減少發(fā)送整個(gè)圖像所用的時(shí)間。應(yīng)當(dāng)可以意識到，稱為“奇數(shù)”和“偶數(shù)”的信息，例如，可以是與視頻圖像中的視頻數(shù)據(jù)的“奇數(shù)”和“偶數(shù)”行相關(guān)聯(lián)的信息。
在當(dāng)前的技術(shù)水平下，MDC編碼算法假設(shè)至少一個(gè)信道是在最大位速率或帶寬的條件下工作的。不過，這一假設(shè)并沒有考慮到網(wǎng)絡(luò)帶寬隨時(shí)間變化并且可能會落到適于MDC編碼圖像的水平之下。在這樣的情況下，所發(fā)送的圖像不會得到正確的解碼并且接收方的圖像質(zhì)量可能會降低到足以導(dǎo)致再現(xiàn)圖像看不見的程度。
因此，存在著對這樣的MDC編碼方法的需求該方法對可用網(wǎng)絡(luò)帶寬的變化量做出響應(yīng)并且能夠動態(tài)地調(diào)整傳輸速率，以適應(yīng)可用網(wǎng)絡(luò)帶寬。

發(fā)明內(nèi)容
公開了一種用于使用MDS和分層編碼，尤其是細(xì)?？臻g編碼提高網(wǎng)絡(luò)傳輸效率的方法、系統(tǒng)和設(shè)備。按照本方法，將視頻圖像分割成多個(gè)信息項(xiàng)幀，將每個(gè)幀獨(dú)立地分層編碼成一個(gè)基本層和一個(gè)增強(qiáng)層，然后選擇通信信道中的至少一個(gè)信道，使每個(gè)基本層與所選定的通信信道之一相關(guān)聯(lián)，并且通過相關(guān)聯(lián)的通信信道發(fā)送各個(gè)基本層。按照另一個(gè)方面，確定各個(gè)相關(guān)聯(lián)的信道上的剩余帶寬，并且通過相關(guān)聯(lián)的信道發(fā)送可與剩余帶寬相比擬的一種等級的相關(guān)增強(qiáng)層。


附圖1表示傳統(tǒng)的MDC編碼系統(tǒng)；附圖2表示按照本發(fā)明原理的MDC編碼系統(tǒng)；附圖3表示按照本發(fā)明原理的MDC/FGC編碼的系統(tǒng)的框圖；附圖4表示按照本發(fā)明原理發(fā)送MDC/FGS編碼圖像的第一種示范性處理的流程圖；附圖5表示按照本發(fā)明原理發(fā)送MDC/FGS編碼圖像的第二種示范性處理的流程圖；附圖6表示按照本發(fā)明原理發(fā)送MDC/FGS編碼圖像的第三種示范性處理的流程圖；附圖7表示按照本發(fā)明原理發(fā)送MDC/FGS編碼圖像的示范性系統(tǒng)；和附圖8表示按照本發(fā)明原理發(fā)送和接收MDC/FGS編碼圖像的示范性系統(tǒng)。
具體實(shí)施例方式
附圖1到8和包含在本文中的相應(yīng)的詳細(xì)說明將用作本發(fā)明的說明性實(shí)施方式，并且不應(yīng)理解為實(shí)踐本發(fā)明的僅有方式。應(yīng)當(dāng)理解，這些附圖的用途是說明本發(fā)明的概念，并且不是按比例給出的。應(yīng)當(dāng)意識到，相同的附圖標(biāo)記(在有必要的情況下可能會追加參考字符)通篇用于標(biāo)注相應(yīng)的部分。
附圖2表示按照本發(fā)明的原理使用MCD/FGS編碼對視頻圖像進(jìn)行編碼的示范性方法200。按照這種示范性方法，將視頻圖像110a、110b、110c劃分、分割或區(qū)分為分別包含稱為“奇數(shù)”的信息項(xiàng)的幀(表示為121、123、125)和分別包含稱為“偶數(shù)”的信息項(xiàng)的幀(表示為122、124、126)，如前文所述。應(yīng)當(dāng)意識到，奇數(shù)幀121和偶數(shù)幀122在組合時(shí)表示視頻圖像110a中的信息。包含在幀121、123、125中的“奇數(shù)”信息項(xiàng)是使用(例如，并且最好是)細(xì)粒比例(Fine GranularScaled)(FGS)編碼法獨(dú)立地進(jìn)行分層編碼的。FGS編碼在本領(lǐng)域中是公知的，并且在例如2001年9月18日授權(quán)的名為《可分級視頻編碼系統(tǒng)(Scalable Video Coding System)》的美國專利US6292512中進(jìn)行了詳細(xì)的披露。雖然，F(xiàn)GS編碼是較佳的，但是本領(lǐng)域的技術(shù)人員應(yīng)當(dāng)理解，也可使用其它的分層編碼方法。
將每個(gè)包含“奇數(shù)”信息項(xiàng)的幀，例如121，編碼成基本層131和增強(qiáng)層141?；緦?31代表圖像的最小數(shù)字表達(dá)并且包含足以滿足原始圖像通過網(wǎng)絡(luò)傳送時(shí)的最低質(zhì)量等級(即，最低分辨率)的信息。基本層131由I幀131a、P幀131b和B幀131c組成的，和公知的情況一樣。
通過包含與原始圖像和最小數(shù)字圖像之間的差異有關(guān)的信息(這些信息包含在相應(yīng)的I幀131a、P幀131b和B幀131c中)，增強(qiáng)層141包含用來改善所傳送的圖像信息的質(zhì)量的信息。包含在增強(qiáng)層141中的編碼信息項(xiàng)可以與基本層信息一起進(jìn)行發(fā)送，以根據(jù)可用網(wǎng)絡(luò)帶寬和基本層帶寬之間的總剩余帶寬來改善相應(yīng)的基本層131幀131a、131b和/或131c的圖像質(zhì)量。因此，只有占用剩余帶寬的那部分相應(yīng)增強(qiáng)層可以發(fā)送出去。包含在各幀中的稱為“偶數(shù)”的信息項(xiàng)，例如122，也類似地FGS編碼成基本層132和增強(qiáng)層142，并且類似地進(jìn)行傳送。
附圖3表示按照本發(fā)明原理的用于MDC/FGS編碼的系統(tǒng)300的框圖。在這個(gè)所示的例子中，將視頻圖像110a、110b和110c提供給幀指示器310，該幀指示器310確定或識別是否正在對信息項(xiàng)的奇數(shù)幀或偶數(shù)幀進(jìn)行處理。接著將奇數(shù)幀信息提供給傳統(tǒng)的FGS編碼器320a，該編碼器使用公知的FGS編碼方法對奇數(shù)幀信息進(jìn)行FGS編碼。類似地，在這種所示的情況下，將偶數(shù)幀信息提供給第二傳統(tǒng)FGS編碼器320b，該編碼器使用同樣的公知FGS編碼方法對偶數(shù)幀信息進(jìn)行FGS編碼。
然后根據(jù)該幀是指示或標(biāo)識為奇數(shù)幀還是偶數(shù)幀，將FGS編碼幀信息存儲到存儲介質(zhì)320a、320b上。速率控制器340然后可以獨(dú)立地訪問存儲介質(zhì)330a、330b，以通過至少一個(gè)傳輸信道350a、350b輸出所訪問的數(shù)據(jù)。應(yīng)當(dāng)意識到，同一傳輸信道可以用于傳送各個(gè)基本層。
雖然沒有示出，但是應(yīng)當(dāng)意識到，系統(tǒng)300可以僅僅包括單獨(dú)一個(gè)FGS編碼器，該編碼器可以對奇數(shù)幀和偶數(shù)幀信息項(xiàng)獨(dú)立地進(jìn)行編碼。按照這種實(shí)施方式，F(xiàn)GS編碼器識別正在處理的是奇數(shù)幀還是偶數(shù)幀，并且將該信息項(xiàng)應(yīng)用于下一個(gè)相應(yīng)的奇數(shù)或偶數(shù)幀，以產(chǎn)生預(yù)測P或B幀和相應(yīng)的增強(qiáng)層幀。單獨(dú)一個(gè)編碼器的處理維持奇數(shù)和偶數(shù)幀處理之間的區(qū)分，以確保正確地進(jìn)行預(yù)測P和B幀的確定。奇數(shù)和偶數(shù)幀信息項(xiàng)的這一區(qū)分可以借助由指示器單元310放置在數(shù)據(jù)中的標(biāo)識符“標(biāo)記”或“標(biāo)簽”來進(jìn)行。
按照本發(fā)明的另一方面(未示出)，編碼的奇數(shù)和偶數(shù)幀信息可以連續(xù)地保存在存儲介質(zhì)上。然后速率控制器340可以訪問單獨(dú)一個(gè)存儲介質(zhì)并且根據(jù)幀標(biāo)識符——標(biāo)記或標(biāo)簽進(jìn)行判斷，通過至少一個(gè)選定的通信信道將所訪問的信息項(xiàng)發(fā)送出去。
附圖4表示按照本發(fā)明的一個(gè)方面的示范性傳輸處理500的流程圖。在這個(gè)示范性處理中，在塊510中，選擇第一信道來傳送奇數(shù)幀信息，并且在塊515中，選擇第二信道來傳送偶數(shù)幀信息。
在塊520中，確定第一選定信道上的可用帶寬。在塊525中，判斷所述可用帶寬是否大于最小帶寬。如果結(jié)果是肯定的，則在塊530中選擇與信息的第一/下一個(gè)奇數(shù)幀相關(guān)的基本層131的幀，并且在塊535中通過所選擇的第一信道發(fā)送出去。在塊540中，確定與所選定的奇數(shù)幀相關(guān)并且與大于最小帶寬的可用帶寬(即，剩余帶寬)相應(yīng)的一種等級的增強(qiáng)層141。在塊545中，將確定等級的增強(qiáng)層141通過所選定的第一信道發(fā)送出去。然后在塊560中繼續(xù)對FGS編碼信息項(xiàng)的偶數(shù)幀進(jìn)行基本相同的操作。
不過，如果在塊525中判斷結(jié)果是否定的，那么在塊550中選取與第一/下一個(gè)奇數(shù)幀相關(guān)的基本層131的幀，然后在塊555中通過所選的第一信道該基本層131的幀發(fā)送出去。
應(yīng)當(dāng)意識到，在塊560中，對于包含在偶數(shù)幀中的信息，通過選定的第二信道，基本上同時(shí)地或連續(xù)地進(jìn)行了同樣的處理。
然后處理過程繼續(xù)進(jìn)行到塊520，以處理下一個(gè)奇數(shù)和/或偶數(shù)幀中的信息。
按照本發(fā)明的這一方面，根據(jù)兩個(gè)選定信道的可用帶寬，采用視頻流來傳送信息。在接收系統(tǒng)接收單獨(dú)一個(gè)信道上的信息的情況下，視頻圖像是以幀速率的一半進(jìn)行重構(gòu)的。不過，隨著信號接收信道帶寬的變化，F(xiàn)GS編碼信息將會動態(tài)地實(shí)現(xiàn)更高的接收圖像分辨率。
按照本發(fā)明的另一個(gè)方面(未示出)，應(yīng)當(dāng)意識到，處理過程可以繼續(xù)進(jìn)行到塊510而不是塊520。按照這一方面，針對各個(gè)所要傳送的幀，可以動態(tài)地選取新的第一和第二信道。
附圖5表示按照本發(fā)明原理的第二種示范性傳輸處理600的流程圖。在這一示范性處理中，第一信道是在塊610中選取的，而第二信道是在塊615中選取的。在塊620中，選取第一/下一個(gè)奇數(shù)幀，來在塊625中通過所選取的第一和第二信道進(jìn)行傳輸。在塊630中，判斷第一選定信道上的可用帶寬是否大于最小帶寬。如果結(jié)果是肯定的，則在塊635中，選擇與大于最小帶寬的可用帶寬(即，剩余帶寬)相應(yīng)的并且與所選定的奇數(shù)幀相關(guān)的一種等級的增強(qiáng)層141，并且在塊640中通過所選的第一信道將其發(fā)送出去。然后處理過程繼續(xù)進(jìn)行到塊655。
不過，如果塊630中的判斷結(jié)果是否定的，則在塊645中選取與第一/下一個(gè)偶數(shù)幀相關(guān)的基本層142的幀，并且在塊650中通過所選的第一信道和第二信道將其發(fā)送出去。
在塊655中，判斷第二選定信道的可用帶寬是否大于最小帶寬。如果結(jié)果是肯定的，則確定與所判定的大于最小帶寬的可用帶寬相應(yīng)的并且與所選定的偶數(shù)幀相關(guān)的一種等級的增強(qiáng)層142，并且在塊670中，通過所選的第二信道將其發(fā)送出去。
然后處理過程繼續(xù)進(jìn)行到塊620，以選擇下一個(gè)/后續(xù)的奇數(shù)幀來進(jìn)行處理。按照本發(fā)明的另一個(gè)方面(未示出)，應(yīng)當(dāng)意識到，處理過程可以繼續(xù)進(jìn)行到塊610而不是塊620。按照這一方面，針對各個(gè)所要傳送的幀，可以動態(tài)地選取新的第一和第二信道。
附圖6表示按照本發(fā)明原理的第三種示范性傳輸處理700的流程圖。在這一示范性處理中，第一信道是在塊710中選取的，而第二信道是在塊715中選取的。在塊720中，選取與信息的第一/下一個(gè)奇數(shù)幀相關(guān)的基本層131的幀，來在塊725中通過所選取的第一信道進(jìn)行傳輸。在塊730中，判斷第一選定信道上的可用帶寬是否大于最小帶寬。如果結(jié)果是肯定的，則在塊735中，選擇與大于最小帶寬的可用帶寬相應(yīng)的并且與所選定的奇數(shù)幀相關(guān)的一種等級的增強(qiáng)層141，并且在塊740中通過所選的第一信道將其發(fā)送出去。
不過，如果塊730中的判斷結(jié)果是否定的，則在塊745中選取與信息的第一/下一個(gè)偶數(shù)幀相關(guān)的基本層142的幀，并且在塊750中通過所選的第一信道和第二信道將其發(fā)送出去。
在塊755中，判斷第二選定信道的可用帶寬是否大于最小帶寬。如果結(jié)果是肯定的，則在塊760中確定與所判定的大于最小帶寬的可用帶寬相應(yīng)的并且與所選定的偶數(shù)幀相關(guān)的一種等級的增強(qiáng)層142，并且在塊770中，通過所選的第二信道將其發(fā)送出去。
然后處理過程繼續(xù)進(jìn)行到塊720，以選擇下一個(gè)/后續(xù)的奇數(shù)幀來進(jìn)行處理。按照本發(fā)明的另一個(gè)方面(未示出)，應(yīng)當(dāng)意識到，處理過程可以繼續(xù)進(jìn)行到塊710而不是塊720。按照這一方面，針對各個(gè)所要傳送的幀，可以動態(tài)地選取新的第一和第二信道。
附圖7表示可以用來實(shí)現(xiàn)本發(fā)明原理的系統(tǒng)800的示范性實(shí)施方式。系統(tǒng)800可以代表桌上型、膝上型或掌上型計(jì)算機(jī)、個(gè)人數(shù)字助理(PDA)、諸如磁帶錄像機(jī)(VCR)、數(shù)字錄像機(jī)(DVR)之類的視頻/圖像存儲設(shè)備、TiVO設(shè)備等等，以及這些和其它裝置的部分或組合。系統(tǒng)800可以包含一個(gè)或多個(gè)輸入/輸出裝置802、處理器803和存儲器804，該系統(tǒng)800可以訪問一個(gè)或多個(gè)源801，所述源801包含視頻圖像的FGS編碼結(jié)構(gòu)。源801可以存儲在永久性或半永久性介質(zhì)中，比如電視接收機(jī)、VCR、RAM、ROM、硬盤驅(qū)動器、光盤驅(qū)動器或其它的視頻圖像存儲裝置。另外也可以通過一個(gè)或多個(gè)網(wǎng)絡(luò)連接對源801進(jìn)行訪問，以通過例如全球計(jì)算機(jī)通信網(wǎng)絡(luò)從一個(gè)服務(wù)器或多個(gè)服務(wù)器接收視頻信號，其中所述全球計(jì)算機(jī)通信網(wǎng)絡(luò)比如是因特網(wǎng)、廣域網(wǎng)、城域網(wǎng)、局域網(wǎng)、地面廣播網(wǎng)、有線網(wǎng)、衛(wèi)星網(wǎng)、無線網(wǎng)或電話網(wǎng)，以及這些和其它類型的網(wǎng)絡(luò)的部分或組合。
輸入/輸出裝置802、處理器803和存儲器804可以通過通信媒介806進(jìn)行通信。通信媒介806可以代表，例如，總線、通信網(wǎng)、電路、電路卡或其它設(shè)備的一個(gè)或多個(gè)內(nèi)部連接，以及這些和其它通信媒介的部分和組合。來自源801的輸入數(shù)據(jù)依據(jù)一個(gè)或多個(gè)軟件程序進(jìn)行處理，這些程序可以存儲在存儲器804中并且由處理器803運(yùn)行，以便向網(wǎng)絡(luò)820供應(yīng)FGS編碼視頻圖像，這些圖像可以由裝置825接收，該裝置825比如是接收系統(tǒng)或顯示系統(tǒng)。處理器803可以是任何裝置，比如通用或?qū)Ｓ糜?jì)算系統(tǒng)、膝上型計(jì)算機(jī)、桌上型計(jì)算機(jī)、手持計(jì)算機(jī)，或者也可以是硬件結(jié)構(gòu)，比如專用邏輯電路、集成電路、可程控陣列邏輯(PAL)、特定用途集成電路(ASIC)等，它們響應(yīng)于已知的輸入給出已知的輸出。
按照優(yōu)選實(shí)施方式，采用本發(fā)明原理的編碼和解碼可以通過由處理器803運(yùn)行的計(jì)算機(jī)可讀代碼來實(shí)現(xiàn)。所述代碼可以存儲在存儲器804中或從諸如CD-ROM或軟盤之類的存儲介質(zhì)中讀取/下載。按照一個(gè)方面，存儲器804可以與存儲器803集成在一起，傳統(tǒng)上稱為高速緩沖存儲器。按照另一種實(shí)施方式，可以使用硬件電路來代替軟件指令或與軟件指令相結(jié)合，來實(shí)現(xiàn)本發(fā)明。例如，本文所介紹的元件也可以實(shí)現(xiàn)為分立的硬件元件。
而且，術(shù)語“計(jì)算機(jī)”或“計(jì)算機(jī)系統(tǒng)”可以表示與一個(gè)或多個(gè)存儲器單元和其它裝置進(jìn)行通信一個(gè)或多個(gè)處理單元，其它裝置例如外圍設(shè)備，與至少一個(gè)處理單元電連接并且與至少一個(gè)處理單元進(jìn)行通信。
附圖8表示利用本發(fā)明的典型的傳輸系統(tǒng)900。在發(fā)射機(jī)站點(diǎn)905，由視頻幀源910將視頻數(shù)據(jù)提供給視頻編碼單元920。視頻編碼單元920包括附圖3中所示的編碼器系統(tǒng)300的各部分。然后將視頻編碼數(shù)據(jù)存儲到編碼器緩沖區(qū)930中，以通過數(shù)據(jù)網(wǎng)絡(luò)940進(jìn)行傳輸。在接收系統(tǒng)905中，將所接收的數(shù)據(jù)幀存儲到解碼器緩沖器960中并且將這些數(shù)據(jù)提供給視頻解碼器970。視頻解碼器870與編碼器300類似，包括處理器和存儲器，處理器和存儲器可以運(yùn)行用于提取與所發(fā)送的信息有關(guān)的信息項(xiàng)的代碼，以對當(dāng)前的傳輸幀進(jìn)行解碼，并且合并或重新結(jié)合經(jīng)過解碼的接收圖像，以產(chǎn)生描述最初發(fā)送的圖像的圖像。然后可以將解碼重構(gòu)圖像展現(xiàn)在視頻顯示器980上。
雖然這里已經(jīng)展示、介紹和指出了本發(fā)明的基本新穎特征，但是應(yīng)當(dāng)理解，在不超出本發(fā)明的精神的情況下，本領(lǐng)域的技術(shù)人員可以對所介紹的發(fā)明，在所公開的方法和裝置的形式和細(xì)節(jié)上，以及它們的操作過程，進(jìn)行的各種不同的刪減、替換和改變。例如，雖然本說明書引用了與第一選定信道相關(guān)的信息項(xiàng)的奇數(shù)幀和信息項(xiàng)的偶數(shù)幀，但是本領(lǐng)域的技術(shù)人員實(shí)踐將信息的偶數(shù)幀與第一信道關(guān)聯(lián)起來而將信息的奇數(shù)幀與第二信道關(guān)聯(lián)起來也是處在本發(fā)明的范圍內(nèi)的。而且，應(yīng)當(dāng)理解，雖然只有對信息項(xiàng)的奇數(shù)和偶數(shù)幀進(jìn)行了圖解說明，但是將視頻圖像區(qū)分成代表，例如，行或列中的交替的奇數(shù)或偶數(shù)信息的多種信息項(xiàng)的幀也處于本領(lǐng)域技術(shù)人員的能力范圍之內(nèi)。類似地，雖然圖解說明了第一和第二信道，但是開發(fā)出使用多個(gè)信道并且通過多個(gè)信道發(fā)送信息的系統(tǒng)也是處在本領(lǐng)域技術(shù)人員的能力范圍之內(nèi)的。或者，還有，本領(lǐng)域的技術(shù)人員可以僅使用單獨(dú)一個(gè)信道并且通過選定的單一信道發(fā)送交替的奇數(shù)和偶數(shù)信息的幀。
雖然，所說明的信息項(xiàng)是從視頻圖像(例如，幀110a)中提取出來的，并且表示為物理上分開的幀121、122，但是在圖像中識別或“標(biāo)記”或“標(biāo)簽適當(dāng)?shù)男畔㈨?xiàng)，例如“奇數(shù)”和“偶數(shù)”行或列，并且將經(jīng)標(biāo)識的信息項(xiàng)保留在圖像之內(nèi)而不是如所介紹的那樣將圖像物理上分解，也是處于本領(lǐng)域的技術(shù)人員的能力范圍之內(nèi)的。而且，雖然在所解釋說明的實(shí)施方式中，信息項(xiàng)與“奇數(shù)”和“偶數(shù)”信息相關(guān)，但是應(yīng)當(dāng)可以意識到，信息項(xiàng)的標(biāo)識可以與圖像的各部分相關(guān)聯(lián)。例如，鄰接的行代表圖像的上半部分和下半部分?；蛘哙徑拥牧写韴D像的左半部分或右半部分。再有，圖像的識別可以基于代表原始圖像的四分之一或八分之一的鄰接行。
我們明確地期望，以基本相同的方式執(zhí)行基本相同的功能來達(dá)到基本相同的結(jié)果的元件的所有的組合方式都處于本發(fā)明的范圍之內(nèi)。從一種所介紹的實(shí)施方式到另一種實(shí)施方式的元件替換也是完全可以預(yù)料到和設(shè)想到的。
權(quán)利要求
1.一種提高視頻圖像在具有至少一個(gè)通信信道的網(wǎng)絡(luò)上的傳輸效率的方法，包括步驟將每個(gè)所述視頻圖像分割成多個(gè)信息項(xiàng)幀；利用分層編碼對每個(gè)所述信息項(xiàng)幀獨(dú)立地進(jìn)行編碼，其中將每個(gè)所述幀編碼成一個(gè)基本層和一個(gè)增強(qiáng)層；選擇所述至少一個(gè)通信信道至少之一；使每個(gè)所述基本層與所述選定的至少一個(gè)通信信道的至少之一相關(guān)聯(lián)；和通過所述相關(guān)聯(lián)的通信信道發(fā)送所述基本層。
2.按照權(quán)利要求1所述的方法，還包括步驟確定與每個(gè)所述選定的至少一個(gè)選定信道相關(guān)聯(lián)的帶寬；確定剩余帶寬大于相關(guān)聯(lián)的基本層帶寬；和通過相關(guān)的通信信道為每個(gè)所述信息項(xiàng)幀發(fā)送可與所述剩余帶寬比擬的一種等級的增強(qiáng)層。
3.按照權(quán)利要求1所述的方法，其中分割步驟包括下列步驟標(biāo)識所述圖像的已知區(qū)域。
4.按照權(quán)利要求3所述的方法，其中所述已知區(qū)域是從包括下列各部分的組中選擇的行、列、對角線、奇數(shù)行、偶數(shù)行、奇數(shù)列、偶數(shù)列、相間奇數(shù)行、相間偶數(shù)行、相間奇數(shù)列、相間偶數(shù)列、鄰接的多個(gè)行、鄰接的多個(gè)列。
5.按照權(quán)利要求1所述的方法，其中所述分層編碼是FGS編碼。
6.按照權(quán)利要求1所述的方法，其中每個(gè)所述基本層是與同樣選定的通信信道相關(guān)聯(lián)的。
7.一種提高視頻圖像在具有至少一個(gè)通信信道的網(wǎng)絡(luò)上的傳輸效率的系統(tǒng)，包括發(fā)射機(jī)，可進(jìn)行這樣的操作通過所述至少一個(gè)通信信道的至少之一發(fā)送信息項(xiàng)，所述發(fā)射機(jī)包含至少一個(gè)與存儲器進(jìn)行通信的處理器，可操作所述至少一個(gè)處理器執(zhí)行代碼，用于將每個(gè)所述視頻圖像分割成多個(gè)信息項(xiàng)幀；利用分層編碼對每個(gè)所述信息項(xiàng)幀進(jìn)行編碼，其中將每個(gè)所述信息項(xiàng)幀編碼成一個(gè)基本層和一個(gè)增強(qiáng)層；選擇所述至少一個(gè)通信信道的至少之一；使每個(gè)所述基本層與所述選定的至少一個(gè)通信信道的至少之一相關(guān)聯(lián)；和通過所述相關(guān)聯(lián)的通信信道發(fā)送所述基本層。
8.按照權(quán)利要求7所述的系統(tǒng)，其中所述處理器還可進(jìn)一步操作執(zhí)行代碼，用于確定與每個(gè)所述至少一個(gè)選定信道相關(guān)聯(lián)的帶寬；確定剩余帶寬大于相關(guān)聯(lián)的基本層帶寬；和通過所述相關(guān)聯(lián)的通信信道為每個(gè)所述幀發(fā)送可與所述剩余帶寬比擬的一種等級的增強(qiáng)層。
9.按照權(quán)利要求7所述的系統(tǒng)，其中分割處理包括下列步驟標(biāo)識所述圖像的已知區(qū)域。
10.按照權(quán)利要求9所述的系統(tǒng)，其中所述已知區(qū)域是從包括下列各部分的組中選擇的行、列、對角線、奇數(shù)行、偶數(shù)行、奇數(shù)列、偶數(shù)列、相間奇數(shù)行、相間偶數(shù)行、相間奇數(shù)列、相間偶數(shù)列、鄰接的多個(gè)行、鄰接的多個(gè)列。
11.按照權(quán)利要求7所述的系統(tǒng)，還包括接收機(jī)，可進(jìn)行用于接收通過所述至少一個(gè)通信信道的至少之一發(fā)送的編碼信息的操作，所述接收系統(tǒng)包含與接收存儲器進(jìn)行通信的處理器，可操作所述處理器執(zhí)行代碼，用于標(biāo)識所述接收信息；和將所述經(jīng)標(biāo)識的幀組織成視頻圖像。
12.按照權(quán)利要求11所述的系統(tǒng)，其中可操作所述處理器執(zhí)行代碼，用于顯示所述視頻圖像。
13.按照權(quán)利要求7所述的系統(tǒng)，其中所述代碼是存儲在所述接收存儲器中的。
14.按照權(quán)利要求11所述的系統(tǒng)，其中所述代碼是存儲在所述接收存儲器中的。
15.一種編碼單元，包括標(biāo)識單元，用于標(biāo)識視頻圖像的幀中的已知區(qū)域；至少一個(gè)FGS編碼單元，與所述標(biāo)識單元進(jìn)行通信，可進(jìn)行這樣的操作將經(jīng)標(biāo)識的已知區(qū)域編碼成一個(gè)基本層和一個(gè)增強(qiáng)層。
16.按照權(quán)利要求15所述的編碼單元，還包括至少一個(gè)存儲單元，用于存儲所述編碼的經(jīng)標(biāo)識的已知區(qū)域。
17.按照權(quán)利要求15所述的編碼單元，其中所述標(biāo)識單元包括處理器，與存儲器進(jìn)行通信，可操作所述處理器運(yùn)行用于標(biāo)識所述已知區(qū)域的代碼。
18.按照權(quán)利要求17所述的編碼單元，其中可操作所述處理器運(yùn)行用于為與所述已知區(qū)域相關(guān)聯(lián)的信息項(xiàng)加標(biāo)簽的代碼。
19.按照權(quán)利要求17所述的編碼單元，其中可操作所述處理器運(yùn)行用于隔離與所述已知區(qū)域相關(guān)聯(lián)的信息項(xiàng)的代碼。
20.按照權(quán)利要求17所述的編碼單元，其中所述代碼是包含在所述存儲器中的。
21.按照權(quán)利要求15所述的編碼單元，其中選擇所述至少一個(gè)FGS編碼單元中的編碼單元是與選擇經(jīng)標(biāo)識的已知區(qū)域相關(guān)聯(lián)的。
22.按照權(quán)利要求15所述的編碼單元，其中所述經(jīng)標(biāo)識的區(qū)域是獨(dú)立地進(jìn)行編碼的。
23.一種接收單元，與網(wǎng)絡(luò)進(jìn)行通信，所述接收單元可進(jìn)行這樣的操作接收通過所述網(wǎng)絡(luò)的至少一個(gè)信道發(fā)送的信息項(xiàng)，所述接收單元包括解碼單元，包括與存儲器進(jìn)行通信的處理器，可操作所述處理器執(zhí)行代碼，用于對所述接收到的信息項(xiàng)進(jìn)行解碼；通過所述視頻圖像的已知區(qū)域識別所述接收到的信息項(xiàng)；由與所述識別的已知區(qū)域相關(guān)聯(lián)的所述解碼信息項(xiàng)重構(gòu)所述視頻圖像。
24.按照權(quán)利要求23所述的接收機(jī)，其中所述代碼是存儲在所述存儲器中的。
25.按照權(quán)利要求23所述的接收機(jī)，還包括第二存儲器，用于存儲所述接收到的信息項(xiàng)。
26.按照權(quán)利要求23所述的接收機(jī)，還包括第三存儲器，用于存儲所述標(biāo)識的信息項(xiàng)。
27.按照權(quán)利要求23所述的接收機(jī)，還包括第四存儲器，用于存儲所述經(jīng)重構(gòu)的視頻圖像。
全文摘要
公開了一種用于使用MDC和細(xì)?？臻g編碼提高網(wǎng)絡(luò)傳輸效率的方法、系統(tǒng)和設(shè)備。按照本方法，將視頻圖像分割成多個(gè)信息項(xiàng)幀，將每個(gè)幀獨(dú)立地分層編碼成一個(gè)基本層和一個(gè)增強(qiáng)層，然后選擇通信信道中的至少一個(gè)信道，使每個(gè)基本層與所選定的通信信道之一相關(guān)聯(lián)，并且通過相關(guān)聯(lián)的通信信道發(fā)送各個(gè)基本層。按照另一個(gè)方面，確定各個(gè)相關(guān)聯(lián)的信道上的剩余帶寬，并且通過相關(guān)聯(lián)的信道發(fā)送可與剩余帶寬相比擬的一種等級的相關(guān)增強(qiáng)層。
文檔編號H04N7/26GK1689334SQ03823728
公開日2005年10月26日 申請日期2003年9月22日 優(yōu)先權(quán)日2002年10月4日
發(fā)明者M·范德沙爾 申請人:皇家飛利浦電子股份有限公司