專利名稱：用于快速信道改變和增加的容錯性的可縮放視頻編碼方法
技術領域：
本發(fā)明一般性地涉及通信系統(tǒng)，所述通信系統(tǒng)例如為諸如地面廣播、蜂窩、無線保 真(Wi-Fi)、衛(wèi)星等之類的有線和無線通信系統(tǒng)。
背景技術：
在通過諸如無線網(wǎng)絡之類的易出錯的通信信道遞送壓縮視頻比特流時，比特流的 某些部分可能損壞或丟失。在這樣的錯誤比特流抵達接收器并且被視頻解碼器解碼時，回 放質量可能受到嚴重影響。源容錯(error resiliency)編碼是用于處理該問題的技術。在視頻廣播/多播系統(tǒng)中，一個壓縮視頻比特流通常在指定的時間段(經常被稱 作會話(session))中被同時遞送至一組用戶。由于視頻編碼的預測性質，對比特流的隨機 存取只在比特流內部的某些隨機存取點處可用，使得從這些隨機存取點開始才可能進行正 確地解碼。因為隨機存取點一般具有較低的壓縮效率，所以比特流內只存在有限數(shù)目的這 樣的點。作為結果，在用戶將其接收器調諧至信道并加入會話時，他必須等待所接收的比特 流中的下一可用的隨機存取點以便開始正確的解碼，這導致視頻內容的回放中的延遲。這 樣的延遲被稱作調諧(time-in)延遲，并且它是影響系統(tǒng)的用戶體驗的重要因素。在視頻遞送系統(tǒng)中，若干壓縮視頻比特流經常被遞送至共享公用傳輸介質的終端 用戶，其中每個視頻比特流對應于節(jié)目信道。與前述情況相似，在用戶從一個信道切換至另 一信道時，他必須等待來自該信道的所接收的比特流中的下一可用的隨機存取點，以便正 確地開始解碼。這樣的延遲被稱作信道改變延遲，并且是影響這樣的系統(tǒng)中的用戶體驗的 另一重要因素。插入的隨機存取點的優(yōu)勢為從視頻編碼的觀點來看，改善壓縮視頻比特流的容 錯性。例如，被周期性地插入至比特流中的隨機存取點重置解碼器并且完全停止錯誤傳播 (propagation)，這改善比特流對于錯誤的魯棒性。例如，考慮H. 264/AVC 視頻壓縮標準(例如，參見 ITU-T RecommendationH. 264 "Advanced video coding for generic audiovisual services，，，ISO/ IEC14496-10(2005) "Information Technology-Coding of audio-visual objects PartlO Advanced Video Coding”)，可以通過包括IDR(瞬時解碼器刷新)碼片、幀內編碼 宏塊(MB)和SI (切換I)碼片的編碼方法來實施隨機存取點(也被稱作切換使能點)。對于IDR碼片來說，IDR碼片僅包含幀內編碼的MB，對于正確解碼，所述幀內編碼 MB不依賴于任何之前的碼片。IDR碼片還在解碼器處重置解碼畫面緩沖器，以使得之后的 碼片的解碼不依賴于IDR碼片之前的任何碼片。因為在IDR碼片之后正確的解碼立即可用， 所以它也被稱作瞬時隨機存取點。相比之下，可以基于幀內編碼的MB實現(xiàn)漸進(gradual) 隨機存取操作。對于數(shù)個連續(xù)的預測畫面來說，系統(tǒng)地(methodically)編碼幀內編碼的MB,以使得在解碼這些畫面之后，之后的畫面中的每個MB具有畫面之一中的幀內編碼的同 位對等體(co-located counterpart)。因此，畫面的解碼不依賴于該組畫面之前的任何其 他碼片。相似地，SI碼片使得通過在比特流中嵌入該類型的特殊編碼碼片而能夠在不同的 比特流之間切換。不幸的是，在H.264/AVC中，IDR碼片或SI碼片的共同的劣勢是編碼效 率的損失。通常，必須付出顯著量的比特率開銷以嵌入切換點。 相似地，隨機存取點也被用于可縮放視頻編碼(SVC)。在SVC中，依賴表示 (representation)可以由數(shù)個層表示組成，并且存取單元由對應于一個幀號的全部依賴表 示組成(例如，參見 Y-K. ffang,M. Hannuksela, S. Pateux,A. Eleftheriadis, and S. Wenger, "System and transport interface of SVC", IEEETrans. Circuits and Systems for Video Technology, vol. 17，no. 9,2007 年 9 月，第 1149-1163 頁；和 H. Schwarz, D· Marpe and Τ. ffiegand,"Overview of thescalable video coding extension of the H. 264/AVC standard", IEEE Trans. Circuits and Systems for Video Technology, vol.17, no. 9, 2007 年 9 月，第 1103-1120 頁)。用于SVC的嵌入隨機存取點的普遍方法是完全使用IDR碼片來編碼存取單元。換 言之，存取單元的每個依賴表示(D)中的全部層表示以IDR碼片編碼。圖1中示出了示例。 圖1的SVC編碼信號具有兩個依賴表示，并且每個依賴表示具有一個層表示。具體地，基本 層與D = 0相關聯(lián)，而增強層與D = 1相關聯(lián)(“D”的值在本領域中也被稱作“cbpendency_ id”)。圖1圖示了在SVC信號的幀中出現(xiàn)的九個存取單元。如虛框10所示，存取單元1包 括用于第一層(D = 1)的IDR碼片和用于基本層(D = 0)的IDR碼片。之后的存取單元包 括兩個預測⑵碼片?？梢詮膱D1中觀察到，存取單元1、5和9只包括IDR碼片。這樣，可 以在這些存取單元出現(xiàn)隨機存取。但是，像H. 264/AVC的情況那樣，利用IDR碼片編碼的每 個存取單元降低SVC編碼效率。

發(fā)明內容
根據(jù)本發(fā)明的原理，一種發(fā)送視頻信號的方法包括對信號進行可縮放視頻編碼 以提供包括多個可縮放層的視頻編碼信號，其中可縮放層之一被選擇為具有比其他可縮放 層更多的隨機存取點；以及發(fā)送該可縮放視頻編碼信號。作為結果，視頻編碼器可以通過在 壓縮的視頻比特流內嵌入附加的切換使能點來減少接收器中的調諧延遲和信道改變延遲。在本發(fā)明的例示性實施例中，SVC信號包括基本層和增強層，并且基本層被選擇為 具有比增強層更多的隨機存取點。鑒于以上，如將從閱讀具體實施方式
而變得明顯的那樣，其他實施例和特征也是 可能的，并且落入本發(fā)明的原理內。


圖1示出了具有瞬時解碼器刷新(IDR)碼片的現(xiàn)有技術的可縮放視頻編碼(SVC)
信號；圖2示出了根據(jù)本發(fā)明的原理的、用于SVC編碼的例示性流程圖；圖3示出了根據(jù)本發(fā)明的原理的裝置的例示性實施例；圖4示出了根據(jù)本發(fā)明的原理的例示性SVC信號；
圖5示出了根據(jù)本發(fā)明的原理的另一例示性流程圖；以及圖6示出了根據(jù)本發(fā)明的原理的另一例示性裝置；
具體實施例方式除了發(fā)明構思之外，圖中所示的元件是眾所周知的，并且不將被詳細描述。例如， 除了發(fā)明構思之外，假定對離散多音調(DMT)傳輸(也被稱作正交頻分復用(OFDM)或編碼 正交頻分復用(COFDM))的熟悉，并且不在這里進行描述。并且，假定對電視廣播、接收器和 視頻編碼的熟悉，并且不在這里詳細描述。例如，除發(fā)明構思之外，假定對諸如NTSC(國家 電視制式委員會)、PAL(逐行倒相制)、SECAM(順序傳送彩色與記憶制)和ATSC(高級電視 制式委員會)(ATSC)、中國數(shù)字電視系統(tǒng)(GB) 20600-2006和DVB-H之類的TV標準的當前的 和所提出的推薦的熟悉。類似地，除了發(fā)明構思之外，假定對諸如八級殘余邊帶(8-VSB)、 正交幅度調制(QAM)之類的其他傳輸概念、以及諸如射頻(RF)前端(諸如低噪聲塊、調諧 器、下變換器等)、解調器、相關器、漏泄積分器和平方器之類的接收器組件的熟悉。進一步 地，除了發(fā)明構思之外，假定對諸如通過單向傳輸?shù)奈募f送(FLUTE)協(xié)議、異步分層的編 碼(ALC)協(xié)議、因特網(wǎng)協(xié)議(IP)、因特網(wǎng)協(xié)議封裝器(IPE)之類的協(xié)議的熟悉，并且不在這 里進行描述。相似地，除發(fā)明構思之外，用于生成傳輸比特流的格式化和編碼方法(諸如運 動畫面專家組(MPEG)-2系統(tǒng)標準(IS0/IEC 13818-1)和上述SVC)是眾所周知的，并且不 在這里進行描述。還應當注意，可以使用傳統(tǒng)的編程技術(同樣，在這里將不描述)來實施 發(fā)明構思。最后，圖上的相似標號表示相似的元件。如前所述，在接收器初始啟動時、或甚至在信道改變期間、或甚至在僅僅在相同信 道內改變服務的情況中，接收器在能夠處理任何所接收的數(shù)據(jù)之前可能必須另外等待所需 的初始化數(shù)據(jù)。作為結果，用戶在能夠存取服務或節(jié)目之前必須等待附加量的時間。在SVC中，SVC信號具有數(shù)個依賴(空間)層，其中每個依賴層由具有相同的 dependency_id值的SVC信號的一個或更多的可縮放層組成?；緦颖硎疽曨l信號的最小 分辨率等級。其他層表示視頻信號的增加的分辨率層。例如，如果SVC信號包括三個層，則 存在基本層、層1和層2。每個層與不同的d印endencyjd值相關聯(lián)。接收器可以正好處理 (a)基本層，(b)基本層和層1或者(c)基本層、層1和層2。例如，可以由只支持基本信號 的分辨率的設備接收SVC信號，并且，同樣，該類型的設備可以簡單地忽略所接收的SVC信 號的其他兩層。相反地，對于支持最高分辨率的設備來說，則該類型的設備可以處理所接收 的SVC信號的全部三層。在SVC中，對每層獨立地進行IDR畫面的編碼，這樣，根據(jù)本發(fā)明的原理，用于發(fā)送 視頻信號的方法包括對信號進行可縮放視頻編碼以提供包括多個可縮放層的視頻編碼信 號，其中可縮放層之一被選擇為具有比其他可縮放層更多的隨機存取點；以及發(fā)送該可縮 放視頻編碼信號。因而，當在目標依賴層中編碼更多的IDR碼片時，視頻編碼器可以減少接 收器中的調諧延遲和信道改變延遲。在本發(fā)明的例示性實施例中，SVC信號包括基本層和增強層，并且基本層被選擇為 具有比增強層更多的隨機存取點。雖然在將基本層選擇為具有更多隨機存取點的環(huán)境中例 示本發(fā)明構思，但本發(fā)明構思不限于此，并且可以替代地選擇另一可縮放層。圖2中示出了根據(jù)本發(fā)明的原理的例示性流程圖。還應當將注意力短暫地轉向圖3，圖3圖示根據(jù)本發(fā)明的原理的用于編碼視頻信號的例示性裝置200。只示出了與發(fā)明構 思相關的那些部分。裝置200是基于處理器的系統(tǒng)，并且包括如在圖3中以虛框的形式示 出的處理器240和存儲器245所表示的一個或更多的處理器以及相關聯(lián)的存儲器。在該環(huán) 境中，在存儲器245中存儲由處理器240執(zhí)行的并且例如實施SVC編碼器205的計算機程 序或軟件。處理器240表示一個或更多的存儲程序控制處理器，并且這些處理器不一定是 專用于發(fā)送器功能的，例如處理器240還可以控制發(fā)送器的其他功能。存儲器245表示任 何存儲設備，例如隨機存取存儲器(RAM)、只讀存儲器(ROM)等；所述存儲器可以是發(fā)送器 內部的和/或外部的，并且根據(jù)需要可以是易失性的和/或非易失性的。 裝置200包括SVC編碼器205和調制器210。視頻信號204被施加于SVC編碼器 205。后者根據(jù)本發(fā)明的原理編碼視頻信號204，并且向調制器210提供SVC信號206。調制 器210提供調制的信號211以經由上變換器和天線(二者都未在圖3中示出)進行發(fā)送?，F(xiàn)在返回至圖2，在步驟105中，圖3的處理器240將視頻信號204編碼為包括基 本層和至少一個其他層的SVC信號206。具體地，在步驟110中，處理器240控制圖3的SVC 編碼器205 (例如經由圖3中以虛線形式示出的信號207)，以使得在基本層中比在SVC信號 206的任何其他層更頻繁地插入IDR碼片。具體地，就像指定編碼樣式IBBP或IPPP那樣， 向SVC編碼器205應用在不同的空間層指定不同的IDR間隔的編碼參數(shù)。在步驟115中， 圖3的調制器210發(fā)送SVC信號。現(xiàn)在參考圖4，示出了根據(jù)圖2的流程圖的由圖3的SVC編碼器205形成的例示性 SVC信號206。在該例子中，SVC信號206包括兩個層基本層(D = 0)和增強層(D = 1)。 如可以從圖4中觀察到的那樣，基本層在存取單元1、4、7和9中具有IDR碼片，而增強層只 在存取單元1和9中具有IDR碼片。這樣，在如箭頭301所圖示的、接收設備在時刻T。處改 變?yōu)?或第一次調諧為)傳送SVC信號206的信道時，該接收設備在能夠開始解碼SVC信 號206的基本層并且向用戶提供減少的分辨率的視頻畫面之前僅僅必須等待由箭頭302所 表示的時間Tw。因而，接收器可以通過立即解碼具有更多隨機存取點的基本層視頻編碼信 號來減少調諧延遲和信道改變延遲。如可以從圖4中進一步觀察到的那樣，接收器在能夠 解碼增強層并且向用戶提供更高分辨率的視頻畫面之前必須等待由箭頭303所表示的時 間Td。在與圖1中所示的例子(其中兩層都具有相同的IDR頻率)比較時，本發(fā)明構思提 供了在僅僅有限的性能損失的情況下以較低的比特率實現(xiàn)相同的一組功能改善的能力。在 基本層只占用比特流的總的比特率的一小部分時，尤其是這樣的。例如，對于作為基本層(D =0)的通用中間格式(CIF) (372X288)分辨率和作為增強層(D = 1)的標準清晰度(SD) (720X480)分辨率，基本層僅占總的比特率的小的百分比(例如大約25%)。因此，與只在 增強層增加IDR頻率、或在兩層都增加IDR頻率相比，通過增加CIF分辨率處的IDR頻率， 比特率開銷小得多。在SVC中，由于增強層具有的對基本層的層間預測依賴，可以減輕在初始目標依 賴表示時段期間的性能損失。例如，如上所述，在圖4中，在信道改變或調諧出現(xiàn)在編號3的 存取單元時，解碼器可以僅僅正確地解碼基本層比特流，直至編號9的存取單元。但是，解 碼器可以利用在對應的增強層存取單元中所包含的信息以幫助按增強層質量來重構視頻。應當注意，在SVC標準中指定了單回路解碼以便減少解碼復雜度。為了使得能夠進行單回路解碼，解碼器采用約束的層間預測以使得只允許對增強層宏塊(MB)使用層間 幀內預測，對于其同位參考層信號被幀內編碼。為了避免在構建參考層的幀內編碼MB時重 構任何幀間編碼MB，進一步要求使用約束的幀內預測來編碼用于較高層的層間預測的全部
層。 根據(jù)本發(fā)明的原理，IDR畫面的增加增加了基本層中的幀內編碼MB的數(shù)目。在有 益的情況中，可以強迫利用約束的幀內預測來編碼基本層IDR畫面中的幀內編碼MB。結果， 增強層可以具有更多的來自基本層的用于層間幀內預測的幀內編碼MB，這將潛在地改善其 編碼效率。并且，基本層處的這樣編碼的IDR畫面越多，可以在增強層處獲得越高的編碼效 率。所述獲得可以彌補(offset)在基本層處編碼的額外IDR畫面引起的比特率增加。現(xiàn)在參考圖5，示出了根據(jù)本發(fā)明的原理的用于接收SVC信號的例示性裝置。只示 出了與發(fā)明構思相關的那些部分。裝置350接收如接收信號311所表示的、傳送根據(jù)本發(fā) 明的原理的SVC信號的信號(例如接收的由圖3的裝置200所發(fā)送的信號的版本)。裝置 350例如表示蜂窩電話、移動TV、機頂盒、數(shù)字TV(DTV)等。裝置350包括接收器355、處理 器360和存儲器365。這樣，裝置350為基于處理器的系統(tǒng)。接收器355表示用于調諧到傳 送SVC信號的信道的前端和解調器。接收器355接收信號311并從其中恢復信號356，所 述信號356被處理器360處理，即處理器360執(zhí)行SVC解碼。例如，根據(jù)圖6中所示的流程 圖，為了根據(jù)本發(fā)明的原理的信道切換和信道調諧，處理器360經由路徑366向存儲器365 提供解碼的視頻。解碼的視頻被存儲在存儲器365中以應用于顯示器(未示出)，所述顯示 器可以是裝置350的一部分或與裝置350分離?，F(xiàn)在轉向圖6，示出了根據(jù)本發(fā)明的原理的、用于裝置350的例示性流程圖。在切 換信道或調諧到信道時，處理器360將解碼設置為初始目標依賴層。在該例子中，在步驟 405中這由所接收的SVC信號的基本層表示。但是，發(fā)明構思不限于此，并且可以將其他依 賴層指定為“初始目標層”，只要它們具有比其他依賴層更多的隨機存取點。在步驟410中， 處理器360從所接收的存取單元接收基本層幀(在本領域中也被稱作接收的SVC網(wǎng)絡抽象 層(NAL)單元)并且在415中檢查所接收的基本層幀是否是IDR碼片。如果它不是IDR碼 片，則處理器360返回至步驟410以接收下一基本層幀。但是，如果所接收的基本層幀是IDR 碼片，則處理器360開始SVC基本層的解碼，以提供雖然處于減少的分辨率的視頻信號。然 后，在步驟425中，處理器360從所接收的存取單元接收增強層幀，并且在步驟430中檢查 所接收的增強層幀是否是IDR碼片。如果它不是IDR碼片，則處理器360返回至步驟425， 以接收下一增強層幀。但是，如果所接收的增強層幀是IDR碼片，則處理器360在步驟435 中開始SVC增強層的解碼，以提供處于高分辨率的視頻信號。換言之，當在具有大于當前解 碼層的cbpendencyjd值的cbpendencyjd值的依賴層中檢測到IDR碼片時，接收器利用 檢測到的IDR碼片解碼該依賴層中的編碼視頻。否則，接收器繼續(xù)解碼當前依賴層。應當 注意，即使沒有來自基本層的IDR，來自增強層的IDR也足夠開始該增強層的解碼。應當注意，圖6的流程圖表示由裝置350處理的上層。例如，一旦已經在步驟420 中開始基本層的解碼，即使處理器350還在步驟425和430中檢查增強層中的IDR碼片，處 理器350仍繼續(xù)基本層的解碼。同樣地，即使在步驟415中檢查基本層中的IDR碼片并且 然后在步驟430中檢查增強層中的IDR碼片，如果例如信道改變或調諧出現(xiàn)在由圖4的箭 頭309表示的時間(在該情況中下一存取單元9具有兩層中的IDR碼片)，則它們可以來自相同的存取單元。最后，雖然在基本層和單個增強層的環(huán)境中例示了圖6的流程圖，但可以 容易地將圖6的流程圖擴展至多于一個增強層。 如上所述，并且根據(jù)本發(fā)明的原理，描述了一種用于可縮放視頻編碼的畫面類 型配置的方法。該發(fā)明構思改善了由MPEG-SVC(例如參見ITU-TRecommendation H. 264 Amendment 3 "Advanced video coding for genericaudiovisual services :Scalable Video Coding”)生成的壓縮比特流的容錯性。進一步地，在前述系統(tǒng)遞送根據(jù)本發(fā)明的原 理編碼的這樣的比特流時，可以減少調諧延遲和信道改變延遲。應當注意，雖然在兩層空間 可縮放SVC比特流的環(huán)境中描述了該發(fā)明構思，但該發(fā)明構思不限于此，并且可以被應用 至多個可縮放層以及在SVC標準中所指定的SNR(信噪比)可縮放性。鑒于以上，前面僅僅例示了本發(fā)明的原理，并且因而將理解，本領域技術人員將能 夠設計出雖然未在這里進行明顯的描述、但體現(xiàn)了本發(fā)明的原理，并在其精神和范圍之中 的許多替代安排。例如，雖然在分離的功能元件的環(huán)境中進行例示，但可以在一個或更多的 集成電路(IC)中體現(xiàn)這些功能元件。相似地，雖然被作為分離的元件示出，但可以在執(zhí)行 相關聯(lián)的軟件(例如對應于在例如圖2和6等中示出的一個或更多步驟)的存儲程序控制 的處理器(例如數(shù)字信號處理器)中實施所述元件中的任何或全部。進一步地，本發(fā)明的 原理可應用于其他類型的通信系統(tǒng)，例如衛(wèi)星、無線保真(Wi-Fi)、蜂窩等。實際上，本發(fā)明 構思還可應用于固定或移動接收機。因此應理解，可以對例示性實施例進行許多修改，并且 可以設計其他安排，而不脫離由權利要求限定的本發(fā)明的精神和范圍。
權利要求
一種發(fā)送視頻信號的方法，其包括對信號進行可縮放視頻編碼以提供包括多個可縮放層的視頻編碼信號，其中所述可縮放層之一被選擇為具有比其他可縮放層更多的隨機存取點；以及發(fā)送該可縮放視頻編碼信號。
2.根據(jù)權利要求1所述的方法，其中所選擇的可縮放層是視頻編碼信號的基本層。
3.一種在執(zhí)行信道改變或調諧到信道的裝置中使用的方法，該方法包括 接收包括多個可縮放層的可縮放視頻編碼信號；將解碼設置為具有更多隨機存取點的那個依賴層，其中該依賴層為當前解碼層； 從來自具有更多隨機存取點的可縮放層的幀中檢查瞬時解碼器刷新碼片； 當在具有更多隨機存取點的可縮放層中檢測到瞬時解碼器刷新碼片時，解碼所述具有 更多隨機存取點的可縮放層中的編碼視頻；從來自其他可縮放層的幀中檢查瞬時解碼器刷新碼片；以及當在具有大于當前解碼層的cbpendencyjd值的cbpendencyjd值的依賴層中檢測到 瞬時解碼器刷新碼片時，解碼該依賴層中的編碼視頻。
4.根據(jù)權利要求3所述的方法，其中所述具有更多隨機存取點的可縮放層為可縮放視 頻編碼信號的基本層。
5.一種裝置，其包括可縮放視頻編碼器，用于提供包括多個可縮放層的視頻編碼信號，其中所述可縮放層 之一被選擇為具有比其他可縮放層更多的隨機存取點；以及 調制器，用于發(fā)送該視頻編碼信號。
6.根據(jù)權利要求5所述的裝置，其中所選擇的可縮放層為視頻編碼信號的基本層。
7.一種裝置，其包括接收器，用于提供來自信道的可縮放視頻編碼信號，所述可縮放視頻編碼信號包括多 個可縮放層，其中所述可縮放層之一被選擇為具有比其他可縮放層更多的隨機存取點；以 及處理器，用于在改變?yōu)樵撔诺阑蛘{諧到該信道時解碼被選擇為具有更多隨機存取點的 可縮放層，直至來自其他可縮放層的隨機存取點可用。
8.根據(jù)權利要求7所述的裝置，其中所選擇的可縮放層為可縮放視頻編碼信號的基本層。
全文摘要
一種裝置對視頻信號進行編碼以提供可縮放視頻編碼(SVC)信號，所述可縮放視頻編碼信號包括基本層視頻編碼信號和增強層視頻編碼信號，其中基本層視頻編碼信號具有比增強層視頻編碼信號更多的隨機存取點。
文檔編號H04N7/26GK101849417SQ200880114758
公開日2010年9月29日 申請日期2008年10月30日 優(yōu)先權日2007年11月5日
發(fā)明者吳鎮(zhèn)宇, 戴維·安德森, 艾倫·J·斯坦 申請人:湯姆森特許公司