本公開涉及使用圖像上采樣的視頻編碼和解碼方法及設備。

背景技術：

傳統(tǒng)圖像編碼和解碼方法將一幅畫面劃分成宏塊來對圖像進行編碼。隨后，使用幀間預測或幀內預測來對每個宏塊進行預測編碼。

幀間預測是一種通過去除畫面之間的時間冗余來壓縮圖像的方法，運動估計編碼是代表性示例。運動估計編碼通過使用至少一個參考區(qū)域來對當前畫面的每個塊進行預測。使用預定估計函數(shù)來在預定搜索范圍內搜索與當前塊最相似的參考塊。

基于參考塊來預測當前塊，并且對通過從當前塊減去作為預測的結果所產生的預測塊而產生殘差塊進行編碼。在這點上，為了更精確地執(zhí)行預測，對參考區(qū)域的搜索范圍執(zhí)行插值，產生小于整數(shù)單元的樣點單元的子樣點，并基于產生的子樣點來執(zhí)行幀間預測。

技術實現(xiàn)要素：

技術問題

本公開提供一種在通過對參考層進行上采樣來產生當前層的預測畫面時，通過使用相位差信息確定包括在預測畫面中的樣點的相位的方法以及執(zhí)行該方法的設備。本公開還提供了一種確定用于確定所述相位差信息的信息的方法以及執(zhí)行該方法的設備。

技術方案

根據(jù)本公開的一方面，提供了一種視頻解碼方法，包括：從比特流獲得指示是否調整包括在當前層中的樣點的相位的上采樣相位設置信息；當根據(jù)上采樣相位設置信息調整相位時，從比特流獲得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差對參考層進行上采樣，確定當前層的預測畫面。

包括在所述預測畫面中的亮度樣點的相位可根據(jù)亮度垂直相位差和亮度水平相位差被調整，包括在所述預測畫面中的色度樣點的相位可根據(jù)色度垂直相位差和色度水平相位差被調整。

亮度垂直相位差和色度垂直相位差可根據(jù)針對參考層的掃描方案被確定。

亮度垂直相位差和色度垂直相位差可根據(jù)針對參考層的掃描方案以及針對參考層和當前層的排列方案被確定，所述排列方案可包括零相位排列方案和對稱排列方案，其中，零相位排列方案涉及基于參考層和當前層的左上部分對參考層和當前層進行排列，對稱排列方案涉及基于參考層和當前層的中心對參考層和當前層進行排列。

視頻解碼方法還可包括：從比特流獲得參考層尺寸信息、參考層偏移信息、當前層尺寸信息和當前層偏移信息，其中，參考層尺寸信息指示參考層的高度和寬度，參考層偏移信息限定在層間預測時使用的參考層的參考區(qū)域，當前層尺寸信息指示當前層的高度和寬度，當前層偏移信息限定當前層中的與所述參考區(qū)域相應的擴展參考區(qū)域；從參考層尺寸信息和參考層偏移信息確定所述參考區(qū)域的尺寸；從當前層尺寸信息和當前層偏移信息確定所述擴展參考區(qū)域的尺寸；基于所述參考區(qū)域的尺寸和所述擴展參考區(qū)域的尺寸確定指示所述參考區(qū)域與所述擴展參考區(qū)域的比率的縮放比率，其中，確定當前層的預測畫面的步驟包括：通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差、參考層偏移信息、當前層偏移信息和所述縮放比率來對參考畫面進行上采樣以確定所述預測畫面。

視頻解碼方法還可包括：從比特流獲得殘差數(shù)據(jù)，其中，殘差數(shù)據(jù)包括當前層中所包括的樣點值與當前層的參考畫面中所包括的樣點值之間的差值；通過使用殘差數(shù)據(jù)和所述預測畫面來重建當前畫面。

根據(jù)本公開的另一方面，提供了一種視頻解碼設備，包括：接收和提取單元，被配置為從比特流獲得指示是否調整包括在當前層中的樣點的相位的上采樣相位設置信息，當根據(jù)上采樣相位設置信息調整相位時，從比特流獲得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；解碼器，被配置為通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差對參考層進行上采樣，確定當前層的預測畫面。

包括在所述預測畫面中的亮度樣點的相位可根據(jù)亮度垂直相位差和亮度水平相位差被調整，包括在所述預測畫面中的色度樣點的相位可根據(jù)色度垂直相位差和色度水平相位差被調整。

亮度垂直相位差和色度垂直相位差可根據(jù)針對參考層的掃描方案被確定。

亮度垂直相位差和色度垂直相位差可根據(jù)針對參考層的掃描方案以及針對參考層和當前層的排列方案被確定，所述排列方案可包括零相位排列方案和對稱排列方案，其中，零相位排列方案涉及基于參考層和當前層的左上部分對參考層和當前層進行排列，對稱排列方案涉及基于參考層和當前層的中心對參考層和當前層進行排列。

接收和提取單元還可被配置為從比特流獲得參考層尺寸信息、參考層偏移信息、當前層尺寸信息和當前層偏移信息，其中，參考層尺寸信息指示參考層的高度和寬度，參考層偏移信息限定在層間預測時使用的參考層的參考區(qū)域，當前層尺寸信息指示當前層的高度和寬度，當前層偏移信息限定當前層中的與所述參考區(qū)域相應的擴展參考區(qū)域，解碼器還可被配置為從參考層尺寸信息和參考層偏移信息確定所述參考區(qū)域的尺寸，從當前層尺寸信息和當前層偏移信息確定所述擴展參考區(qū)域的尺寸，基于所述參考區(qū)域的尺寸和所述擴展參考區(qū)域的尺寸確定指示所述參考區(qū)域與所述擴展參考區(qū)域的比率的縮放比率，并通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差、參考層偏移信息、當前層偏移信息和所述縮放比率來對參考畫面進行上采樣以確定所述預測畫面。

接收和提取單元還可被配置為從比特流獲得殘差數(shù)據(jù)，并通過使用殘差數(shù)據(jù)和所述預測畫面來重建當前畫面，其中，殘差數(shù)據(jù)包括當前層中所包括的樣點值與當前層的參考畫面中所包括的樣點值之間的差值。

根據(jù)本公開的另一方面，提供了一種視頻編碼方法，包括：確定針對當前層和參考層的掃描方案；當根據(jù)逐行掃描方案對當前層進行掃描并根據(jù)隔行掃描方案對參考層進行掃描時，確定參考層的場；基于所述掃描方案和所述參考層的場確定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于調整包括在當前層的預測畫面中的亮度樣點和色度樣點的相位；通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差對參考層進行上采樣來確定當前層的預測畫面；確定殘差數(shù)據(jù)，其中，殘差數(shù)據(jù)包括當前層的樣點值與當前層的預測畫面的樣點值之間的差值；輸出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和殘差數(shù)據(jù)。

根據(jù)本公開的另一方面，提供了一種視頻編碼設備，包括：編碼器，被配置為確定針對當前層和參考層的掃描方案，當根據(jù)逐行掃描方案對當前層進行掃描并根據(jù)隔行掃描方案對參考層進行掃描時，確定參考層的場，基于所述掃描方案和所述參考層的場來確定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差對參考層進行上采樣來確定當前層的預測畫面，以及確定殘差數(shù)據(jù)，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于調整包括在當前層的預測畫面中的亮度樣點和色度樣點的相位，其中，殘差數(shù)據(jù)包括當前層的樣點值與當前層的預測畫面的樣點值之間的差值；輸出單元，被配置為輸出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和殘差數(shù)據(jù)。

根據(jù)本公開的另一方面，提供了一種記錄有程序的計算機可讀記錄介質，其中，所述程序用于執(zhí)行所述視頻解碼方法和所述視頻編碼方法。

有益效果

當在編碼過程期間通過對當前層進行下采樣來產生參考層時，根據(jù)編碼條件調整包括在當前層中的樣點的相位。同樣，當在解碼過程期間通過對參考層進行上采樣來產生當前層的預測畫面時，樣點的相位如在編碼過程中那樣被調整。樣點的相位在重新采樣處理期間被調整，因此，編碼效率得到提高。

附圖說明

圖1a示出根據(jù)實施例的可伸縮視頻解碼設備的框圖。

圖1b示出根據(jù)實施例的可伸縮視頻解碼方法的流程圖。

圖2a示出根據(jù)實施例的可伸縮視頻編碼設備的框圖。

圖2b示出根據(jù)實施例的可伸縮視頻編碼方法的流程圖。

圖3a和圖3b示出用于描述根據(jù)實施例的亮度-色度相位差的示圖。

圖4a是用于描述根據(jù)實施例的隔行掃描方案的示圖。

圖4b是用于描述根據(jù)實施例的參考區(qū)域、擴展參考區(qū)域和縮放比率的示圖。

圖5示出用于描述根據(jù)實施例的編碼信息獲得過程的語法。

圖6a和圖6b示出根據(jù)實施例的可伸縮視頻編碼設備600的框圖。

圖7a和圖7b示出根據(jù)實施例的可伸縮視頻解碼設備700的框圖。

圖8a示出根據(jù)實施例的基于具有樹結構的編碼單元的視頻編碼設備的框圖。

圖8b示出根據(jù)實施例的基于具有樹結構的編碼單元的視頻解碼設備的框圖。

圖9示出用于描述根據(jù)實施例的編碼單元的概念的示圖。

圖10a示出根據(jù)實施例的基于編碼單元的圖像編碼器的框圖。

圖10b示出根據(jù)實施例的基于編碼單元的圖像解碼器的框圖。

圖11示出根據(jù)實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖。

圖12示出用于描述根據(jù)實施例的編碼單元與變換單元之間的關系的示圖。

圖13示出根據(jù)實施例的根據(jù)深度的多條編碼信息。

圖14示出根據(jù)實施例的根據(jù)深度的編碼單元。

圖15、圖16和圖17示出根據(jù)實施例的編碼單元、預測單元和變換單元之間的關系。

圖18示出根據(jù)表1的編碼模式信息的編碼單元、預測單元、和變換單元之間的關系。

圖19示出根據(jù)實施例的存儲程序的盤的物理結構。

圖20示出通過使用盤來記錄和讀取程序的盤驅動器。

圖21示出提供內容分發(fā)服務的內容供應系統(tǒng)的整體結構。

圖22和圖23示出根據(jù)實施例的應用了視頻編碼方法和視頻解碼方法的移動電話的外部結構和內部結構。

圖24示出根據(jù)實施例的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。

最佳模式

提供了一種視頻解碼方法，包括：從比特流獲得指示是否調整包括在當前層中的樣點的相位的上采樣相位設置信息；當根據(jù)上采樣相位設置信息調整相位時，從比特流獲得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差對參考層進行上采樣，確定當前層的預測畫面。包括在所述預測畫面中的亮度樣點的相位可根據(jù)亮度垂直相位差和亮度水平相位差被調整，包括在所述預測畫面中的色度樣點的相位可根據(jù)色度垂直相位差和色度水平相位差被調整。亮度垂直相位差和色度垂直相位差可根據(jù)針對參考層的掃描方案被確定。

提供了一種視頻解碼設備，包括：接收和提取單元，被配置為從比特流獲得指示是否調整包括在當前層中的樣點的相位的上采樣相位設置信息，當根據(jù)上采樣相位設置信息調整相位時，從比特流獲得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差；解碼器，被配置為通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差對參考層進行上采樣，確定當前層的預測畫面。包括在所述預測畫面中的亮度樣點的相位可根據(jù)亮度垂直相位差和亮度水平相位差被調整，包括在所述預測畫面中的色度樣點的相位可根據(jù)色度垂直相位差和色度水平相位差被調整。亮度垂直相位差和色度垂直相位差可根據(jù)針對參考層的掃描方案被確定。

提供了一種視頻編碼方法，包括：確定針對當前層和參考層的掃描方案；當根據(jù)逐行掃描方案對當前層進行掃描并根據(jù)隔行掃描方案對參考層進行掃描時，確定參考層的場；基于所述掃描方案和所述參考層的場來確定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于調整包括在當前層的預測畫面中的亮度樣點和色度樣點的相位；通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差對參考層進行上采樣來確定當前層的預測畫面；確定殘差數(shù)據(jù)，其中，殘差數(shù)據(jù)包括當前層的樣點值與當前層的預測畫面的樣點值之間的差值；輸出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和殘差數(shù)據(jù)。

提供了一種視頻編碼設備，包括：編碼器，被配置為確定針對當前層和參考層的掃描方案；當根據(jù)逐行掃描方案對當前層進行掃描并根據(jù)隔行掃描方案對參考層進行掃描時，確定參考層的場，基于所述掃描方案和所述參考層的場確定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差，通過基于亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差對參考層進行上采樣來確定當前層的預測畫面，以及確定殘差數(shù)據(jù)，其中，亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差用于調整包括在當前層的預測畫面中的亮度樣點和色度樣點的相位，其中，殘差數(shù)據(jù)包括當前層的樣點值與當前層的預測畫面的樣點值之間的差值；輸出單元，被配置為輸出比特流，其中，比特流包括亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和殘差數(shù)據(jù)。

具體實施方式

下面，在本說明書中描述的各種實施例中，術語“圖像”不僅可總體表示靜止圖像，還可表示諸如視頻的運動畫面。在本說明書中描述的術語“畫面”表示將被編碼或解碼的靜止圖像。

可伸縮編碼方案是指對一幅圖像進行分層編碼以使該圖像適合于各種分辨率、幀率、圖像質量等的方法。由于一個比特流包括具有各種分辨率、幀率、圖像質量等的圖像，因此，內容用戶可提取比特流的一部分，并可再現(xiàn)滿足用戶期望的分辨率、幀率、圖像質量等的圖像。

根據(jù)可伸縮編碼方案編碼的圖像具有至少兩個層。每個層具有更高層和更低層中的至少一個。

層可被劃分為當前層和參考層。當前層指示參考層的更高層，通過參考參考層的畫面來對更高層進行編碼/解碼。參考層指示當前層的更低層，更低層提供在對當前層進行編碼/解碼時所需要的畫面。例如，參考層的畫面的分辨率、幀率和圖像質量低于當前層的畫面的分辨率、幀率和圖像質量。

當前層和參考層是相對概念。例如，當從更高層開始按順序呈現(xiàn)第一層、第二層和第三層時，第二層可變成相對于第一層的參考層。相反，第二層可變成相對于第三層的當前層。

通常，當前層與術語“增強層”一起使用。參考層與術語“基本層”一起使用。因此，在本說明書中使用的增強層與當前層具有相同的含義。同樣，在本說明書中使用的基本層與參考層具有相同的含義。

在本說明書中，重新采樣是指重新確定構成畫面的樣點的數(shù)量和屬性的過程。重新采樣包括下采樣和上采樣。

在本說明書中，下采樣是指減少構成畫面的像素的數(shù)量的過程。例如，當構成畫面的像素的數(shù)量為32×32時，可通過下采樣獲得像素的數(shù)量為16×16的下采樣畫面。由于下采樣而減少的像素的比率可根據(jù)實施例而不同。

在本說明書中，與下采樣相反，上采樣是指增加構成畫面的像素的數(shù)量的過程。例如，當構成畫面的像素的數(shù)量為16×16時，可通過上采樣獲得像素的數(shù)量為32×32的上采樣畫面。由于上采樣而增加的像素的比率可根據(jù)實施例而不同。

在本說明書中，可根據(jù)分辨率而使用下采樣和上采樣，可通過對當前層進行下采樣來產生參考層，并且可通過對參考層進行上采樣來獲得當前層的預測畫面。

在本說明書中，偏移是指層中的基于亮度樣點單元限定的整個區(qū)域與該層中的將被上采樣或下采樣的部分之間的位移。水平偏移是指水平方向的位移。垂直偏移是指垂直方向的位移。以水平相鄰或垂直相鄰的亮度樣點之間的間隔為1的方式來定義偏移的單位。例如，當像素B在像素A的右側4個像素且下方2個像素時，像素B相對于像素A的水平偏移為4，且像素B的垂直偏移為2。

在本說明書中，相位是指樣點之間的位移。相位可包括垂直分量或水平分量。在本說明書中，當在上采樣處理或下采樣處理期間調整樣點的位置時，相位差是指在調整之前的樣點和在調整之后的樣點之間位移。相位差可僅被表示為整數(shù)。例如，當彼此水平或垂直鄰近的樣點之間的距離為16時，可表示相位差的精度為彼此水平鄰近的樣點之間的距離的1/16。

當根據(jù)可伸縮編碼方案對原始圖像進行編碼時，可調整亮度樣點和色度樣點的相位以增加在下采樣和上采樣處理期間的編碼效率。在解碼操作中，與在編碼操作中一樣，在上采樣處理中調整亮度樣點和色度樣點的相位。因此，當在解碼過程期間對當前層進行上采樣時，需要與在編碼過程期間對原始圖像進行下采樣和上采樣時調整的相位有關的信息。

因此，在本說明書中，在下面描述在上采樣處理期間確定樣點的相位的方法。更詳細地說，本說明書的各種實施例提供了一種用于通過使用與根據(jù)參考層和當前層的排列方案以及參考層的掃描方案而改變的相位有關的信息在解碼過程期間改變亮度樣點和色度樣點的相位的方法和設備。此外，在本說明書中，下面描述與在上采樣處理期間發(fā)生的相位的改變相關的所有處理。

下面，參照圖1a至圖5，以下提出了通過考慮參考層和當前層的偏移執(zhí)行的對圖像的上采樣。此外，參照圖6a至圖7b，以下提出了使用考慮參考層和當前層的偏移的上采樣的可伸縮視頻編碼和解碼。以下，參照圖8至圖18，提出了在可伸縮視頻系統(tǒng)的每個層中執(zhí)行的基于根據(jù)樹結構的編碼單元的視頻編碼和解碼。

以下，參照圖1a至圖5，詳細地描述了根據(jù)各種實施例的通過考慮參考層和當前層的偏移執(zhí)行的圖像上采樣。

圖1a示出根據(jù)實施例的可伸縮視頻解碼設備100的框圖。

可伸縮視頻解碼設備100可包括接收和提取單元110以及解碼器120。參照圖1a，接收和提取單元110以及解碼器120被示出為分離的元件，但是在另一實施例中，接收和提取單元110以及解碼器120可被合并，并因此可被實現(xiàn)為一個元件。

參照圖1a，接收和提取單元110以及解碼器120被示出為一個設備中的元件，但是分別執(zhí)行接收和提取單元110以及解碼器120的功能的設備彼此可不物理相鄰。因此，在另一實施例中，接收和提取單元110以及解碼器120可被散布。

在實施例中，圖1a的接收和提取單元110以及解碼器120可由一個處理器實現(xiàn)。在另一實施例中，它們可由多個處理器實現(xiàn)。

可伸縮視頻解碼設備100可包括用于存儲由接收和提取單元110以及解碼器120產生的數(shù)據(jù)的存儲器(未示出)。另外，接收和提取單元110以及解碼器120可從存儲器(未示出)提取存儲的數(shù)據(jù)并可使用該數(shù)據(jù)。

圖1a的可伸縮視頻解碼設備100不限于物理設備。例如，可伸縮視頻解碼設備100的功能之中的一些功能可不被實現(xiàn)為硬件，而可被實現(xiàn)為軟件。

接收和提取單元110可獲得上采樣相位設置信息。上采樣相位設置信息指示在上采樣處理期間是否調整包括在當前層中的樣點的相位。上采樣相位設置信息可具有值0或1。例如，如果上采樣相位設置信息指示1，則調整包括在當前層中的樣點的相位。另一方面，如果上采樣相位設置信息指示0，則不調整包括在當前層中的樣點的相位。作為與該示例相反的另一示例，如果排列方案指定信息指示0，則可調整包括在當前層中的樣點的相位。

當上采樣相位設置信息指示調整樣點的相位時，接收和提取單元110可從比特流獲得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差。

亮度垂直相位差指示亮度樣點的相位在垂直方向上改變了多遠。亮度水平相位差指示亮度樣點的相位在水平方向上改變了多遠。色度垂直相位差指示色度樣點的相位在垂直方向上改變了多遠。色度水平相位差指示色度樣點的相位在水平方向上改變了多遠。

亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差可在編碼過程中被確定。以下，現(xiàn)在將描述確定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差的方法。

可基于垂直亮度-色度相位差和水平亮度-色度相位差來確定色度垂直相位差和色度水平相位差。垂直亮度-色度相位差指示亮度樣點和色度樣點之間的垂直方向相位差。水平亮度-色度相位差指示亮度樣點和色度樣點之間的水平方向相位差。參照圖3a和圖3b，以下描述垂直亮度-色度相位差和水平亮度-色度相位差。

圖3a示出根據(jù)垂直亮度-色度相位差和水平亮度-色度相位差的6種情況。圖3b示出圖3a中的關于當彩色格式為4:2:0時色度樣點相對于亮度樣點位置的位置的情況。在圖3a中，X軸相位差是指水平亮度-色度相位差，Y軸相位差是指垂直亮度-色度相位差。在圖3b中，方形符號指示亮度樣點，圓形符號指示色度樣點。

垂直亮度-色度相位差和水平亮度-色度相位差可均具有0至2之間的值。在另一實施例中，它們具有與0至2之間的值不同的值。

當彩色格式為4:2:0時，一個色度樣點與由4個亮度樣點構成的2×2的亮度樣點網格相應。如果不存在亮度樣點和色度樣點之間的相位差，則色度樣點位于處于2×2的亮度樣點網格的左上位置的亮度樣點處。

在圖3b中，彼此垂直或水平鄰近的亮度樣點之間的距離被限定為2。例如，如果如在第二情況下色度樣點312從亮度樣點310的位置移動到亮度樣點310和亮度樣點314之間的中間位置，則垂直亮度-色度相位差為1。

在第一情況下，水平亮度-色度相位差和垂直亮度-色度相位差均為1。由于不存在亮度樣點和色度樣點之間的相位差，因此，色度樣點302位于處于2×2的亮度樣點網格的左上位置的亮度樣點處。

在第二情況下，水平亮度-色度相位差為0，垂直亮度-色度相位差為1。因此，色度樣點312位于2×2的亮度樣點網格中的左上亮度樣點310和左下亮度樣點314之間的中間位置。

在第三情況下，水平亮度-色度相位差為1，垂直亮度-色度相位差為0。因此，色度樣點322位于2×2的亮度樣點網格中的左上亮度樣點320和右上亮度樣點324之間的中間位置。

在第四情況下，水平亮度-色度相位差和垂直亮度-色度相位差均為1。因此，色度樣點228位于四個亮度樣點330、332、334和336之間的中心。

在第五情況下，水平亮度-色度相位差為1，垂直亮度-色度相位差為2。因此，色度樣點344位于2×2的亮度樣點網格中的左下亮度樣點340和右下亮度樣點342之間。

在第六情況下，水平亮度-色度相位差為0，垂直亮度-色度相位差為2。因此，色度樣點352位于2×2的亮度樣點網格中的左下亮度樣點350的位置處。

可通過使用所確定的垂直亮度-色度相位差和水平亮度-色度相位差來確定色度垂直相位差和色度水平相位差。由于垂直亮度-色度相位差和水平亮度-色度相位差指示色度樣點相對于亮度樣點的相位改變，因此，亮度垂直相位差和亮度水平相位差不改變。例如，當垂直亮度-色度相位差為1，水平亮度-色度相位差為2時，不發(fā)生由于垂直亮度-色度相位差和水平亮度-色度相位差而產生的亮度樣點的相位改變。然而，由于垂直亮度-色度相位差和水平亮度-色度相位差，色度樣點的相位向底部改變1，向左側改變2。

可根據(jù)指示參考層和當前層的排列的排列方案，對亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差進行排列。排列方案包括零相位排列案和對稱排列方案。

零相位排列方案涉及基于參考層或當前層的左上樣點對參考層和當前層的樣點進行排列。例如，當如圖3b的第一情況基于零相位排列方案對亮度樣點和色度樣點進行排列時，色度樣點位于4個亮度樣點之中的左上亮度樣點處。因此，當基于零相位排列方案對樣點進行排列并且彩色格式為4:2:0時，色度樣點已位于2×2的亮度樣點網格中的左上亮度樣點的位置處，因此，不發(fā)生由于排列方案而產生的樣點的相位改變。

對稱排列方案涉及基于參考層和當前層的中心對參考層和當前層的樣點進行排列。當基于對稱排列方案對樣點進行排列時，樣點的布置是關于所述中心對稱的。因此，當對稱排列方案被應用于此時，亮度樣點和色度樣點的相位被調整。

可基于當前層和參考層的掃描方案以及參考層的場來確定亮度垂直相位差和色度垂直相位差。

掃描方案包括逐行掃描方案和隔行掃描方案。

逐行掃描方案是指顯示、存儲并發(fā)送在一幀中包括一個畫面的圖像的方法。因此，圖像的每個幀相應于完整的畫面。例如，當每1/30秒獲得一畫面時，產生與每秒30幅畫面相應的30幀?；谥鹦袙呙璺桨府a生的每秒30幀的圖像被顯示為30p。

另一方面，隔行掃描方案是指顯示、存儲并發(fā)送在一幀中包括一個畫面的奇數(shù)場或偶數(shù)場的圖像的方法。奇數(shù)場僅包括構成畫面的樣點之中的位于奇數(shù)行的樣點。偶數(shù)場僅包括構成畫面的樣點之中的位于偶數(shù)行的樣點。包括奇數(shù)場的幀和包括偶數(shù)場的幀以隔行方式被再現(xiàn)，就好像完整的畫面被再現(xiàn)。圖4a是用于具體描述逐行掃描方案的特征的示圖。

在圖4a中，包括奇數(shù)場的幀402被顯示在左側，包括偶數(shù)場的幀404被顯示在右側。具有灰色的行指示存在將被掃描的樣點的樣點行。另一方面，具有白色的行指示不存在將被掃描的樣點的樣點行。在圖4a中，n是等于或大于1的整數(shù)。

參照圖4a，在包括奇數(shù)場的幀402中，僅將奇數(shù)行標成灰色。因此，可識別出將被掃描的樣點僅位于包括奇數(shù)場的幀402中的奇數(shù)行中。另一方面，在包括偶數(shù)場的幀404中，僅將偶數(shù)行標成灰色。因此，可識別出將被掃描的樣點僅位于包括偶數(shù)場的幀404中的偶數(shù)行中。

參照圖4a，幀402僅包括在(2n-2)/60秒獲得的畫面的奇數(shù)場。幀404僅包括在(2n-1)/60秒獲得的畫面的偶數(shù)場。因此，包括奇數(shù)場的幀402和包括偶數(shù)場的幀404按隔行方式被顯示、存儲和發(fā)送。基于如圖4a所示的隔行掃描方案產生的每秒60幀的圖像被表示為60i。

在圖像編碼之前，基于隔行掃描方案產生的圖像的一個幀的數(shù)據(jù)量是基于逐行掃描方案產生的圖像的一個幀的數(shù)據(jù)量的一半。因此，基于隔行掃描方案以每秒60幀產生的圖像的數(shù)據(jù)量是基于逐行掃描方案以每秒60幀產生的圖像的數(shù)據(jù)量的一半。因此，隔行掃描方案獲得更少的數(shù)據(jù)量。

然而，由于基于逐行掃描方案的圖像再現(xiàn)包括完整的畫面的幀，因此，與基于隔行掃描方案的圖像相比，基于逐行掃描方案的圖像可提供良好的質量。

在當前層和參考層均根據(jù)逐行掃描方案被掃描時，由于一個完整的畫面與一個幀相應，因此不需要由于掃描方案而產生的相位改變。然而，如圖4a所示，根據(jù)隔行掃描方案，每一幀僅顯示偶數(shù)掃描行(偶數(shù)場)或奇數(shù)掃描行(奇數(shù)場)，因此，如果基于逐行掃描方案對當前層進行掃描并基于隔行掃描方案對參考層進行掃描，則需要對亮度垂直相位差和色度垂直相位差的調整。具體地，當參考層的被顯示的幀包括偶數(shù)場時，包括偶數(shù)場的幀的樣點的位置必須被調整以防止顯示在奇數(shù)場中的區(qū)域與顯示在偶數(shù)場中的區(qū)域重疊。

因此，在當前層基于逐行掃描方案被掃描，參考層基于隔行掃描方案被掃描，并且參考層的場是偶數(shù)場時，亮度垂直相位差和色度垂直相位差被調整。

以下的等式1和等式2是用于基于掃描方案確定垂直相位差和水平相位差的等式。將在下面描述的可伸縮視頻編碼設備200的編碼器210可通過使用等式1和等式2確定垂直相位差和水平相位差。

phaseX＝(cIdx＝＝0)？(cross_layer_phase_alignment_flag<<1):cross_layer_phase_alignment_flag [等式1]

phaseY＝VertPhasePositionAdjustFlag？((VertPhasePositionFlag<<2):(cIdx＝＝0)？(cross_layer_phase_alignment_flag<<1):(cross_layer_phase_alignment_flag+1)) [等式2]

在等式1和等式2中，“<<”指示右移運算符。更詳細地，“(bitstream)<<(N)”被解釋為將N個0添加到“bitstream”的右側。例如，“11<<2”被解釋為“1100”。

“？”指示條件運算符。更詳細地說，在結構“(condition)？(Calculation1):(Calculation 2)”的情況下，如果該條件為真，則結果值符合Calculation 1，如果該條件為假，則結果值符合Calculation 2。

運算符同等地應用到在說明書中提供的等式。

在等式1和等式2中，phaseX是指水平相位差，phaseY是指垂直相位差。cIdx是指彩色分量索引，cross_layer_phase_alignment_flag是指排列方案指定信息。另外，VertPhasePositionAdjustFlag是指掃描方案指定信息，VertPhasePositionFlag是指場指定信息。

當關于亮度樣點的相位差被確定時，彩色分量索引被確定為0。當關于作為色度樣點的Cb和Cr的相位差被確定時，彩色分量索引被確定為1或2。

在當前層和參考層是基于零相位排列方案時，排列方案指定信息被確定為0。在當前層和參考層是基于對稱排列方案時，排列方案指定信息被確定為1。

當逐行掃描方案被應用到當前層和參考層的全部時，掃描方案指定信息被確定為0。當逐行掃描方案被應用到當前層，并且隔行掃描方案被應用到參考層時，掃描方案指定信息被確定為1。

當掃描方案指定信息被確定為1時，場指定信息被確定。當參考層包括奇數(shù)場時，場指定信息被確定為0。當參考層包括偶數(shù)場時，場指定信息被確定為1。

關于等式1，首先確定彩色分量索引的值。當彩色分量索引的值為0時，計算cross_layer_phase_alignment_flag<<1以確定關于亮度樣點的水平相位差。如果排列方案指定信息為1，則關于亮度樣點的水平相位差被確定為2，如果排列方案指定信息為0，則關于亮度樣點的水平相位差被確定為0。

當彩色分量索引的值為1或2時，計算cross_layer_phase_alignment_flag來確定關于色度樣點的水平相位差。如果排列方案指定信息為1，則關于亮度樣點的水平相位差被確定為1，如果排列方案指定信息為0，則關于亮度樣點的水平相位差被確定為0。

關于等式2，首先解釋掃描方案指定信息。當掃描方案指定信息為1時，確定逐行掃描方案被應用于當前層，隔行掃描方案被應用于參考層。當掃描方案指定信息為1時，計算VertPhasePositionFlag<<2來獲得垂直相位差。如果掃描方案指定信息為1，則關于亮度樣點的水平相位差被確定為4，如果掃描方案指定信息為0，則關于亮度樣點的水平相位差被確定為0。

如果掃描方案指定信息為1，則確定逐行掃描方案被應用到當前層和參考層的全部。隨后，彩色分量索引的值被確定。

當彩色分量索引的值為0時，計算cross_layer_phase_alignment_flag<<1來確定關于亮度樣點的垂直相位差。如果排列方案指定信息為1，則關于亮度樣點的垂直相位差被確定為2，如果排列方案指定信息為0，則關于亮度樣點的垂直相位差被確定為0。

當彩色分量索引的值為1或2時，計算cross_layer_phase_alignment_flag+1來確定關于色度樣點的垂直相位差。如果排列方案指定信息為1，則關于亮度樣點的垂直相位差被確定為2，如果排列方案指定信息為0，則關于亮度樣點的垂直相位差被確定為1。

接收和提取單元110可從比特流獲得參考層尺寸信息、參考層偏移信息、當前層尺寸信息和當前層偏移信息。

在本說明書中，參考區(qū)域是指參考層的畫面中的區(qū)域，該區(qū)域被用于層間預測。可將參考層的整個區(qū)域確定為參考區(qū)域。在另一實施例中，可僅將參考層的一部分確定為參考區(qū)域。

根據(jù)樹結構編碼/解碼方法，按照編碼單元對畫面執(zhí)行編碼/解碼操作。由于最小編碼單元為8×8，因此，如果參考層和當前層的分辨率不是8的倍數(shù)，則無法快速地執(zhí)行上采樣。因此，當參考層的分辨率不是8的倍數(shù)時，可在參考層中設置分辨率為8的倍數(shù)的參考區(qū)域。同樣，在當前層的分辨率不是8的倍數(shù)時，可在當前層中設置分辨率為8的倍數(shù)的擴展參考區(qū)域。

在本說明書中，擴展參考區(qū)域指示通過對參考區(qū)域進行上采樣而產生的畫面的區(qū)域。如上所述，由于當前層畫面的分辨率高于參考層畫面的分辨率，因此，當前層畫面的分辨率高于作為參考層畫面的一部分的參考區(qū)域的分辨率。因此，難以通過使用低分辨率的參考區(qū)域來預測高分辨率的當前層畫面。因此，通過使用經由對參考區(qū)域進行上采樣而具有提高的分辨率的擴展參考區(qū)域來預測當前層畫面。與參考區(qū)域相似，當前層的整個區(qū)域可被確定為擴展參考區(qū)域。然而，在另一實施例中，可僅將當前層的一部分確定為擴展參考區(qū)域。

基于參考層尺寸信息和參考層偏移信息來確定參考區(qū)域。參考層尺寸信息指示關于參考層畫面的高度和寬度的信息。參考層偏移信息指示參考層畫面與參考區(qū)域之間的偏移。

參考層偏移信息可包括參考層左側偏移、參考層右側偏移、參考層頂部偏移和參考層底部偏移。

參考層左側偏移是參考層畫面的左上區(qū)域中的亮度樣點與參考區(qū)域的左上區(qū)域中的亮度樣點之間的水平偏移。參考層頂部偏移是參考層畫面的左上區(qū)域中的亮度樣點與參考區(qū)域的左上區(qū)域中的亮度樣點之間的垂直偏移。

參考層右側偏移是參考層畫面的右下區(qū)域中的亮度樣點與參考區(qū)域的右下區(qū)域中的亮度樣點之間的水平偏移，參考層底部偏移是參考層畫面的右下區(qū)域中的亮度樣點與參考區(qū)域的右下區(qū)域中的亮度樣點之間的垂直偏移。

基于當前層尺寸信息和當前層偏移信息來確定擴展參考區(qū)域。當前層尺寸信息指示關于當前層畫面的高度和寬度的信息。當前層偏移信息指示當前層畫面與當前畫面之間的偏移。

當前層偏移信息可包括當前層左側偏移、當前層右側偏移、當前層頂部偏移和當前層底部偏移。

當前層左側偏移是當前層畫面的左上區(qū)域中的亮度樣點與擴展參考區(qū)域的左上區(qū)域中的亮度樣點之間的水平偏移。當前層頂部偏移是當前層畫面的左上區(qū)域中的亮度樣點與擴展參考區(qū)域的左上區(qū)域中的亮度樣點之間的垂直偏移。

當前層右側偏移是當前層畫面的右下區(qū)域中的亮度樣點與擴展參考區(qū)域的右下區(qū)域中的亮度樣點之間的水平偏移，當前層頂部偏移是當前層畫面的右下區(qū)域中的亮度樣點與擴展參考區(qū)域的右下區(qū)域中的亮度樣點之間的垂直偏移。

參考層偏移信息和當前層偏移信息可被表示為亮度樣點單元。例如，當參考層左側偏移為4，參考層頂部偏移為2時，在參考層畫面的左上區(qū)域中的亮度樣點右側4個樣點、下方2個樣點處的亮度樣點變?yōu)閰⒖紖^(qū)域的左上區(qū)域中的亮度樣點。

根據(jù)本實施例，參考層偏移信息和當前層偏移信息被表示為亮度樣點單元，但在另一實施例中，參考層偏移信息和當前層偏移信息可被表示為色度樣點單元。

例如，在當前層畫面和參考層畫面的彩色格式為4:2:0時，僅一個色度樣點與一個亮度樣點2×2塊相應。因此，被表示為亮度樣點單元且包括在參考層偏移信息和當前層偏移信息中的垂直偏移和水平偏移的值可以是被表示為色度樣點單元的垂直偏移和水平偏移的值的兩倍大。

另一方面，在當前層畫面和參考層畫面的彩色格式為4:4:4時，亮度樣點和色度樣點彼此相應。因此，在亮度樣點單元和色度樣點單元中，參考層偏移信息和當前層偏移信息的所有偏移具有相同值。

現(xiàn)在將描述從參考層尺寸信息、參考層偏移信息、當前層尺寸信息和當前層偏移信息確定參考區(qū)域和擴展參考區(qū)域的方法，其中，該方法由以下將描述的解碼器120執(zhí)行。

接收和提取單元110可從比特流獲得將在對當前層進行重建時使用的殘差數(shù)據(jù)。

殘差數(shù)據(jù)包括圖像的樣點值與原始圖像的樣點值之間的差值，其中，該圖像是通過對在編碼過程期間被下采樣的當前層的原始圖像進行上采樣而獲得的。解碼器120通過使用殘差數(shù)據(jù)以及通過對參考層進行上采樣而產生的當前層的預測圖像來重建當前層。

解碼器120基于由接收和提取單元110獲得的信息來對參考層進行上采樣。隨后，解碼器120基于上采樣后的參考層來預測當前層。

解碼器120可從參考層尺寸信息和參考層偏移信息確定參考區(qū)域的尺寸。例如，解碼器120可通過從參考層的高度減去參考層頂部偏移和參考層底部偏移來確定參考區(qū)域的高度。解碼器120可通過從參考層的寬度減去參考層右側偏移和參考層左側偏移來確定參考區(qū)域的寬度。

解碼器120可從當前層尺寸信息和當前層偏移信息確定擴展參考區(qū)域的尺寸。例如，解碼器120可通過從當前層的高度減去當前層頂部偏移和當前層底部偏移來確定擴展參考區(qū)域的高度。解碼器120可通過從當前層的寬度減去當前層右側偏移和當前層左側偏移來確定擴展參考區(qū)域的寬度。

當參考層偏移信息的所有偏移值為0時，解碼器120可將參考層的整個區(qū)域確定為參考區(qū)域。同樣，在當前層偏移信息的所有偏移值為0時，解碼器120可將當前層的整個區(qū)域確定為擴展參考區(qū)域。

解碼器120可基于參考區(qū)域的尺寸和擴展參考區(qū)域的尺寸來確定指示參考區(qū)域的尺寸與擴展參考區(qū)域的尺寸的比率的縮放比率?？s放比率指示參考區(qū)域與擴展參考區(qū)域的比率?？s放比率包括指示參考區(qū)域的寬度與擴展參考區(qū)域寬度的比率的水平縮放比率以及指示參考區(qū)域的高度與擴展參考區(qū)域的高度的比率的垂直縮放比率。例如，當垂直縮放比率和水平縮放比率都為1:2，并且參考區(qū)域的亮度樣點的數(shù)量為16×16時，擴展參考區(qū)域的亮度樣點的數(shù)量可以為32×32。

解碼器120從參考區(qū)域的尺寸和擴展參考區(qū)域的尺寸確定縮放比率。解碼器120可通過將參考區(qū)域的寬度與擴展參考區(qū)域的寬度進行比較來確定水平縮放比率。另外，解碼器120可通過將參考區(qū)域的高度與擴展參考區(qū)域的高度進行比較來確定垂直縮放比率。

參照圖4b，現(xiàn)在將詳細描述確定參考區(qū)域、擴展參考區(qū)域和縮放比率的方法，其中，該方法由解碼器120執(zhí)行。

圖4b示出當前層畫面410和參考層畫面430。在當前層畫面410中限定擴展參考區(qū)域420，在參考層畫面430中限定參考區(qū)域440。

可基于當前層畫面410的寬度412a和高度412b以及當前層偏移信息414a、414b、414c和414d來確定擴展參考區(qū)域420的寬度422a和高度422b。

當前層偏移信息414a、414b、414和414d可包括當前層左側偏移414a、當前層頂部偏移414b、當前層右側偏移414c和當前層底部偏移414d。

可通過從當前層畫面410的寬度412a減去當前層左側偏移414a和當前層右側偏移414c來確定擴展參考區(qū)域420的寬度422a。

可通過從當前層畫面410的高度412b減去當前層頂部偏移414b和當前層底部偏移414d來確定擴展參考區(qū)域420的高度422b。

可基于參考層畫面430的寬度432a和高度432b以及參考層偏移信息434a、434b、434c和434d來確定參考區(qū)域440的寬度442a和高度442b。

參考層偏移信息434a、434b、434c和434d可包括參考層左側偏移434a、參考層頂部偏移434b、參考層右側偏移434c和參考層底部偏移434d。

可通過從當前層畫面410的寬度412a減去當前層左側偏移414a和當前層右側偏移414c來確定擴展參考區(qū)域420的寬度422a。

可通過從參考層畫面430的高度432b減去參考層頂部偏移434b和參考層底部偏移434d來確定參考區(qū)域440的高度442b。

可通過將參考區(qū)域440的寬度442a與擴展參考區(qū)域420的寬度422a進行比較來確定水平縮放比率。更詳細地說，可將通過將擴展參考區(qū)域420的寬度422a除以參考區(qū)域440的寬度442a而獲得的值確定為水平縮放比率。

可通過將參考區(qū)域440的高度442b與擴展參考區(qū)域420的高度422b進行比較來確定垂直縮放比率。更詳細地說，可將通過將擴展參考區(qū)域420的高度422b除以參考區(qū)域440的高度442b而獲得的值確定為垂直縮放比率。

當水平縮放比率和垂直縮放比率被確定時，解碼器120可通過基于參考區(qū)域偏移信息、當前區(qū)域偏移信息、水平縮放比率和垂直縮放比率對參考區(qū)域進行上采樣，來確定擴展參考區(qū)域的預測畫面。在本說明書中，對參考層的上采樣被解釋為等同于對參考區(qū)域的上采樣。

解碼器120可調整包括在當前層的預測畫面中的亮度樣點和色度樣點的相位。解碼器120還可調整包括在擴展參考區(qū)域的預測畫面中的亮度樣點和色度樣點的相位，其中，擴展參考區(qū)域的預測畫面是在基于參考區(qū)域偏移信息、當前區(qū)域偏移信息、水平縮放比率和垂直縮放比率的上采樣處理期間被確定的。

解碼器120基于參考區(qū)域的樣點值來確定擴展參考區(qū)域的樣點的樣點值。在插值處理期間，使用擴展參考區(qū)域的樣點的相位、插值濾波器組的濾波器系數(shù)和參考區(qū)域的樣點值。

參照圖5，詳細描述確定包括在擴展參考區(qū)域中的樣點的相位的方法。

解碼器120可確定當前層中的未包括在擴展參考區(qū)域中的區(qū)域的預測值。可基于包括在擴展參考區(qū)域的預測畫面中的樣點的樣點值來確定所述預測值。解碼器120可通過使用填充方法、修剪方法、上采樣方法、下采樣方法等，基于擴展參考區(qū)域的樣點的樣點值來確定當前層中的未包括在擴展參考區(qū)域中的區(qū)域的預測值。因此，可通過使用擴展參考區(qū)域的預測畫面和未包括在擴展參考區(qū)域中的區(qū)域的預測值來確定當前層的預測畫面。

解碼器120可通過使用預測畫面和由接收和提取單元110獲得的殘差數(shù)據(jù)來重建當前層。

將參照圖5詳細描述接收和提取單元110以及解碼器120的實施例。

圖1b示出根據(jù)實施例的由可伸縮視頻解碼設備100執(zhí)行的可伸縮視頻編碼方法10的流程圖。

在操作11，從比特流獲得上采樣相位設置信息，其中，上采樣相位設置信息指示在基于參考層的樣點的樣點值確定包括在當前層中的樣點的樣點值的同時是否調整包括在當前層中的樣點的相位。

在操作12，當上采樣相位設置信息指示調整相位時，從比特流獲得亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差。

如在操作11或操作12中，可從比特流獲得指示參考層的高度和寬度的參考層尺寸信息、用于限定在層間預測中使用的參考層的參考區(qū)域的參考層偏移信息、指示當前層的高度和寬度的當前層尺寸信息、以及用于限定當前層中的與參考區(qū)域相應的擴展參考區(qū)域的當前層偏移信息。另外，可從比特流獲得殘差數(shù)據(jù)，其中，殘差數(shù)據(jù)包括當前層中所包括的樣點值與當前層的參考畫面中所包括的樣點值之間的差值。

操作11和操作12是由接收和提取單元110執(zhí)行的。

在操作13，通過基于亮度垂直相位差、亮度水平垂直差、色度垂直相位差和色度水平相位差對參考層進行上采樣來確定當前層的預測畫面。

隨后，如在操作13中，可從參考層尺寸信息和參考層偏移信息確定參考區(qū)域的尺寸，可從當前層尺寸信息和當前層偏移信息確定擴展參考區(qū)域的尺寸，可基于參考區(qū)域的尺寸和擴展參考區(qū)域的尺寸確定指示參考區(qū)域的尺寸與擴展參考區(qū)域的尺寸的比率的縮放比率?？稍趯⒖紝舆M行上采樣時使用所確定的參考層偏移信息、當前層偏移信息和縮放比率。

在操作13之后，可通過使用殘差數(shù)據(jù)和預測畫面來重建當前畫面。

操作13是由解碼器120執(zhí)行的。

圖2a示出根據(jù)實施例的可伸縮視頻編碼設備200的框圖。

可伸縮視頻編碼設備200可包括編碼器210和輸出單元220。參照圖2a，編碼器210和輸出單元220被示出為分離的元件，但在另一實施例中，編碼器210和輸出單元220可被組合，并因此可被實現(xiàn)為一個元件。

參照圖2a，編碼器210和輸出單元220被示出為一個設備中的元件，但是分別執(zhí)行編碼器210和輸出單元220的功能的設備彼此可不物理相鄰。因此，在另一實施例中，編碼器210和輸出單元220可散布。

在一實施例中，圖2a的編碼器210和輸出單元220可由一個處理器實現(xiàn)。在另一實施例中，它們可由多個處理器來實現(xiàn)。

可伸縮視頻編碼設備200可包括用于存儲由編碼器210和輸出單元220產生的數(shù)據(jù)的存儲器(未示出)。另外，編碼器210和輸出單元220可從存儲器(未示出)提取存儲的數(shù)據(jù)，并可使用所述數(shù)據(jù)。

圖2a的可伸縮視頻編碼設備200不限于物理設備。例如，可伸縮視頻編碼設備200的功能之中的一些功能可不被實現(xiàn)為硬件，而可被實現(xiàn)為軟件。

編碼器210對輸入到可伸縮視頻編碼設備200的原始圖像進行編碼。更詳細地說，原始圖像被輸入到當前層，通過對原始圖像進行下采樣而獲得的圖像被輸入到參考層。隨后，對參考層和當前層進行編碼。

當在對原始圖像進行下采樣的同時調整色度樣點相對于亮度樣點的相位時，編碼器210可基于調整后的色度樣點的相位差確定垂直亮度-色度相位差和水平亮度-色度相位差。根據(jù)本實施例，通常，垂直亮度-色度相位差和水平亮度-色度相位差分別被確定為1和0。然而，在另一實施例中，垂直亮度-色度相位差和水平亮度-色度相位差可被確定為不同的值。

編碼器210可基于在對原始圖像進行下采樣時使用的排列方案來調整包括在當前層的預測畫面中的樣點的相位。

編碼器210可基于掃描方案調整包括在當前層的預測畫面中的樣點的相位。當使用隔行掃描方案，并且下采樣后的圖像是偶數(shù)場時，編碼器210可調整包括在當前層的預測畫面中的樣點的相位。

編碼器210可通過使用以上參照圖1a描述的等式1和等式2來確定亮度垂直相位差、亮度水平相位差、色度垂直相位差和色度水平相位差。

編碼器210可確定將在針對當前層的層間預測時使用的參考層的參考區(qū)域，可對參考區(qū)域進行上采樣，并因此產生擴展參考區(qū)域。

編碼器210可獨立于當前層對參考層進行編碼。另外，編碼器210可通過使用基于樹結構對單個層畫面進行編碼的方法來對參考層進行編碼。

編碼器210可通過使用參考區(qū)域來對當前層畫面進行編碼。在另一實施例中，編碼器210可在不使用參考層的情況下，獨立于參考層來對當前層進行編碼。

將參照圖6a和圖6b詳細地描述由編碼器210進行的層間預測。將參照圖8至圖17詳細地描述基于樹結構的編碼。

編碼器210可從參考層和參考區(qū)域確定參考層尺寸信息和參考層偏移信息。

編碼器210可從當前層和擴展參考區(qū)域確定當前層尺寸信息和當前層偏移信息。

編碼器210可基于垂直亮度-色度相位差、水平亮度-色度相位差、排列方案指定信息、掃描方案指定信息以及關于參考區(qū)域和擴展參考區(qū)域的信息，對參考層進行上采樣。編碼器210可通過將當前層的預測畫面與當前層進行比較來產生殘差數(shù)據(jù)，其中，所述預測畫面是通過對參考層進行上采樣而產生的。

輸出單元220發(fā)送比特流，其中，比特流包括由編碼器210確定的參考層尺寸信息、參考層偏移信息、當前層尺寸信息、當前層偏移信息、亮度垂直相位差、亮度水平相位差、色度垂直相位差、色度水平相位差和殘差數(shù)據(jù)。

圖2b示出根據(jù)實施例的由可伸縮視頻編碼設備200執(zhí)行的可伸縮視頻編碼方法20的流程圖。

在操作21，確定針對當前層和參考層的掃描方案。

在操作22，當根據(jù)逐行掃描方案對當前層進行掃描，根據(jù)隔行掃描方案對參考層進行掃描時，確定參考層的場。

在操作23，基于掃描方案和參考層的場確定水平相位差和垂直相位差，其中，水平相位差和垂直相位差用于調整包括在當前層的預測畫面中的亮度樣點和色度樣點的相位。

在操作24，通過基于水平相位差和垂直相位差對參考層進行上采樣來確定當前層的預測畫面。

在操作25，確定殘差數(shù)據(jù)，其中，殘差數(shù)據(jù)包括當前層的樣點值與當前層的預測畫面的樣點值之間的差值。

操作21至操作25可由編碼器210執(zhí)行。

在操作26，輸出包括水平相位差、垂直相位差和殘差數(shù)據(jù)的比特流。

操作26由輸出單元220執(zhí)行。

圖5示出用于描述根據(jù)實施例的編碼信息獲得過程的語法。關于圖5的描述，還提供了用于描述使用編碼信息的上采樣方法的等式。

圖5示出包括在畫面參數(shù)集中的上采樣參數(shù)。畫面參數(shù)集包括共同應用于包括在一個畫面中的條帶段的信息。圖5示出關于上采樣參數(shù)的語法。

num_ref_loc_offsets是指上采樣信息集的數(shù)量的最大值。在可伸縮編碼方案中，圖像可被編碼為兩個或更多個層。上采樣信息集包括上采樣處理中需要的參考層偏移信息、當前層偏移信息和相位信息。當存在n個層時，上采樣處理可發(fā)生n-1次，因此，num_ref_loc_offsets的最大值為n-1。因此，當圖像被編碼為n個層時，可伸縮視頻解碼設備100通過解析num_ref_loc_offsets來確定上采樣信息集的數(shù)量。

當獲得了num_ref_loc_offsets，并且i為0、1、…、(num_ref_loc_offsets-1)時，可伸縮視頻解碼設備100獲得針對與i相應的層的參考層偏移信息、當前層偏移信息和相位信息。

ref_loc_offset_layer_id[i]指示第i上采樣信息集的標號。例如，當圖像被編碼為從作為最低層的第一層到作為最高層的第四層的4個層時，num_ref_loc_offsets可指示3，ref_loc_offset_layer_id[0]可指示第一層和第二層之間的上采樣信息集，ref_loc_offset_layer_id[2]可指示第三層和第四層之間的上采樣信息集。

可伸縮視頻解碼設備100可從比特流獲得當前層偏移信息。隨后，可伸縮視頻解碼設備100可從當前層偏移信息確定當前層的擴展參考區(qū)域。以下，現(xiàn)在將描述與其相關的語法和等式。

scaled_ref_layer_offset_present_flag[i]指示當前層偏移信息是否包括在第i上采樣信息集中。如果scaled_ref_layer_offset_present_flag[i]指示1，則當前層偏移信息包括在第i上采樣信息集中，如果scaled_ref_layer_offset_present_flag[i]指示0，則當前層偏移信息未包括在第i上采樣信息集中。如果不存在scaled_ref_layer_offset_present_flag[i]，則scaled_ref_layer_offset_present_flag[i]的值被視為0。

當scaled_ref_layer_offset_present_flag[i]指示1時，可伸縮視頻解碼設備100可從比特流獲得scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]以及scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]。

scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的當前層左側偏移。如果在比特流中不存在scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]確定為0。

scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的當前層頂部偏移。如果在比特流中不存在scaled_ref_layer_top_offset[ref_loc_offset_layer_id[0]]，則可伸縮視頻解碼設備100將scaled_ref_layer_top_offset[ref_loc_offset_layer_id[0]]確定為0。

scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的當前層右側偏移。如果在比特流中不存在scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]確定為0。

scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的當前層底部偏移。如果在比特流中不存在scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]確定為0。

上述的scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]以及scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]可以是均被表示為亮度樣點單元的值。當偏移均被表示為色度樣點單元時，可伸縮視頻解碼設備100可根據(jù)彩色格式將偏移轉換成亮度樣點單元。

可伸縮視頻解碼設備100可通過使用獲得的scaled_ref_layer_left_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_top_offset[ref_loc_offset_layer_id[i]]、scaled_ref_layer_right_offset[ref_loc_offset_layer_id[i]]以及scaled_ref_layer_bottom_offset[ref_loc_offset_layer_id[i]]來確定當前層畫面的高度和寬度?？筛鶕?jù)等式3和等式4來確定擴展參考區(qū)域的高度和寬度。通過使用等式3和等式4，可針對亮度樣點確定擴展參考區(qū)域的高度和寬度。

ScaledRefLayerRegionWidthInSamplesY＝PicWidthInSamplesCurrY-ScaledRefLayerRegionLeftOffset-ScaledRefLayerRegionRightOffset[等式3]

ScaledRefLayerRegionHeightInSamplesY＝PicHeightInSamplesCurrY-ScaledRefLayerRegionTopOffset-ScaledRefLayerRegionBottomOffset[等式4]

在等式3和等式4中，ScaledRefLayerRegionWidthInSamplesY指示擴展參考區(qū)域的寬度，ScaledRefLayerRegionHeightInSamplesY指示擴展參考區(qū)域的高度。PicWidthInSamplesCurrY指示當前層的寬度，PicHeightInSamplesCurrY指示當前層的高度。

ScaledRefLayerRegionLeftOffset、ScaledRefLayerRegionRightOffset、ScaledRefLayerRegionTopOffset以及ScaledRefLayerRegionBottomOffset指示可伸縮視頻解碼設備100從比特流獲得的當前層左側偏移、當前層頂部偏移、當前層右側偏移和當前層底部偏移。

根據(jù)等式3，通過從PicWidthInSamplesCurrY減去ScaledRefLayerRegionLeftOffset和ScaledRefLayerRegionRightOffset來確定ScaledRefLayerRegionWidthInSamplesY。

根據(jù)等式4，通過從PicHeightInSamplesCurrY減去ScaledRefLayerRegionTopOffset和ScaledRefLayerRegionBottomOffset來確定ScaledRefLayerRegionHeightInSamplesY。

可伸縮視頻解碼設備100可從比特流獲得參考層偏移信息。隨后，可伸縮視頻解碼設備100可從參考層偏移信息確定參考層的參考區(qū)域。以下，現(xiàn)在將描述與其相關的語法和等式。

ref_region_offset_present_flag[i]指示參考層偏移信息是否包括在第i上采樣信息集中。如果ref_region_offset_present_flag[i]指示1，則參考層偏移信息包括在第i上采樣信息集，如果ref_region_offset_present_flag[i]指示0，則參考層偏移信息未包括在第i上采樣信息集中。如果不存在ref_region_offset_present_flag[i]，則ref_region_offset_present_flag[i]的值被視為0。

當ref_region_offset_present_flag[i]指示1時，可伸縮視頻解碼設備100可從比特流獲得ref_region_left_offset[ref_loc_offset_layer_id[i]]、ref_region_top_offset[ref_loc_offset_layer_id[i]]、ref_region_right_offset[ref_loc_offset_layer_id[i]]以及ref_region_bottom_offset[ref_loc_offset_layer_id[i]]。

ref_region_left_offset[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的參考層左側偏移。如果在比特流中不存在ref_region_left_offset[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將ref_region_left_offset[ref_loc_offset_layer_id[i]]確定為0。

ref_region_top_offset[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的參考層頂部偏移。如果在比特流中不存在ref_region_top_offset[ref_loc_offset_layer_id[0]]，則可伸縮視頻解碼設備100將ref_region_top_offset[ref_loc_offset_layer_id[0]]確定為0。

ref_region_right_offset[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的參考層右側偏移。如果在比特流中不存在ref_region_right_offset[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將ref_region_right_offset[ref_loc_offset_layer_id[i]]確定為0。

ref_region_bottom_offset[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的參考層底部偏移。如果在比特流中不存在ref_region_bottom_offset[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將ref_region_bottom_offset[ref_loc_offset_layer_id[i]]確定為0。

上述的ref_region_left_offset[ref_loc_offset_layer_id[i]]、ref_region_top_offset[ref_loc_offset_layer_id[i]]、ref_region_right_offset[ref_loc_offset_layer_id[i]]以及ref_region_bottom_offset[ref_loc_offset_layer_id[i]]可以是均被表示為亮度樣點單元的值。當偏移均被表示為色度樣點單元時，可伸縮視頻解碼設備100可根據(jù)彩色格式將偏移轉換為亮度樣點單元。

可伸縮視頻解碼設備100可通過使用獲得的ref_region_left_offset[ref_loc_offset_layer_id[i]]、ref_region_top_offset[ref_loc_offset_layer_id[i]]、ref_region_right_offset[ref_loc_offset_layer_id[i]]以及ref_region_bottom_offset[ref_loc_offset_layer_id[i]]來確定參考層畫面的高度和寬度。

可伸縮視頻解碼設備100可通過使用獲得的ref_layer_left_offset[ref_layer_id[i]]、ref_layer_top_offset[ref_layer_id[i]]、ref_layer_right_offset[ref_layer_id[i]]以及ref_layer_bottom_offset[ref_layer_id[i]]來確定參考區(qū)域的高度和寬度。可根據(jù)等式5和等式6來確定參考區(qū)域的高度和寬度。通過使用等式5和等式6，可針對亮度樣點確定參考區(qū)域的高度和寬度。

RefLayerRegionWidthInSamplesY＝PicWidthInSamplesRefLayerY-RefLayerRegionLeftOffset–RefLayerRegionRightOffset [等式5]

RefLayerRegionHeightInSamplesY＝PicHeightInSamplesRefLayerY-RefLayerRegionTopOffset–RefLayerRegionBottomOffset [等式6]

在等式5和等式6中，RefLayerRegionWidthInSamplesY指示參考區(qū)域的寬度，RefLayerRegionHeightInSamplesY指示參考區(qū)域的高度。PicWidthInSamplesRefLayerY指示參考層的寬度，PicHeightInSamplesRefLayerY指示參考層的高度。

RefLayerRegionLeftOffset、RefLayerRegionRightOffset、RefLayerRegionTopOffset以及RefLayerRegionBottomOffset表示可伸縮視頻解碼設備100從比特流獲得的參考層左側偏移、參考層頂部偏移、參考層右側偏移以及參考層底部偏移。

根據(jù)等式5，通過從PicWidthInSamplesRefLayerY減去RefLayerRegionLeftOffset和RefLayerRegionRightOffset來確定RefLayerRegionWidthInSamplesY。

根據(jù)等式6，通過從PicHeightInSamplesRefLayerY減去RefLayerRegionTopOffset和RefLayerRegionBottomOffset來確定RefLayerRegionHeightInSamplesY。

可伸縮視頻解碼設備100可通過使用參考區(qū)域的高度和寬度以及擴展參考區(qū)域的高度和寬度來確定水平縮放比率和垂直縮放比率?？筛鶕?jù)等式7和等式8來確定水平縮放比率和垂直縮放比率。通過使用等式7和等式8，針對亮度樣點確定水平縮放比率和垂直縮放比率。

SpatialScaleFactorHorY＝((RefLayerRegionWidthInSamplesY<<16)+

(ScaledRefRegionWidthInSamplesY>＞1))/ScaledRefRegionWidthInSamplesY [等式7]

SpatialScaleFactorVerY＝((RefLayerRegionHeightInSamplesY<<16)+

(ScaledRefRegionHeightInSamplesY>＞1))/ScaledRefRegionHeightInSamplesY [等式8]

在等式7和等式8中，SpatialScaleFactorHorY和SpatialScaleFactorVerY分別指示針對亮度樣點的水平縮放比率和垂直縮放比率。

根據(jù)等式7，SpatialScaleFactorHorY等于通過將另一值除以ScaledRefRegionWidthInSamplesY而獲得的值，其中，該另一值是通過將RefLayerRegionWidthInSamplesY向右移動16個像素而獲得的。

為了使包括在當前層的預測畫面中的樣點與參考層的坐標平面匹配，將參考層的寬度除以當前層的寬度。隨后，為了使水平縮放比率能夠總是大于1，將RefLayerRegionWidthInSamplesY乘以2^16，其中，2^16是擴展參考區(qū)域與參考區(qū)域的比率的最大值。

根據(jù)等式7，為了對(RefLayerRegionWidthInSamplesY<<16)/ScaledRefRegionWidthInSamplesY的結果值進行舍入，ScaledRefRegionWidthInSamplesY>＞1被添加到RefLayerRegionWidthInSamplesY<<16。

根據(jù)等式7，SpatialScaleFactorVerY等于通過將另一值除以ScaledRefRegionHeightInSamplesY而獲得的值，其中，該另一值是通過將RefLayerRegionHeightInSamplesY向右移動16個像素而獲得的。為了使包括在當前層的預測畫面中的樣點與參考層的坐標平面匹配，將參考層的寬度除以當前層的寬度。因此，為了使垂直縮放比率能夠總是大于1，將RefLayerRegionHeightInSamplesY乘以2^16，其中，2^16是擴展參考區(qū)域與參考區(qū)域的比率的最大值。

根據(jù)等式8，為了對(RefLayerRegionHeightInSamplesY<<16)/ScaledRefRegionHeightInSamplesY的結果值進行舍入，ScaledRefRegionHeightInSamplesY>＞1被添加到RefLayerRegionHeightInSamplesY<<16。

因此，根據(jù)等式7和等式8，通過將SpatialScaleFactorHorY除以2^16而獲得的值是實際的水平縮放比率，通過將SpatialScaleFactorVerY除以2^16而獲得的值是實際的垂直縮放比率。

可伸縮視頻解碼設備100可獲得用于在上采樣處理期間調整樣點的相位的相位信息。

resample_phase_set_prsent_flag[i]指示相位信息是否包括在第i上采樣信息集中。如果resample_phase_set_prsent_flag[i]指示1，則相位信息包括在第i上采樣信息集中，如果resample_phase_set_prsent_flag[i]指示0，則相位信息未包括在第i上采樣信息集中。如果不存在resample_phase_set_prsent_flag[i]，則resample_phase_set_prsent_flag[i]的值被視為0。

當resample_phase_set_prsent_flag[i]指示1時，可伸縮視頻解碼設備100可從比特流獲得phase_hor_luma[ref_loc_offset_layer_id[i]]、phase_ver_luma[ref_loc_offset_layer_id[i]]、phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]以及phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]，

phase_hor_luma[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的亮度分量的水平相位差。例如，當與ref_loc_offset_layer_id[i]相應的亮度分量的水平相位差為1時，phase_hor_luma[ref_loc_offset_layer_id[i]]指示1。如果在比特流中不存在phase_hor_luma[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將phase_hor_luma[ref_loc_offset_layer_id[i]]確定為0。

phase_ver_luma[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的亮度分量的垂直相位差。例如，當與ref_loc_offset_layer_id[i]相應的亮度分量的垂直相位差為2時，phase_ver_luma[ref_loc_offset_layer_id[i]]指示2。如果在比特流中不存在phase_ver_luma[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將phase_ver_luma[ref_loc_offset_layer_id[i]]確定為0。

phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的色度分量的水平相位差。例如，當與ref_loc_offset_layer_id[i]相應的色度分量的水平相位差為1時，phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]指示1。如果在比特流中不存在phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]確定為0。

phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]指示與ref_loc_offset_layer_id[i]相應的色度分量的垂直相位差。例如，當與ref_loc_offset_layer_id[i]相應的色度分量的垂直相位差為1時，phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]指示1。如果在比特流中不存在phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]，則可伸縮視頻解碼設備100將phase_ver_chroma[ref_loc_offset_layer_id[i]]確定為0。

phase_hor_luma[ref_loc_offset_layer_id[i]]、phase_ver_luma[ref_loc_offset_layer_id[i]]、phase_hor_chroma_plus8[ref_loc_offset_layer_id[i]]以及phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]可以是在通過使用等式1和等式2的編碼過程中預設的值。

可伸縮視頻解碼設備100可通過使用參考層偏移信息、當前層偏移信息、垂直縮放比率、水平縮放比率、垂直相位差和水平相位差來對參考區(qū)域進行上采樣。參照等式9至等式20，現(xiàn)在將描述對參考區(qū)域進行上采樣的方法。

在等式9至等式20中，定義在上采樣處理中使用的偏移值。

currOffsetX＝ScaledRefLayerLeftOffset/((cIdx＝＝0)？1:SubWidthCurrC) [等式9]

currOffsetY＝ScaledRefLayerTopOffset/((cIdx＝＝0)？1:SubHeightCurrC) [等式10]

refOffsetX＝(RefLayerRegionLeftOffset/((cIdx＝＝0)？1:SubWidthRefLayerC))<<4 [等式11]

refOffsetY＝(RefLayerRegionTopOffset/((cIdx＝＝0)？1:SubHeightRefLayerC))<<4 [等式12]

currOffsetX指示當前層的水平偏移。針對亮度樣點，currOffsetX與作為當前層左側偏移的ScaledRefLayerLeftOffset具有相同的值。currOffsetY指示當前層的垂直偏移。針對亮度樣點，currOffsetY與作為當前層頂部偏移的ScaledRefLayerTopOffset具有相同的值。在針對色度樣點的上采樣過程期間，currOffsetX與作為當前層左側偏移的ScaledRefLayerLeftOffset/SubWidthCurrC具有相同的值。currOffsetY指示當前層的垂直偏移。currOffsetY與作為當前層頂部偏移的ScaledRefLayerTopOffset/SubHeightCurrC具有相同的值。

reOffsetX指示參考層的水平偏移。針對亮度樣點，reOffsetX具有通過對作為參考層左側偏移的RefLayerRegionLeftOffset執(zhí)行向右側移動4個像素的移動運算而獲得的值。refOffsetY指示參考層的垂直偏移。針對亮度樣點，refOffsetY具有通過對作為參考層頂部偏移的RefLayerRegionTopOffset執(zhí)行向右側移動4個像素的移動運算而獲得的值。針對色度樣點，refOffsetX具有通過對作為參考層左側偏移的RefLayerRegionLeftOffset/SubWidthRefLayerC執(zhí)行向右側移動4個像素的移動運算而獲得的值。refOffsetY指示參考層的垂直偏移。針對色度樣點，refOffsetX具有通過對作為參考層頂部偏移的RefLayerRegionTopOffset/SubHeightRefLayerC執(zhí)行向右側移動4個像素的移動運算而獲得的值。

SubWidthCurrC、SubHeightCurrC、SubWidthRefLayerC以及SubHeightRefLayerC是在針對色度樣點的上采樣過程中使用的值，并可根據(jù)彩色格式而具有值1或2。例如，當參考層的彩色格式都是4:2:0時，SubWidthRefLayerC和SubHeightRefLayerC均為2。當參考層的彩色格式都是4:2:2時，SubWidthRefLayerC為2，SubHeightRefLayerC為1。當參考層的彩色格式都是4:4:4時，SubWidthRefLayerC和SubHeightRefLayerC均為1。同樣，在當前層的彩色格式都是4:2:0時，SubWidthCurrC和SubHeightCurrC均為2。在當前層的彩色格式都是4:2:2時，SubWidthCurrC為2，SubHeightCurrC為1。在當前層的彩色格式都是4:4:4時，SubWidthCurrC和SubHeightCurrC均為1。

在等式13至等式16中，定義在上采樣處理中使用的相位差和縮放比率。

phaseX＝(cIdx＝＝0)？PhaseHorY:PhaseHorC [等式13]

phaseY＝(cIdx＝＝0)？PhaseVerY:PhaseVerC [等式14]

scaleX＝(cIdx＝＝0)？SpatialScaleFactorHorY:SpatialScaleFactorHorC

[等式15]

scaleY＝(cIdx＝＝0)？SpatialScaleFactorVerY:SpatialScaleFactorVerC

[等式16]

phaseX指示水平相位差。phaseX可具有根據(jù)彩色分量索引而改變的值。當彩色分量索引指示亮度樣點時，phaseX與PhaseHorY具有相同的值。當彩色分量索引指示色度樣點時，phaseX與關于色度樣點的PhaseHorC具有相同的值。

phaseY指示垂直相位差。phaseY可具有根據(jù)彩色分量索引而改變的值。當彩色分量索引指示亮度樣點時，phaseY可與PhaseVerY具有相同的值。當彩色分量索引指示色度樣點時，phaseY與關于色度樣點的PhaseVerC具有相同的值。

PhaseHorY和PhaseVerY等于phase_hor_luma[ref_loc_offset_layer_id[i]]和phase_ver_luma[ref_loc_offset_layer_id[i]]。

PhaseHorC和PhaseVerC等于phase_hor_chroma_plus8[ref_loc_offset_layer id[i]]–8和phase_ver_chroma_plus8[ref_loc_offset_layer_id[i]]–8。

scaleX指示水平相位差。scaleX可具有根據(jù)彩色分量索引而改變的值。當彩色分量索引指示亮度樣點時，scaleX與SpatialScaleFactorHorY具有相同的值。當彩色分量索引指示色度樣點時，scaleX與針對色度樣點的SpatialScaleFactorHorC具有相同的值。

scaleY指示垂直相位差。scaleY可具有根據(jù)彩色分量索引而改變的值。當彩色分量索引指示亮度樣點時，scaleY與SpatialScaleFactorVerY具有相同的值。當彩色分量索引指示色度樣點時，scaleY與針對色度樣點的SpatialScaleFactorVerC具有相同的值。

在等式17至等式20中，現(xiàn)在將描述上采樣方法。

addX＝-((scaleX×phaseX+8)>＞4) [等式17]

addY＝-((scaleY×phaseY+8)>＞4) [等式18]

xRef16＝(((xP-currOffsetX)×scaleX+addX+(1<<11))>＞12)+refOffsetX [等式19]

yRef16＝(((yP-currOffsetY)×scaleY+addY+(1<<11))>＞12)+refOffsetY [等式20]

addX和addY指示在根據(jù)縮放比率的上采樣處理期間由于相位調整而發(fā)生的樣點位置的位移。addX被確定為通過將scaleX與phaseX相乘而獲得的負值。addY被確定為通過將scaleY與phaseX相乘而獲得的負值。scaleX×phaseX和scaleY×phaseY均被舍入至四位小數(shù)并被向右移動4個像素。結果，addX和addY均被確定。

xRef16和yRef16是指示擴展參考區(qū)域的樣點與參考區(qū)域的哪個位置相應的值。xP和yP指示擴展參考區(qū)域的樣點的位置。因此，通過分別從xP和yP減去currOffsetX和currOffsetY，在不需要當前層偏移的情況下確定擴展參考區(qū)域的樣點的位置。

隨后，指示擴展參考區(qū)域與參考區(qū)域的比率的scaleX和scaleY分別與(xP-currOffsetX)和(yP-currOffsetY)相乘。隨后，指示樣點位置的位移的addX和addY與其相加。

接下來，(xP-currOffsetX)×scaleX+addX以及(yP-currOffsetY)×scaleY+addY均被舍入到12位小數(shù)，并且舍入后的值均被向右移動12個像素。

最后，均指示參考區(qū)域的偏移的refOffsetX和refOffsetY與結果值相加，從而xRef16和yRef16的結果值被確定。

通過將均由0構成的16比特的字符串插入擴展參考區(qū)域與參考區(qū)域的比率的右側來產生scaleX和scaleY，相反，由于僅從xRef16和yRef16去除了右側的12比特的字符串，因此，作為參考區(qū)域的面積和寬度的16倍大的值被確定為xRef16和yRef16的最大值。因此，通過將xRef16和yRef16除以16而獲得的值與參考區(qū)域的坐標匹配。例如，xRef16為96的擴展參考區(qū)域的樣點與參考區(qū)域中的x坐標為6的樣點匹配，如果xRef16為88，則擴展參考區(qū)域的樣點與參考區(qū)域中的x坐標為5.5的點匹配。因此，執(zhí)行的插值處理的精度為相鄰樣點之間的距離的1/16。

根據(jù)xRef16和yRef16的值，參考區(qū)域的樣點被確定以對擴展參考區(qū)域的樣點進行插值。在插值中使用參考區(qū)域的樣點之中的與xRef16和yRef16鄰近的樣點。根據(jù)實施例，在插值中主要使用利用8個樣點的8抽頭濾波器。根據(jù)樣點位置在垂直方向和水平方向中的至少一個方向上執(zhí)行插值。

參照圖5a至圖5d描述的語法是實施例，本說明書的各種實施例可通過構造與圖5a至圖5d的語法的構造不同的語法來實現(xiàn)。

圖6a示出根據(jù)實施例的可伸縮視頻編碼設備600的框圖。

可伸縮視頻編碼設備600可包括下采樣單元605、參考層編碼器610、上采樣單元650、當前層編碼器660和復用器690。

下采樣單元605接收當前層畫面602的輸入。下采樣單元605通過對輸入的當前層畫面602進行下采樣來產生參考層畫面607。

參考層編碼器610接收參考層畫面607的輸入。參考層編碼器610對參考層畫面607進行編碼。參考層編碼器610可根據(jù)單個層編碼方案對參考層畫面607進行編碼。參照層編碼器610可通過對參考層畫面607進行編碼并隨后進行解碼來重建參考層畫面607，并可將重建的參考層畫面607存儲在存儲器(未示出)中。另外，參考層編碼器610可從參考層畫面607確定參考區(qū)域651。

上采樣單元650從參考層編碼器610接收參考區(qū)域651的輸入。上采樣單元650通過對參考區(qū)域651進行上采樣來確定擴展參考區(qū)域652。

當前層編碼器660接收當前層畫面602和擴展參考區(qū)域652的輸入。當前層編碼器660可根據(jù)單個層編碼方案對當前層畫面602進行編碼。此外，當前層編碼器660可通過根據(jù)擴展參考區(qū)域652產生當前層畫面602的預測畫面來對當前層畫面602進行編碼。

參考層編碼器610將包括參考層畫面607的編碼信息的比特流發(fā)送到復用器690。當前層編碼器660將包括當前層畫面602的編碼信息的比特流發(fā)送到復用器690。

復用器690通過將從參考層編碼器610和當前層編碼器660發(fā)送的比特流進行合并來產生可伸縮比特流695。

參考層編碼器610或當前層編碼器660可確定樣點的垂直相位差和水平相位差。復用器690可輸出包括所確定的垂直相位差和水平相位差的可伸縮比特流695。

下采樣單元605、參考層編碼器610、上采樣單元650和當前層編碼器660與圖2a的編碼器210相應。復用器690與圖2a的輸出單元220相應。

圖6b示出根據(jù)實施例的可伸縮視頻編碼設備600的框圖。圖6b具體示出了由參考層編碼器610和當前層編碼器660進行的編碼過程。

參考層編碼器610可通過根據(jù)最大編碼單元、編碼單元、預測單元、變換單元等對參考層畫面607進行劃分來對參考層畫面607進行編碼。幀內預測器622可通過根據(jù)幀內模式和編碼深度確定最佳編碼模式來預測參考層畫面607。運動補償器624可通過參考存儲在存儲器中的參考畫面列表來預測參考層畫面607。參考畫面列表可包括輸入到參考層編碼器610的參考層畫面?？筛鶕?jù)幀內預測或幀間預測，針對每個預測單元產生殘差數(shù)據(jù)。

變換器/量化器630通過對殘差數(shù)據(jù)執(zhí)行頻率變換和量化來產生量化后的變換系數(shù)。隨后，熵編碼器632對量化后的變換系數(shù)進行熵編碼。經過熵編碼的量化后的變換系數(shù)以及通過編碼過程而產生的多條編碼信息被發(fā)送到復用器690。

逆變換器/反量化器634通過對量化后的變換系數(shù)進行反量化和逆變換來重建殘差數(shù)據(jù)。幀內預測器662或運動補償器624通過使用殘差數(shù)據(jù)和編碼信息來重建參考層畫面607。

當根據(jù)幀間預測模式預測參考層畫面607時，可通過環(huán)路濾波器636來補償重建的參考層畫面607的編碼誤差。環(huán)路濾波器636可包括去塊濾波器和樣點自適應偏移(SAO)濾波器中的至少一個。

重建的參考層畫面607可被存儲在存儲器638中。另外，重建的參考層畫面607可被發(fā)送到運動補償器624，并可用于針對另一參考層畫面的預測。

存儲在存儲器638中的參考層畫面607的參考區(qū)域651可由上采樣單元650進行上采樣。上采樣單元650可將作為上采樣后的參考區(qū)域651的擴展參考區(qū)域發(fā)送到當前層編碼器660的存儲器688。

另外，運動補償器624可產生通過根據(jù)當前層畫面與參考層畫面的縮放比率對運動預測信息進行縮放而獲得的層間運動預測信息654，其中，運動預測信息已在幀間預測時被使用。運動補償器624可將層間運動預測信息654發(fā)送到當前層編碼器660的運動補償器674。

根據(jù)上述方案，可重復針對參考層畫面的編碼操作。

當前層編碼器660可通過根據(jù)最大編碼單元、編碼單元、預測單元、變換單元等對當前層畫面602進行劃分來對當前層畫面602進行編碼。幀內預測器672可通過根據(jù)幀內模式和編碼深度確定最佳編碼模式來預測當前層畫面602。運動補償器674可通過參考存儲在存儲器中的參考畫面列表來預測當前層畫面602。另外，對于幀間預測，運動補償器674可使用由參考層編碼器610的運動補償器624產生的層間運動預測信息654。參考畫面列表可包括輸入到當前層編碼器660的當前層畫面以及由上采樣單元650上采樣得到的擴展參考區(qū)域652?？筛鶕?jù)幀內預測或幀間預測，針對每個預測單元產生殘差數(shù)據(jù)。

變換器/量化器680通過對殘差數(shù)據(jù)執(zhí)行頻率變換和量化來產生量化后的變換系數(shù)。隨后，熵編碼器682對量化后的變換系數(shù)進行熵編碼。經過熵編碼的量化后的變換系數(shù)以及通過編碼過程產生的多條編碼信息被發(fā)送到復用器690。

逆變換器/反量化器684通過對量化后的變換系數(shù)進行反量化和逆變換來重建殘差數(shù)據(jù)。幀內預測器672或運動補償器674通過使用殘差數(shù)據(jù)和編碼信息來重建當前層畫面602。

當根據(jù)幀間預測模式來預測當前層畫面602時，可通過環(huán)路濾波器686來補償重建的當前層畫面602的編碼誤差。環(huán)路濾波器686可包括去塊濾波器和樣點自適應偏移(SAO)濾波器中的至少一個。

重建的當前層畫面602可被存儲在存儲器688中。另外，重建的當前層畫面602可被發(fā)送到運動補償器624，并可用于針對另一參考層畫面的預測。

根據(jù)上述方案，可重復針對當前層畫面的編碼操作。

圖7a示出根據(jù)實施例的可伸縮視頻解碼設備700的框圖。

可伸縮視頻解碼設備700可包括解復用器705、參考層解碼器710、上采樣單元750和當前層解碼器760。

解復用器705接收可伸縮比特流702的輸入。隨后，解復用器705解析可伸縮比特流702，并將可伸縮比特流702劃分為關于當前層畫面797的比特流和關于參考層畫面795的比特流。關于當前層畫面797的比特流被發(fā)送到當前層解碼器760。關于參考層畫面795的比特流被發(fā)送到參考層解碼器710。

參考層解碼器710對輸入的關于參考層畫面795的比特流進行解碼。參考層解碼器710可根據(jù)單個層解碼方案對參考層畫面795進行解碼。參考層解碼器710可將解碼的參考層畫面795存儲在存儲器(未示出)中。另外，參考層解碼器710可從解碼的參考層畫面795確定參考區(qū)域751。參考層畫面795可因參考層解碼器710的解碼過程而被輸出。

上采樣單元750從參考層解碼器710接收參考區(qū)域751的輸入。隨后，上采樣單元740對參考區(qū)域751進行上采樣，并確定擴展參考區(qū)域752。

當前層解碼器760接收關于當前層畫面797和擴展參考區(qū)域752的比特流的輸入。當前層解碼器760可根據(jù)單個層解碼方案對當前層畫面797進行解碼。另外，當前層解碼器760可根據(jù)擴展參考區(qū)域752產生當前層畫面797的預測畫面，并可對當前層畫面797進行解碼。當前層畫面797可經由當前層解碼器760的解碼過程而被輸出。

解復用器705可從可伸縮比特流702獲得垂直相位差和水平相位差。上采樣單元750可基于樣點的垂直相位差和水平相位差來對參考區(qū)域751進行上采樣。

解復用器705與圖1a的接收和提取單元110相應。參考層解碼器710、上采樣單元750和當前層解碼器760與圖1a的解碼器120相應。

圖7b示出根據(jù)實施例的可伸縮視頻解碼設備700的框圖。圖7b具體示出由參考層編碼器710和當前層解碼器760進行的解碼過程。

熵解碼器720通過對關于參考層畫面795的比特流進行熵解碼來產生量化后的變換系數(shù)。隨后，逆變換器/反量化器722通過對量化后的變換系數(shù)進行反量化和逆變換來重建殘差數(shù)據(jù)。

幀內預測器732可根據(jù)殘差數(shù)據(jù)和編碼信息來預測參考層畫面795。運動補償器734可通過參考存儲在存儲器中的殘差數(shù)據(jù)和參考畫面列表來預測參考層畫面795。參考畫面列表包括由參考層解碼器710重建的參考層畫面。

當根據(jù)幀間預測模式預測參考層畫面795時，可通過環(huán)路濾波器724來補償重建的參考層畫面795的編碼誤差。環(huán)路濾波器724可包括去塊濾波器和樣點自適應偏移(SAO)濾波器中的至少一個。

重建的參考層畫面795可被存儲在存儲器738中。重建的參考層畫面795可被發(fā)送到運動補償器734，并可用于針對另一參考層畫面的預測。

存儲在存儲器738中的參考層畫面795的參考區(qū)域751可由上采樣單元750進行上采樣。上采樣單元750可將作為上采樣后的參考區(qū)域751的擴展參考區(qū)域發(fā)送到當前層解碼器760的存儲器788。

環(huán)路濾波器724可產生通過根據(jù)當前層畫面與參考層畫面的縮放比率對運動預測信息進行縮放而獲得的層間運動預測信息754，其中，運動預測信息已在幀間預測中被使用。運動補償器734可將層間運動預測信息754發(fā)送到當前層解碼器的運動補償器784。

根據(jù)上述方案，可重復針對參考層畫面的解碼操作。

熵解碼器770可通過對關于當前層畫面797的比特流進行熵解碼來產生量化后的變換系數(shù)。隨后，逆變換器/反量化器772通過對量化后的變換系數(shù)進行反量化和逆變換來重建殘差數(shù)據(jù)。

幀內預測器782可根據(jù)殘差數(shù)據(jù)和編碼信息來預測當前層畫面797。運動補償器784可通過參考存儲在存儲器788中的殘差數(shù)據(jù)和參考畫面列表來預測當前層畫面797。運動補償器784可使用用于幀間預測的層間運動預測信息754，其中，層間運動預測信息754由參考層解碼器710的運動補償器734產生。參考畫面列表包括由當前層解碼器760重建的當前層畫面以及由上采樣單元750上采樣得到的擴展參考區(qū)域752。

當根據(jù)幀間預測模式預測當前層畫面797時，通過環(huán)路濾波器774來補償重建的當前層畫面797的編碼誤差。環(huán)路濾波器774可包括去塊濾波器和樣點自適應偏移(SAO)濾波器中的至少一個。

重建的當前層畫面797可被存儲在存儲器788中。隨后，重建的當前層畫面797可被發(fā)送到運動補償器784，并可被用于針對另一參考層畫面的預測。

根據(jù)上述方案，可重復針對當前層畫面的解碼操作。

通過解碼操作，參考層畫面795可從參考層解碼器710輸出，當前層畫面797可從當前層解碼器760輸出。

參照圖6和圖7，描述了僅包括兩個層的可伸縮視頻編碼/解碼設備。然而，參照圖6和圖7提供的編碼/解碼原理也可被應用到包括三個或更多個層的可伸縮視頻編碼/解碼設備。例如，當輸入圖像被編碼為第一層、第二層和第三層時，在由第一層編碼器和第二層編碼器進行的編碼過程期間可產生用于層間預測的擴展參考區(qū)域以及層間運動預測信息。同樣，在由第二層編碼器和第三層編碼器進行的編碼過程期間可產生用于層間預測的擴展參考區(qū)域以及層間運動預測信息。

參照圖8至圖18詳細地描述參照圖6和圖7描述的以塊單位執(zhí)行的根據(jù)樹結構的編碼/解碼方法。

因此，為了便于描述，由于對單層視頻執(zhí)行將參照圖8a至圖18描述的基于根據(jù)樹結構的編碼單元的視頻編碼處理和視頻解碼處理，因此將僅描述幀間預測和運動補償。然而，如參照圖6a至圖7b所描述的，參考層畫面和當前層畫面之間的層間預測和補償被執(zhí)行以對視頻流進行編碼/解碼。

因此，為了使根據(jù)實施例的可伸縮視頻編碼設備800的編碼器110基于樹結構的編碼單元對多層視頻進行編碼，可伸縮視頻編碼設備800可包括與多層視頻的層數(shù)一樣多的圖8a的視頻編碼設備800以對每個單層視頻執(zhí)行視頻編碼，并可分別控制視頻編碼設備800對單層視頻進行編碼。此外，可伸縮視頻編碼設備800可通過使用由視頻編碼設備800獲得的關于離散的單視點的編碼結果來執(zhí)行視點間預測。因此，可伸縮視頻編碼設備800的編碼器110可產生包括每個層的編碼結果的基本層視頻流和當前層視頻流。

類似地，為了使可伸縮視頻解碼設備850的解碼器基于樹結構的編碼單元對多層視頻進行解碼，可伸縮視頻解碼設備850可包括與多層視頻的層數(shù)一樣多的圖8b的視頻解碼設備850，以便對接收到的參考層視頻流和接收到的當前層視頻流中的每個層執(zhí)行視頻解碼，并可分別控制視頻解碼設備850對單層視頻進行解碼。此外，可伸縮視頻解碼設備850可通過使用關于由視頻解碼設備850獲得的離散的單層的解碼結果來執(zhí)行層間補償。因此，可伸縮視頻解碼設備850可產生針對每個層而被重建的參考層圖像和當前層圖像。

圖8a示出根據(jù)各種實施例的基于樹結構的編碼單元的視頻編碼設備800的框圖。

涉及基于樹結構的編碼單元的視頻預測的視頻編碼設備800包括編碼器810和輸出單元820。在下文中，為便于描述，涉及基于樹結構的編碼單元的視頻預測的視頻編碼設備800被稱為“視頻編碼設備800”。

編碼器810可基于圖像的當前畫面的最大編碼單元來劃分當前畫面，其中，最大編碼單元是具有最大尺寸的編碼單元。如果當前畫面大于最大編碼單元，則可將當前畫面的圖像數(shù)據(jù)劃分為至少一個最大編碼單元。根據(jù)實施例的最大編碼單元可以是尺寸為32×32、64×64、128×128、256×256等的數(shù)據(jù)單元，其中，數(shù)據(jù)單元的形狀是寬度和長度為2的若干次方的正方形。

根據(jù)實施例的編碼單元可由最大尺寸和深度表征。深度表示編碼單元從最大編碼單元被空間劃分的次數(shù)，并且隨著深度加深，根據(jù)深度的較深層編碼單元可從最大編碼單元被劃分到最小編碼單元。最大編碼單元的深度可被定義為最高深度，最小編碼單元的深度可被定義為最低深度。由于隨著最大編碼單元的深度加深，與每個深度相應的編碼單元的尺寸減小，因此與更高深度相應的編碼單元可包括多個與更低深度相應的編碼單元。

如上所述，當前畫面的圖像數(shù)據(jù)根據(jù)編碼單元的最大尺寸被劃分為最大編碼單元，并且每個最大編碼單元可包括根據(jù)深度被劃分的較深層編碼單元。由于根據(jù)深度對根據(jù)實施例的最大編碼單元進行劃分，因此可根據(jù)深度對包括在最大編碼單元中的空間域的圖像數(shù)據(jù)進行分層分類。

可預先確定編碼單元的最大深度和最大尺寸，其中，所述最大深度和最大尺寸限制最大編碼單元的高度和寬度被分層劃分的總次數(shù)。

編碼器810對通過根據(jù)深度對最大編碼單元的區(qū)域進行劃分而獲得的至少一個劃分區(qū)域進行編碼，并且根據(jù)所述至少一個劃分區(qū)域來確定用于輸出最終編碼結果的深度。也就是說，編碼器810通過根據(jù)當前畫面的最大編碼單元以根據(jù)深度的較深層編碼單元對圖像數(shù)據(jù)進行編碼，并選擇具有最小編碼誤差的深度，來確定編碼深度。將確定的編碼深度和根據(jù)最大編碼單元的圖像數(shù)據(jù)輸出到輸出單元820。

基于與等于或低于最大深度的至少一個深度相應的較深層編碼單元，對最大編碼單元中的圖像數(shù)據(jù)進行編碼，并且比較基于每個較深層編碼單元對圖像數(shù)據(jù)進行編碼的結果。在對較深層編碼單元的編碼誤差進行比較之后，可選擇具有最小編碼誤差的深度?？舍槍γ總€最大編碼單元選擇至少一個編碼深度。

隨著編碼單元根據(jù)深度而被分層地劃分并且隨著編碼單元的數(shù)量增加，最大編碼單元的尺寸被劃分。此外，即使在一個最大編碼單元中編碼單元與同一深度相應，仍通過分別測量每個編碼單元的圖像數(shù)據(jù)的編碼誤差來確定是否將與同一深度相應的每個編碼單元劃分到更低深度。因此，即使當圖像數(shù)據(jù)被包括在一個最大編碼單元中時，在該一個最大編碼單元中，編碼誤差仍可根據(jù)區(qū)域而不同，因此在圖像數(shù)據(jù)中，編碼深度可根據(jù)區(qū)域而不同。因此，可在一個最大編碼單元中確定一個或更多個編碼深度，并且可根據(jù)至少一個編碼深度的編碼單元來對最大編碼單元的圖像數(shù)據(jù)進行劃分。

因此，根據(jù)實施例的編碼器810可確定包括在當前最大編碼單元中的具有樹結構的編碼單元。根據(jù)實施例的“具有樹結構的編碼單元”包括當前最大編碼單元中包括的所有較深層編碼單元之中的與確定為編碼深度的深度相應的編碼單元。在最大編碼單元的同一區(qū)域中，可根據(jù)深度來分層地確定編碼深度的編碼單元，并可在不同區(qū)域中獨立地確定編碼深度的編碼單元。同樣，可與另一區(qū)域中的編碼深度獨立地確定當前區(qū)域中的編碼深度。

根據(jù)實施例的最大深度是與從最大編碼單元到最小編碼單元的劃分次數(shù)相關的索引。根據(jù)實施例的最大深度可表示從最大編碼單元到最小編碼單元的總劃分次數(shù)。例如，當最大編碼單元的深度是0時，對最大編碼單元劃分一次的編碼單元的深度可被設置為1，對最大編碼單元劃分兩次的編碼單元的深度可被設置為2。這里，如果最小編碼單元是最大編碼單元被劃分四次的編碼單元，則存在深度0、1、2、3和4的深度等級，并且因此最大深度可被設置為4。

可根據(jù)最大編碼單元執(zhí)行預測編碼和變換。根據(jù)最大編碼單元，還基于根據(jù)等于或小于最大深度的深度的較深層編碼單元來執(zhí)行預測編碼和變換。

由于每當根據(jù)深度對最大編碼單元進行劃分時，較深層編碼單元的數(shù)量增加，因此對隨著深度加深而產生的所有較深層編碼單元執(zhí)行包括預測編碼和變換的編碼。以下為了便于描述，在至少一個最大編碼單元中，將基于當前深度的編碼單元來描述預測編碼和變換。

根據(jù)實施例的視頻編碼設備800可不同地選擇用于對圖像數(shù)據(jù)進行編碼的數(shù)據(jù)單元的尺寸或形狀。為了對圖像數(shù)據(jù)進行編碼，執(zhí)行諸如預測編碼、變換和熵編碼的操作，此時，可針對所有操作使用相同的數(shù)據(jù)單元，或者可針對每個操作使用不同的數(shù)據(jù)單元。

例如，視頻編碼設備800不僅可選擇用于對圖像數(shù)據(jù)進行編碼的編碼單元，還可選擇不同于編碼單元的數(shù)據(jù)單元，以便對編碼單元中的圖像數(shù)據(jù)執(zhí)行預測編碼。

為了在最大編碼單元中執(zhí)行預測編碼，可基于編碼深度的編碼單元(即，基于不再被劃分的編碼單元)來執(zhí)行預測編碼。在下文中，不再被劃分且成為用于預測編碼的基本單元的編碼單元現(xiàn)在將被稱為“預測單元”。通過劃分預測單元而獲得的分區(qū)可包括預測單元以及通過對從預測單元的高度和寬度中選擇的至少一個進行劃分而獲得的數(shù)據(jù)單元。分區(qū)是編碼單元的預測單元被劃分的數(shù)據(jù)單元，并且預測單元可以是與編碼單元具有相同尺寸的分區(qū)。

例如，當2N×2N(其中，N是正整數(shù))的編碼單元不再被劃分并成為2N×2N的預測單元時，分區(qū)的尺寸可以是2N×2N、2N×N、N×2N或N×N。分區(qū)類型的示例選擇性地包括通過對預測單元的高度或寬度進行對稱地劃分而獲得的對稱分區(qū)、通過對預測單元的高度或寬度進行非對稱地劃分(諸如，1：n或n:1)而獲得的分區(qū)、通過對預測單元進行幾何地劃分而獲得的分區(qū)、或具有任意形狀的分區(qū)。

預測單元的預測模式可以是幀內模式、幀間模式和跳過模式中的至少一個。例如，可對2N×2N、2N×N、N×2N或N×N的分區(qū)執(zhí)行幀內模式和幀間模式。此外，可僅對2N×2N的分區(qū)執(zhí)行跳過模式?？蓪幋a單元中的一個預測單元獨立地執(zhí)行編碼，從而選擇具有最小編碼誤差的預測模式。

根據(jù)實施例的視頻編碼設備800不僅可基于用于對圖像數(shù)據(jù)進行編碼的編碼單元還可基于與編碼單元不同的數(shù)據(jù)單元，來對編碼單元中的圖像數(shù)據(jù)執(zhí)行變換。為了在編碼單元中執(zhí)行變換，可基于具有小于或等于編碼單元的尺寸的數(shù)據(jù)單元來執(zhí)行變換。例如，變換單元可包括幀內模式的數(shù)據(jù)單元和幀間模式的變換單元。

以與根據(jù)樹結構的編碼單元類似的方式，編碼單元中的變換單元可被遞歸地劃分為更小尺寸的區(qū)域。因此，可基于根據(jù)變換深度的具有樹結構的變換單元，對編碼單元中的殘差數(shù)據(jù)進行劃分。

還可在變換單元中設置變換深度，其中，變換深度指示通過對編碼單元的高度和寬度進行劃分而達到變換單元的劃分次數(shù)。例如，在2N×2N的當前編碼單元中，當變換單元的尺寸是2N×2N時，變換深度可以是0，當變換單元的尺寸是N×N時，變換深度可以是1，當變換單元的尺寸是N/2×N/2時，變換深度可以是2。也就是說，針對變換單元，可根據(jù)變換深度設置具有樹結構的變換單元。

根據(jù)編碼深度的編碼信息不僅需要關于編碼深度的信息，還需要與預測和變換相關的信息。因此，編碼器810不僅可確定產生最小編碼誤差的編碼深度，還可確定將預測單元劃分為分區(qū)的分區(qū)類型、根據(jù)預測單元的預測模式以及用于變換的變換單元的尺寸。

稍后將參照圖15至圖24詳細描述根據(jù)實施例的最大編碼單元中的根據(jù)樹結構的編碼單元以及確定預測單元/分區(qū)和變換單元的方法。

編碼器810可通過使用基于拉格朗日乘數(shù)的率失真優(yōu)化來測量根據(jù)深度的較深層編碼單元的編碼誤差。

輸出單元820在比特流中輸出最大編碼單元的圖像數(shù)據(jù)和根據(jù)深度的編碼模式信息，其中，所述最大編碼單元的圖像數(shù)據(jù)基于由編碼器810確定的至少一個編碼深度而被編碼。

編碼的圖像數(shù)據(jù)可與通過對圖像的殘差數(shù)據(jù)進行編碼而獲得的結果相應。

根據(jù)深度的編碼模式信息可包括編碼深度信息、預測單元的分區(qū)類型信息、預測模式信息和變換單元的尺寸信息。

可通過使用根據(jù)深度的劃分信息來定義編碼深度信息，其中，根據(jù)深度的劃分信息指示是否對更低深度而不是當前深度的編碼單元執(zhí)行編碼。如果當前編碼單元的當前深度是編碼深度，則通過使用當前深度的編碼單元對當前編碼單元進行編碼，因此可將當前深度的劃分信息定義為不將當前編碼單元劃分到更低深度。相反，如果當前編碼單元的當前深度不是編碼深度，則必須對更低深度的編碼單元執(zhí)行編碼，并因此可將當前深度的劃分信息定義為將當前編碼單元劃分為更低深度的編碼單元。

如果當前深度不是編碼深度，則對被劃分到更低深度的編碼單元的編碼單元執(zhí)行編碼。由于更低深度的至少一個編碼單元存在于當前深度的一個編碼單元中，因此對更低深度的每個編碼單元重復執(zhí)行編碼，并因此可對具有相同深度的編碼單元遞歸地執(zhí)行編碼。

由于針對一個最大編碼單元確定具有樹結構的編碼單元，并且針對編碼深度的編碼單元必須確定至少一條編碼模式信息，因此可針對一個最大編碼單元確定至少一條編碼模式信息。此外，由于根據(jù)深度對最大編碼單元的數(shù)據(jù)進行分層劃分，因此最大編碼單元的數(shù)據(jù)的編碼深度可根據(jù)位置而不同，因此可針對最大編碼單元的數(shù)據(jù)設置編碼深度和編碼模式信息。

因此，根據(jù)實施例的輸出單元820可將關于相應編碼深度和編碼模式的編碼信息分配給包括在最大編碼單元中的編碼單元、預測單元和最小單元中的至少一個。

根據(jù)實施例的最小單元是通過將構成最低編碼深度的最小編碼單元劃分為4份而獲得的正方形數(shù)據(jù)單元?？蛇x擇地，根據(jù)實施例的最小單元可以是可包括在最大編碼單元中所包括的所有編碼單元、預測單元、分區(qū)單元和變換單元中的最大正方形數(shù)據(jù)單元。

例如，通過輸出單元820輸出的編碼信息可被分類為根據(jù)較深層編碼單元的編碼信息和根據(jù)預測單元的編碼信息。根據(jù)較深層編碼單元的編碼信息可包括關于預測模式的信息和關于分區(qū)尺寸的信息。根據(jù)預測單元的編碼信息可包括關于在幀間模式期間的估計方向的信息、關于幀間模式的參考圖像索引的信息、關于運動矢量的信息、關于幀內模式的色度分量的信息、以及關于在幀內模式期間的插值方法的信息。

根據(jù)畫面、條帶段或GOP定義的關于編碼單元的最大尺寸的信息和關于最大深度的信息可被插入到比特流的頭、序列參數(shù)集或畫面參數(shù)集中。

還可通過比特流的頭、序列參數(shù)集或畫面參數(shù)集來輸出關于針對當前視頻允許的變換單元的最大尺寸的信息、以及關于變換單元的最小尺寸的信息。輸出單元820可對與預測相關的參考信息、預測信息和條帶段類型信息進行編碼，并輸出這些信息。

根據(jù)針對視頻編碼設備800的最簡單的實施例，較深層編碼單元可以是通過將更高深度(更高一層)的編碼單元的高度或寬度劃分成兩份而獲得的編碼單元。也就是說，在當前深度的編碼單元的尺寸是2N×2N時，更低深度的編碼單元的尺寸是N×N。此外，尺寸為2N×2N的當前編碼單元可包括最多4個尺寸為N×N的更低深度的編碼單元。

因此，視頻編碼設備800可基于考慮當前畫面的特征而確定的最大編碼單元的尺寸和最大深度，通過針對每個最大編碼單元確定具有最優(yōu)形狀和最優(yōu)尺寸的編碼單元來形成具有樹結構的編碼單元。此外，由于可通過使用各種預測模式和變換中的任意一個對每個最大編碼單元執(zhí)行編碼，因此可通過考慮各種圖像尺寸的編碼單元的特征來確定最優(yōu)編碼模式。

因此，如果以傳統(tǒng)宏塊對具有高分辨率或大數(shù)據(jù)量的圖像進行編碼，則每個畫面的宏塊的數(shù)量極度增加。因此，針對每個宏塊產生的壓縮信息的條數(shù)增加，因此難以發(fā)送壓縮的信息，并且數(shù)據(jù)壓縮效率降低。然而，通過使用根據(jù)實施例的視頻編碼設備，由于在考慮圖像的尺寸的同時增加編碼單元的最大尺寸，并且在考慮圖像的特征的同時調整編碼單元，因此可提高圖像壓縮效率。

以上參照圖6a描述的可伸縮視頻編碼設備600可包括與層數(shù)相應的視頻編碼設備800，以便根據(jù)多層視頻中的每個層對單層圖像進行編碼。例如，參考層編碼器610可包括一個視頻編碼設備800，當前層編碼器660可包括與當前層的數(shù)量相應的視頻編碼設備800。

當視頻編碼設備800對參考層圖像進行編碼時，編碼器810可根據(jù)每個最大編碼單元中的樹結構的編碼單元中的每個編碼單元確定用于圖像間預測的預測單元，并可對每個預測單元執(zhí)行圖像間預測。

當視頻編碼設備800對當前層圖像進行編碼時，編碼器810可在每個最大編碼單元中確定樹結構的編碼單元和預測單元，并可對每個預測單元執(zhí)行幀間預測。

視頻編碼設備800可通過使用SAO對用于預測當前層圖像的層間預測誤差進行編碼。因此，可基于預測誤差的樣點值分布，通過使用關于SAO類型和偏移的信息來對當前層圖像的預測誤差進行編碼，而不必對每個樣點位置的預測誤差進行編碼。

圖8b示出根據(jù)各種實施例的基于具有樹結構的編碼單元的視頻解碼設備850的框圖。

涉及基于根據(jù)樹結構的編碼單元的視頻預測的視頻解碼設備850包括接收和提取單元110、圖像數(shù)據(jù)和編碼信息接收和提取單元860以及解碼器870。以下，為了便于描述，涉及基于根據(jù)樹結構的編碼單元的視頻預測的視頻解碼設備850將被簡稱為“視頻解碼設備850”。

用于視頻解碼設備850的解碼操作的各種術語(諸如編碼單元、深度、預測單元、變換單元和關于各種編碼模式的信息)的定義與參照圖8a和視頻編碼設備800描述的定義相同。

接收和提取單元860接收并解析編碼的視頻的比特流。圖像數(shù)據(jù)和編碼信息接收和提取單元860從解析的比特流針對每個編碼單元提取編碼的圖像數(shù)據(jù)，并將提取的圖像數(shù)據(jù)輸出到解碼器870，其中，編碼單元具有根據(jù)每個最大編碼單元的樹結構。圖像數(shù)據(jù)和編碼信息接收和提取單元860可從關于當前畫面的頭、序列參數(shù)集或畫面參數(shù)集提取關于當前畫面的編碼單元的最大尺寸的信息。

此外，圖像數(shù)據(jù)和編碼信息接收和提取單元860從解析的比特流根據(jù)每個最大編碼單元提取關于具有樹結構的編碼單元的編碼深度和編碼模式的信息。提取的關于編碼深度和編碼模式的信息被輸出到解碼器870。也就是說，比特流中的圖像數(shù)據(jù)被劃分為最大編碼單元，使得解碼器870針對每個最大編碼單元對圖像數(shù)據(jù)進行解碼。

可針對關于至少一個與編碼深度相應的編碼單元的信息設置根據(jù)最大編碼單元的關于編碼深度和編碼模式的信息，關于編碼模式的信息可包括關于與編碼深度相應的相應編碼單元的分區(qū)類型的信息、關于預測模式的信息和關于變換單元的尺寸的信息。此外，根據(jù)深度的劃分信息可被提取為關于編碼深度的信息。

由圖像數(shù)據(jù)和編碼信息接收和提取單元860提取的根據(jù)每個最大編碼單元的關于編碼深度和編碼模式的信息是這樣的關于編碼深度和編碼模式的信息：所述編碼深度和編碼模式被確定為在編碼器(諸如，根據(jù)實施例的視頻編碼設備800)根據(jù)每個最大編碼單元對根據(jù)深度的每個較深層編碼單元重復地執(zhí)行編碼時產生最小編碼誤差。因此，視頻解碼設備850可通過根據(jù)產生最小編碼誤差的編碼方法對數(shù)據(jù)進行解碼來重建圖像。

由于根據(jù)實施例的關于編碼深度和編碼模式的編碼信息可被分配給相應的編碼單元、預測單元和最小單元之中的預定數(shù)據(jù)單元，因此圖像數(shù)據(jù)和編碼信息接收和提取單元860可根據(jù)所述預定數(shù)據(jù)單元提取關于編碼深度和編碼模式的信息。可將被分配相同的關于編碼深度和編碼模式的信息的預定數(shù)據(jù)單元推斷為是包括在同一最大編碼單元中的數(shù)據(jù)單元。

解碼器870可通過基于根據(jù)每個最大編碼單元的編碼深度和編碼模式信息對每個最大編碼單元中的圖像數(shù)據(jù)進行解碼來重建當前畫面。也就是說，解碼器870可基于針對包括在每個最大編碼單元中的具有樹結構的編碼單元之中的每個編碼單元的讀取分區(qū)類型、預測模式和變換單元，對編碼的圖像數(shù)據(jù)進行解碼。解碼處理可包括預測處理(包含幀內預測和運動補償)和逆變換處理。

解碼器870可基于關于根據(jù)編碼深度的編碼單元的預測單元的分區(qū)類型和預測模式的信息，根據(jù)每個編碼單元的分區(qū)和預測模式執(zhí)行幀內預測或運動補償。

此外，為了針對每個最大編碼單元來進行逆變換，解碼器870可針對每個編碼單元讀取關于根據(jù)樹結構的變換單元的信息，以便基于每個編碼單元的變換單元執(zhí)行逆變換。由于逆變換，可重建編碼單元的空間域的像素值。

解碼器870可通過使用根據(jù)深度的劃分信息來確定當前最大編碼單元的編碼深度。如果劃分信息指示圖像數(shù)據(jù)在當前深度中不再被劃分，則當前深度是編碼深度。因此，解碼器870可針對與當前深度相應的每個編碼單元，通過使用關于預測單元的分區(qū)類型的信息、關于預測模式的信息和關于變換單元的尺寸的信息，對當前最大編碼單元的圖像數(shù)據(jù)進行解碼。

也就是說，可通過觀察被分配用于編碼單元、預測單元和最小單元之中的預定數(shù)據(jù)單元的編碼信息集來收集包含包括相同劃分信息的編碼信息的數(shù)據(jù)單元，并且收集的數(shù)據(jù)單元可被認為是將由解碼器870以相同編碼模式進行解碼的一個數(shù)據(jù)單元。這樣，可通過獲得關于每個編碼單元的編碼模式的信息來對當前編碼單元進行解碼。

以上參照圖7b描述的可伸縮視頻解碼設備700可包括與視點數(shù)相應的視頻解碼設備850，以便通過對接收到的參考層圖像流和接收到的當前層圖像流進行解碼來重建參考層圖像和當前層圖像。

當參考層圖像流被接收時，視頻解碼設備850的解碼器870可將由接收和提取單元860從參考層圖像流提取的參考層圖像的樣點劃分為最大編碼單元的根據(jù)樹結構的編碼單元。解碼器870可基于用于圖像間預測的預測單元，對參考層圖像的樣點的根據(jù)樹結構的編碼單元中的每個編碼單元執(zhí)行運動補償，并可重建參考層圖像。

在當前層圖像流被接收時，視頻解碼設備850的解碼器870可將由接收和提取單元860從當前層圖像流提取的當前層圖像的樣點劃分為最大編碼單元的根據(jù)樹結構的編碼單元。解碼器870可基于用于圖像間預測的預測單元，對當前層圖像的樣點的根據(jù)樹結構的編碼單元中的每個編碼單元執(zhí)行運動補償，并可重建當前層圖像。

接收和提取單元860可從接收到的當前層比特流獲得SAO類型和偏移，并可根據(jù)當前層預測圖像的每個樣點的樣點值的分布確定SAO類別，由此通過使用SAO類型和偏移來獲得針對每個SAO類別的偏移。因此，解碼器870可在不接收每個樣點的預測誤差的情況下，補償當前層預測圖像的每個樣點的相應類別的偏移，并可通過參考被補償?shù)漠斍皩宇A測圖像來確定重建的當前層圖像。

因此，視頻解碼設備850可獲得與在對每個最大編碼單元遞歸地執(zhí)行編碼時產生最小編碼誤差的至少一個編碼單元有關的信息，并可使用所述信息來對當前畫面進行解碼。也就是說，可對每個最大編碼單元中的被確定為最優(yōu)編碼單元的具有樹結構的編碼單元進行解碼。

因此，即使數(shù)據(jù)具有高分辨率或具有過大的數(shù)據(jù)量，也可通過使用編碼單元的尺寸和編碼模式來有效地對圖像進行解碼和重建，其中，所述編碼單元的尺寸和編碼模式是通過使用從編碼終端接收的最優(yōu)編碼模式信息，根據(jù)圖像的特性而被自適應地確定的。

圖9示出根據(jù)各種實施例的編碼單元的構思。

編碼單元的尺寸可由寬度×高度來表示，并且可以是64×64、32×32、16×16和8×8。64×64的編碼單元可被劃分為64×64、64×32、32×64或32×32的分區(qū)，32×32的編碼單元可被劃分為32×32、32×16、16×32或16×16的分區(qū)，16×16的編碼單元可被劃分為16×16、16×8、8×16或8×8的分區(qū)，8×8的編碼單元可被劃分為8×8、8×4、4×8或4×4的分區(qū)。

在視頻數(shù)據(jù)910中，分辨率為1920×1080，編碼單元的最大尺寸為64，最大深度為2。在視頻數(shù)據(jù)920中，分辨率為1920×1080，編碼單元的最大尺寸為64，最大深度為3。在視頻數(shù)據(jù)930中，分辨率為352×288，編碼單元的最大尺寸為16，最大深度為1。圖15中示出的最大深度表示從最大編碼單元到最小編碼單元的劃分總次數(shù)。

如果分辨率高或數(shù)據(jù)量大，則優(yōu)選的是編碼單元的最大尺寸大，從而不僅提高編碼效率，而且準確地反映圖像的特征。因此，具有比視頻數(shù)據(jù)930更高分辨率的視頻數(shù)據(jù)910和920的編碼單元的最大尺寸可被選為64。

由于視頻數(shù)據(jù)910的最大深度是2，因此由于通過對最大編碼單元劃分兩次，深度加深至兩層，因此視頻數(shù)據(jù)910的編碼單元915可包括長軸尺寸為64的最大編碼單元和長軸尺寸為32和16的編碼單元。另一方面，由于視頻數(shù)據(jù)930的最大深度是1，因此由于通過對最大編碼單元劃分一次，深度加深至一層，因此視頻數(shù)據(jù)930的編碼單元935可包括長軸尺寸為16的最大編碼單元和長軸尺寸為8的編碼單元。

由于視頻數(shù)據(jù)920的最大深度是3，因此由于通過對最大編碼單元劃分三次，深度加深至3層，因此視頻數(shù)據(jù)920的編碼單元925可包括長軸尺寸為64的最大編碼單元和長軸尺寸為32、16和8的編碼單元。隨著深度加深，關于詳細信息的表現(xiàn)能力可被提高。

圖10a示出根據(jù)各種實施例的基于編碼單元的圖像編碼器1000的框圖。

根據(jù)實施例的圖像編碼器1000包括由視頻編碼設備900的編碼器910對圖像數(shù)據(jù)進行編碼所執(zhí)行的操作。也就是說，幀內預測器1004在當前幀1002中對幀內模式下的編碼單元執(zhí)行幀內預測，運動估計器1006和運動補償器1008通過使用當前幀1002和參考幀1026對當前幀1002中的幀間模式下的編碼單元執(zhí)行幀間估計和運動補償。

從幀內預測器1004、運動估計器1006和運動補償器1008輸出的數(shù)據(jù)通過變換器1010和量化器1012被輸出為量化后的變換系數(shù)。量化后的變換系數(shù)通過反量化器1018和逆變換器1020被恢復為空間域中的數(shù)據(jù)，并且恢復的空間域中的數(shù)據(jù)在通過去塊單元1022和偏移補償單元1024的后處理之后被輸出為參考幀1026。量化后的變換系數(shù)可通過熵編碼器1014被輸出為比特流1016。

為了將圖像編碼器1000應用于視頻編碼設備900，圖像編碼器1000的所有元件(即，幀內預測器1004、運動估計器1006、運動補償器1008、變換器1010、量化器1012、熵編碼器1014、反量化器41018、逆變換器1020、去塊單元1022和偏移補償單元1024)在考慮每個最大編碼單元的最大深度的同時，基于具有樹結構的編碼單元之中的每個編碼單元執(zhí)行操作。

具體地，幀內預測器1004、運動估計器1006和運動補償器1008在考慮當前最大編碼單元的最大尺寸和最大深度的同時確定具有樹結構的編碼單元之中的每個編碼單元的分區(qū)和預測模式，變換器1010確定具有樹結構的編碼單元之中的每個編碼單元中的變換單元的尺寸。

圖10b示出根據(jù)各種實施例的基于編碼單元的圖像解碼器1050的框圖。

解析器1054從比特流1052解析將被解碼的編碼圖像數(shù)據(jù)以及解碼所需的關于編碼的信息。編碼圖像數(shù)據(jù)通過熵解碼器和反量化器1058被輸出為反量化的數(shù)據(jù)，反量化的數(shù)據(jù)通過逆變換器1060被恢復為空間域中的圖像數(shù)據(jù)。

幀內預測器1062針對空間域中的圖像數(shù)據(jù)對幀內模式下的編碼單元執(zhí)行幀內預測，運動補償器1064通過使用參考幀1070對幀間模式下的編碼單元執(zhí)行運動補償。

通過幀內預測器1062和運動補償器1064的空間域中的圖像數(shù)據(jù)可在通過去塊單元1066和偏移補償單元1068的后處理之后被輸出為恢復的幀1072。此外，通過去塊單元1066和偏移補償單元1068的后處理的圖像數(shù)據(jù)可被輸出為參考幀1070。

為了在視頻解碼設備1050的解碼器970中對圖像數(shù)據(jù)進行解碼，根據(jù)實施例的圖像解碼器1050可執(zhí)行在解析器1054執(zhí)行操作之后被執(zhí)行的操作。

為了將圖像解碼器1050應用到視頻解碼設備950，圖像解碼器1050的所有元件(即，解析器1054、熵解碼器1056、反量化器1058、逆變換器1060、幀內預測器1062、運動補償器1064、去塊單元1066和偏移補償單元1068)針對每個最大編碼單元，基于具有樹結構的編碼單元執(zhí)行操作。

具體地，幀內預測器1062和運動補償器1064針對每個具有樹結構的編碼單元，基于分區(qū)和預測模式執(zhí)行操作，逆變換器1060針對每個編碼單元，基于變換單元的尺寸執(zhí)行操作。

圖10a的編碼操作和圖10b的解碼操作分別詳細描述了單個層中的視頻流編碼操作和視頻流解碼操作。因此如果圖6a的可伸縮視頻編碼設備600對兩個或更多個層的視頻流進行編碼，則可針對每個層提供圖像編碼器1000。類似地，如果圖7a的可伸縮視頻解碼設備700對兩個或更多個層的視頻流進行解碼，則可針對每個層提供圖像解碼器1050。

圖11示出根據(jù)各種實施例的根據(jù)深度的較深層編碼單元以及分區(qū)的示圖。

根據(jù)實施例的視頻編碼設備800和根據(jù)實施例的視頻解碼設備850使用分層編碼單元以考慮圖像的特征?？筛鶕?jù)圖像的特征自適應地確定編碼單元的最大高度、最大寬度和最大深度，或可由用戶不同地設置編碼單元的最大高度、最大寬度和最大深度?？筛鶕?jù)編碼單元的預定最大尺寸來確定根據(jù)深度的較深層編碼單元的尺寸。

在根據(jù)實施例的編碼單元的分層結構1100中，編碼單元的最大高度和最大寬度均是64，最大深度是4。在此情況下，最大深度是指編碼單元從最大編碼單元到最小編碼單元被劃分的總次數(shù)。由于深度沿著分層結構1100的垂直軸加深，因此較深層編碼單元的高度和寬度均被劃分。此外，預測單元和分區(qū)沿著分層結構1100的水平軸被示出，其中，所述預測單元和分區(qū)是對每個較深層編碼單元進行預測編碼的基礎。

也就是說，編碼單元1110是分層結構1100中的最大編碼單元，其中，深度為0，尺寸(即，高度乘寬度)為64×64。深度沿著垂直軸加深，存在尺寸為32×32且深度為1的編碼單元1120、尺寸為16×16且深度為2的編碼單元1130、尺寸為8×8且深度為3的編碼單元1140。尺寸為8×8且深度為3的編碼單元1140是最小編碼單元。

編碼單元的預測單元和分區(qū)根據(jù)每個深度沿著水平軸被排列。也就是說，如果尺寸為64×64且深度為0的編碼單元1110是預測單元，則可將預測單元劃分成包括在尺寸為64×64的編碼單元1110中的分區(qū)，即，尺寸為64×64的分區(qū)1110、尺寸為64×32的分區(qū)1112、尺寸為32×64的分區(qū)1114或尺寸為32×32的分區(qū)1116。

同樣，可將尺寸為32×32且深度為1的編碼單元1120的預測單元劃分成包括在尺寸為32×32的編碼單元1120中的分區(qū)，即，尺寸為32×32的分區(qū)1120、尺寸為32×16的分區(qū)1122、尺寸為16×32的分區(qū)1124和尺寸為16×16的分區(qū)1126。

同樣，可將尺寸為16×16且深度為2的編碼單元1130的預測單元劃分成包括在尺寸為16×16的編碼單元1130中的分區(qū)，即，尺寸為16×16的分區(qū)1130、尺寸為16×8的分區(qū)1132、尺寸為8×16的分區(qū)1134和尺寸為8×8的分區(qū)1136。

同樣，可將尺寸為8×8且深度為3的編碼單元1140的預測單元劃分成包括在尺寸為8×8的編碼單元1140中的分區(qū)，即，尺寸為8×8的分區(qū)1140、尺寸為8×4的分區(qū)1142、尺寸為4×8的分區(qū)1144和尺寸為4×4的分區(qū)1146。

為了確定最大編碼單元1110的編碼深度，視頻編碼設備800的編碼器810必須對包括在最大編碼單元1110中的分別與深度相應的編碼單元執(zhí)行編碼。

隨著深度加深，包括具有相同范圍和相同尺寸的數(shù)據(jù)的根據(jù)深度的較深層編碼單元的數(shù)量增加。例如，需要四個與深度2相應的編碼單元來覆蓋包括在與深度1相應的一個編碼單元中的數(shù)據(jù)。因此，為了根據(jù)深度比較對相同數(shù)據(jù)進行編碼的結果，必須通過使用與深度1相應的編碼單元和四個與深度2相應的編碼單元中的每個編碼單元來對數(shù)據(jù)進行編碼。

為了根據(jù)多個深度之中的每個深度執(zhí)行編碼，可沿著編碼單元的分層結構1100的水平軸，通過對根據(jù)深度的編碼單元中的每個預測單元執(zhí)行編碼，來選擇作為相應深度的代表性編碼誤差的最小編碼誤差。此外，隨著深度沿著編碼單元的分層結構1100的垂直軸加深，可通過針對每個深度執(zhí)行編碼來比較根據(jù)深度的代表性編碼誤差，以搜索最小編碼誤差。最大編碼單元1110中的產生最小編碼誤差的深度和分區(qū)可被選為最大編碼單元1110的深度和分區(qū)類型。

圖12示出用于描述根據(jù)各種實施例的編碼單元和變換單元之間的關系的示圖。

根據(jù)實施例的視頻編碼設備800或根據(jù)實施例的視頻解碼設備850針對每個最大編碼單元，根據(jù)具有小于或等于最大編碼單元的尺寸的編碼單元對圖像進行編碼或解碼?？苫诓淮笥谙鄳幋a單元的數(shù)據(jù)單元來選擇用于在編碼處理期間進行變換的變換單元的尺寸。

例如，在視頻編碼設備800或視頻解碼設備850中，如果編碼單元1210的尺寸是64×64，則可通過使用尺寸為32×32的變換單元1220來執(zhí)行變換。

此外，可通過對小于64×64的尺寸為32×32、16×16、8×8和4×4的變換單元中的每一個執(zhí)行變換，來對尺寸為64×64的編碼單元1210的數(shù)據(jù)進行編碼，然后可選擇針對原始圖像具有最小編碼誤差的變換單元。

圖13示出根據(jù)各種實施例的根據(jù)深度的多條編碼信息。

根據(jù)實施例的視頻編碼設備100的輸出單元820可對與編碼深度相應的每個編碼單元的分區(qū)類型信息1300、預測模式信息1310以及變換單元尺寸信息1320進行編碼，并將分區(qū)類型信息1300、預測模式信息1310以及變換單元尺寸信息1320作為編碼模式信息來發(fā)送。

分區(qū)類型信息1300指示關于通過劃分當前編碼單元的預測單元而獲得的分區(qū)的形狀的信息，其中，分區(qū)是用于對當前編碼單元進行預測編碼的數(shù)據(jù)單元。例如，可將尺寸為2N×2N的當前編碼單元CU_0劃分成以下分區(qū)中的任意一個：尺寸為2N×2N的分區(qū)1302、尺寸為2N×N的分區(qū)1304、尺寸為N×2N的分區(qū)1306和尺寸為N×N的分區(qū)1308。在這種情況下，關于當前編碼單元的分區(qū)類型信息1300被設置為指示以下分區(qū)之一：尺寸為2N×2N的分區(qū)1302、尺寸為2N×N的分區(qū)1304、尺寸為N×2N的分區(qū)1306和尺寸為N×N的分區(qū)1308。

預測模式信息1310指示每個分區(qū)的預測模式。例如，預測模式信息1310可指示對由分區(qū)類型信息1300指示的分區(qū)執(zhí)行的預測編碼的模式，即，幀內模式1312、幀間模式1314或跳過模式1316。

變換單元尺寸信息1320表示當對當前編碼單元執(zhí)行變換時所基于的變換單元。例如，變換單元可以是第一幀內變換單元1322、第二幀內變換單元1324、第一幀間變換單元1326和第二幀間變換單元1328之一。

視頻解碼設備850的接收和提取單元810可根據(jù)每個較深層編碼單元，提取并使用用于解碼的分區(qū)類型信息1300、預測模式信息1310以及變換單元尺寸信息1320。

圖14示出根據(jù)各種實施例的根據(jù)深度的較深層編碼單元。

劃分信息可用來表示深度的改變。劃分信息表示當前深度的編碼單元是否被劃分成更低深度的編碼單元。

用于對深度為0且尺寸為2N_0×2N_0的編碼單元1400進行預測編碼的預測單元1410可包括以下分區(qū)類型的分區(qū)：尺寸為2N_0×2N_0的分區(qū)類型1412、尺寸為2N_0×N_0的分區(qū)類型1414、尺寸為N_0×2N_0的分區(qū)類型1416和尺寸為N_0×N_0的分區(qū)類型1418。僅示出了通過對稱地劃分預測單元而獲得的分區(qū)類型1412、1414、1416和1418，但是，如上所述，分區(qū)類型不限于此，并且可包括非對稱分區(qū)、具有預定形狀的分區(qū)和具有幾何形狀的分區(qū)。

根據(jù)每種分區(qū)類型，必須對尺寸為2N_0×2N_0的一個分區(qū)、尺寸為2N_0×N_0的兩個分區(qū)、尺寸為N_0×2N_0的兩個分區(qū)和尺寸為N_0×N_0的四個分區(qū)重復地執(zhí)行預測編碼?？蓪Τ叽鐬?N_0×2N_0、N_0×2N_0、2N_0×N_0和N_0×N_0的分區(qū)執(zhí)行幀內模式和幀間模式下的預測編碼。可僅對尺寸為2N_0×2N_0的分區(qū)執(zhí)行跳過模式下的預測編碼。

如果在尺寸為2N_0x2N_0、2N_0xN_0和N_0x2N_0的分區(qū)類型1412、1414和1416中的一個分區(qū)類型中編碼誤差最小，則可不將預測單元1410劃分到更低深度。

如果在尺寸為N_0xN_0的分區(qū)類型1418中編碼誤差最小，則深度從0改變到1，并執(zhí)行劃分(在操作1420)，并可對深度為2且尺寸為N_0×N_0的分區(qū)類型的編碼單元1430重復地執(zhí)行編碼以搜索最小編碼誤差。

用于對深度為1且尺寸為2N_1×2N_1(＝N_0×N_0)的編碼單元1430進行預測編碼的預測單元1440可包括以下分區(qū)類型：尺寸為2N_1×2N_1的分區(qū)類型1442、尺寸為2N_1×N_1的分區(qū)類型1444、尺寸為N_1×2N_1的分區(qū)類型1446以及尺寸為N_1×N_1的分區(qū)類型1448。

如果在尺寸為N_1xN_1的分區(qū)類型1448中編碼誤差最小，則深度從1改變到2并執(zhí)行劃分(在操作1450)，并對深度為2且尺寸為N_2×N_2的編碼單元1460重復執(zhí)行編碼以搜索最小編碼誤差。

當最大深度是d時，根據(jù)深度的較深層編碼單元可被設置直到深度與d-1相應，并且劃分信息可被設置直到深度與d-2相應。也就是說，當編碼被執(zhí)行直到在與d-2的深度相應的編碼單元(在操作1470)被劃分之后深度是d-1時，用于對深度為d-1且尺寸為2N_(d-1)×2N_(d-1)的編碼單元1480進行預測編碼的預測單元1490可包括以下分區(qū)類型的分區(qū)：尺寸為2N_(d-1)×2N_(d-1)的分區(qū)類型992、尺寸為2N_(d-1)×N_(d-1)的分區(qū)類型1494、尺寸為N_(d-1)×2N_(d-1)的分區(qū)類型1496和尺寸為N_(d-1)×N_(d-1)的分區(qū)類型1498。

可對分區(qū)類型之中的尺寸為2N_(d-1)×2N_(d-1)的一個分區(qū)、尺寸為2N_(d-1)×N_(d-1)的兩個分區(qū)、尺寸為N_(d-1)×2N_(d-1)的兩個分區(qū)、尺寸為N_(d-1)×N_(d-1)的四個分區(qū)重復地執(zhí)行預測編碼，以搜索產生最小編碼誤差的分區(qū)類型。

即使當尺寸為N_(d-1)xN_(d-1)的分區(qū)類型1498具有最小編碼誤差時，由于最大深度是d，因此深度為d-1的編碼單元CU_(d-1)不再被劃分到更低深度，用于構成當前最大編碼單元1400的編碼單元的編碼深度被確定為d-1，并且當前最大編碼單元1400的分區(qū)類型可被確定為N_(d-1)×N_(d-1)。此外，由于最大深度是d，因此不設置針對深度為d-1的編碼單元1452的劃分信息。

數(shù)據(jù)單元1499可以是用于當前最大編碼單元的“最小單元”。根據(jù)實施例的最小單元可以是通過將具有最低編碼深度的最小編碼單元劃分成4份而獲得的正方形數(shù)據(jù)單元。通過重復地執(zhí)行編碼，根據(jù)實施例的視頻編碼設備800可通過比較根據(jù)編碼單元1400的深度的編碼誤差來選擇具有最小編碼誤差的深度以確定編碼深度，并將相應分區(qū)類型和預測模式設置為編碼深度的編碼模式。

這樣，在所有深度0、1、…、d-1、d中對根據(jù)深度的最小編碼誤差進行比較，并且具有最小編碼誤差的編碼深度可被確定為深度。編碼深度、預測單元的分區(qū)類型和預測模式可作為編碼模式信息被編碼并被發(fā)送。此外，由于編碼單元必須從深度0被劃分到編碼深度，因此僅將編碼深度的劃分信息設置為“0”，并且將除了編碼深度以外的深度的劃分信息設置為“1”。

根據(jù)實施例的視頻解碼設備850的圖像數(shù)據(jù)和編碼信息接收和提取單元860可提取并使用關于編碼單元1400的編碼深度和預測單元信息，以對編碼單元1412進行解碼。根據(jù)實施例的視頻解碼設備850可通過使用根據(jù)深度的劃分信息，將劃分信息為“0”的編碼深度確定為深度，并且使用關于相應深度的編碼模式信息來進行解碼。

圖15、圖16和圖17示出根據(jù)各種實施例的在編碼單元、預測單元和變換單元之間的關系。

編碼單元1510是最大編碼單元中的根據(jù)由視頻編碼設備100確定的編碼深度的較深層的編碼單元。預測單元1560是根據(jù)編碼深度的每個編碼單元1510的預測單元的分區(qū)，變換單元1570是根據(jù)編碼深度的每個編碼單元的變換單元。

當在較深層編碼單元1510中最大編碼單元的深度是0時，編碼單元1512的深度是1，編碼單元1514、1516、1518、1528、1550和1552的深度是2，編碼單元1520、1522、1524、1526、1530、1532和1548的深度是3，編碼單元1540、1542、1544和1546的深度是4。

通過劃分編碼單元來獲得預測單元1560中的一些分區(qū)1514、1516、1522、1532、1548、1550、1552和1554。也就是說，分區(qū)1514、1522、1550和1554是尺寸為2N×N的分區(qū)類型，分區(qū)1516、1548和1552是尺寸為N×2N的分區(qū)類型，分區(qū)1532是尺寸為N×N的分區(qū)類型。較深層編碼單元1510的預測單元和分區(qū)小于或等于每個編碼單元。

在小于編碼單元1552的數(shù)據(jù)單元中的變換單元1570中，對編碼單元1552的圖像數(shù)據(jù)執(zhí)行變換或逆變換。此外，在尺寸和形狀方面，變換單元1560中的編碼單元1514、1516、1522、1532、1548、1550、1552和1554不同于預測單元1560中的編碼單元1514、1516、1522、1532、1548、1550、1552和1554。也就是說，根據(jù)實施例的視頻編碼設備800和視頻解碼設備850可對同一編碼單元中的單個數(shù)據(jù)單元執(zhí)行幀內預測/運動估計/運動補償以及變換/逆變換。

因此，對最大編碼單元的每個區(qū)域中的具有分層結構的每個編碼單元遞歸地執(zhí)行編碼以確定最優(yōu)編碼單元，從而可獲得根據(jù)遞歸樹結構的編碼單元。編碼信息可包括關于編碼單元的劃分信息、分區(qū)類型信息、預測類型信息和變換單元尺寸信息。下面的表1示出可由根據(jù)實施例的視頻編碼設備800和視頻解碼設備850設置的編碼信息。

[表1]

根據(jù)實施例的視頻編碼設備800的輸出單元820可輸出關于具有樹結構的編碼單元的編碼信息，根據(jù)實施例的視頻解碼設備850的編碼信息接收和提取單元860可從接收到的比特流提取關于具有樹結構的編碼單元的編碼信息。

劃分信息指示是否將當前編碼單元劃分成更低深度的編碼單元。如果當前深度d的劃分信息是0，則當前編碼單元不再被劃分成更低深度的深度是編碼深度，從而可針對編碼深度來定義分區(qū)類型信息、預測模式信息和變換單元尺寸信息。如果當前編碼單元根據(jù)劃分信息必須被進一步劃分，則必須對更低深度的四個劃分出的編碼單元中的每個編碼單元獨立地執(zhí)行編碼。

預測模式可以是幀內模式、幀間模式和跳過模式中的一種?？稍谒蟹謪^(qū)類型中定義幀內模式和幀間模式，可僅在尺寸為2N×2N的分區(qū)類型中定義跳過模式。

分區(qū)類型信息可指示通過對稱地劃分預測單元的高度或寬度而獲得的尺寸為2N×2N、2N×N、N×2N和N×N的對稱分區(qū)類型，以及通過非對稱地劃分預測單元的高度或寬度而獲得的尺寸為2N×nU、2N×nD、nL×2N和nR×2N的非對稱分區(qū)類型。可通過按1:3和3:1劃分預測單元的高度來分別獲得尺寸為2N×nU和2N×nD的非對稱分區(qū)類型，可通過按1:3和3:1劃分預測單元的寬度來分別獲得尺寸為nL×2N和nR×2N的非對稱分區(qū)類型。

可將變換單元的尺寸設置成幀內模式下的兩種類型和幀間模式下的兩種類型。也就是說，如果變換單元的劃分信息是0，則變換單元的尺寸可以是2N×2N，即當前編碼單元的尺寸。如果變換單元的劃分信息是1，則可通過對當前編碼單元進行劃分來獲得變換單元。此外，如果尺寸為2N×2N的當前編碼單元的分區(qū)類型是對稱分區(qū)類型，則變換單元的尺寸可以是N×N，如果當前編碼單元的分區(qū)類型是非對稱分區(qū)類型，則變換單元的尺寸可以是N/2×N/2。

根據(jù)實施例的關于具有樹結構的編碼單元的編碼信息可被分配給編碼深度的編碼單元、預測單元和最小單元中的至少一個。編碼深度的編碼單元可包括包含相同編碼信息的預測單元和最小單元中的至少一個。

因此，通過比較鄰近數(shù)據(jù)單元的編碼信息來確定鄰近數(shù)據(jù)單元是否被包括在與編碼深度相應的同一編碼單元中。此外，可通過使用數(shù)據(jù)單元的編碼信息來確定與編碼深度相應的相應編碼單元，并因此可推斷最大編碼單元中的編碼深度的分布。

因此，如果基于鄰近數(shù)據(jù)單元的編碼信息來對當前編碼單元進行預測，則可直接參考并使用與當前編碼單元鄰近的較深層編碼單元中的數(shù)據(jù)單元的編碼信息。

在另一實施例中，如果基于鄰近數(shù)據(jù)單元的編碼信息來對當前編碼單元進行預測，則可通過使用數(shù)據(jù)單元的編碼信息來搜索與當前編碼單元鄰近的數(shù)據(jù)單元，并可參考搜索到的鄰近編碼單元來對當前編碼單元進行預測。

圖18示出根據(jù)表1的編碼模式信息的編碼單元、預測單元和變換單元之間的關系。

最大編碼單元1800包括多個編碼深度的編碼單元1802、1804、1806、1812、1814、1816和1818。這里，由于編碼單元1818是編碼深度的編碼單元，因此劃分信息可被設置成0。可將尺寸為2N×2N的編碼單元1818的分區(qū)類型信息設置成包括以下項的分區(qū)類型中的一種：2N×2N 1822、2N×N1824、N×2N 1826、N×N 1828、2N×nU 1832、2N×nD 1834、nL×2N 1836和nR×2N 1838。

變換單元劃分信息(TU尺寸標記)是一種類型的變換索引，與變換索引相應的變換單元的尺寸可根據(jù)編碼單元的預測單元類型或分區(qū)類型而改變。

例如，當分區(qū)類型信息被設置為對稱分區(qū)類型2N×2N 1822、2N×N 1824、N×2N 1826、N×N 1828之一時，如果變換單元劃分信息是0，則設置尺寸為2N×2N的變換單元1842，如果變換單元劃分信息是1，則可設置尺寸為N×N的變換單元1844。

當分區(qū)類型被設置成非對稱分區(qū)類型2N×nU 1832、2N×nD 1834、nL×2N1836和nR×2N 1838之一時，如果變換單元劃分信息是0，則可設置尺寸為2N×2N的變換單元1852，如果變換單元劃分信息是1，則可設置尺寸為N/2×N/2的變換單元1854。

以上參照圖18描述的變換單元劃分信息(TU尺寸標記)是具有值0或1的標記，但是根據(jù)示例性實施例的變換單元劃分信息不限于具有1比特的標記，并且變換單元可根據(jù)設置，在變換單元劃分信息以0、1、2、3、…等的方法增加時被分層劃分。變換單元劃分信息可以是變換索引的示例。

在這種情況下，可通過使用根據(jù)實施例的變換單元劃分信息以及變換單元的最大尺寸和變換單元的最小尺寸來表示實際上已使用的變換單元的尺寸。根據(jù)實施例的視頻編碼設備800可對最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元劃分信息進行編碼。對最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元劃分信息進行編碼的結果可被插入SPS。根據(jù)實施例的視頻解碼設備850可通過使用最大變換單元尺寸信息、最小變換單元尺寸信息和最大變換單元劃分信息來對視頻進行解碼。

例如，(a)如果當前編碼單元的尺寸是64×64并且最大變換單元尺寸是32×32，則(a-1)當TU尺寸標記為0時，變換單元的尺寸可以是32×32，(a-2)當TU尺寸標記為1時，變換單元的尺寸可以是16×16，(a-3)當TU尺寸標記為2時，變換單元的尺寸可以是8×8。

作為另一示例，(b)如果當前編碼單元的尺寸是32×32并且最小變換單元尺寸是32×32，則(b-1)當TU尺寸標記為0時，變換單元的尺寸可以是32×32。這里，由于變換單元的尺寸不能夠小于32×32，因此TU尺寸標記不能夠被設置為除了0以外的值。

作為另一示例，(c)如果當前編碼單元的尺寸是64×64并且最大TU尺寸標記為1，則TU尺寸標記可以是0或1。這里，TU尺寸標記不能夠被設置為除了0或1以外的值。

因此，如果定義最大TU尺寸標記為“MaxTransformSizeIndex”，最小變換單元尺寸為“MinTransformSize”，并且當TU尺寸標記為0時的變換單元尺寸為“RootTuSize”，則可通過等式(1)來定義可在當前編碼單元中確定的當前最小變換單元尺寸“CurrMinTuSize”：

CurrMinTuSize＝max(MinTransformSize,RootTuSize/(2^MaxTransformSizeIndex))

…(1)

與可在當前編碼單元中確定的當前最小變換單元尺寸“CurrMinTuSize”相比，當TU尺寸標記為0時的變換單元尺寸“RootTuSize”可指示可在系統(tǒng)中選擇的最大變換單元尺寸。也就是說，在等式(1)中，“RootTuSize/(2^MaxTransformSizeIndex)”指示當TU尺寸標記為0時，變換單元尺寸“RootTuSize”被劃分了與最大TU尺寸標記相應的次數(shù)時的變換單元尺寸，“MinTransformSize”指示最小變換尺寸。因此，“RootTuSize/(2^MaxTransformSizeIndex)”和“MinTransformSize”中較小的值可以是可在當前編碼單元中確定的當前最小變換單元尺寸“CurrMinTuSize”。

根據(jù)實施例，最大變換單元尺寸RootTuSize可根據(jù)預測模式的類型而改變。

例如，如果當前預測模式是幀間模式，則可通過使用以下的等式(2)來確定“RootTuSize”。在等式(2)中，“MaxTransformSize”指示最大變換單元尺寸，“PUSize”指示當前預測單元尺寸。

RootTuSize＝min(MaxTransformSize,PUSize)……(2)

也就是說，如果當前預測模式是幀間模式，則當TU尺寸標記為0時的變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當前預測單元尺寸中較小的值。

如果當前分區(qū)單元的預測模式是幀內模式，則可通過使用以下的等式(3)來確定“RootTuSize”。在等式(3)中，“PartitionSize”指示當前分區(qū)單元的尺寸：

RootTuSize＝min(MaxTransformSize,PartitionSize)……(3)

也就是說，如果當前預測模式是幀內模式，則當TU尺寸標記為0時的變換單元尺寸“RootTuSize”可以是最大變換單元尺寸和當前分區(qū)單元的尺寸之中較小的值。

然而，根據(jù)分區(qū)單元中的預測模式的類型而改變的當前最大變換單元尺寸“RootTuSize”僅是實施例，并且用于確定當前最大變換單元的因素不限于此。

根據(jù)以上參照圖15至圖18描述的基于樹結構的編碼單元的視頻編碼方法，可在樹結構的每個編碼單元中對空間域的圖像數(shù)據(jù)進行編碼，并且根據(jù)基于樹結構的編碼單元的視頻解碼方法，按照對每個最大編碼單元執(zhí)行解碼的方式來重建空間域的圖像數(shù)據(jù)，使得由畫面和畫面序列形成的視頻可被重建。重建的視頻可由再現(xiàn)設備來再現(xiàn)，可存儲在存儲介質中，或可通過網絡來發(fā)送。

上述實施例可被編寫為計算機程序，并可實現(xiàn)在通過使用計算機可讀記錄介質執(zhí)行程序的通用數(shù)字計算機中。計算機可讀記錄介質的示例包括磁存儲介質(例如，ROM、軟盤、硬盤等)、光學記錄介質(例如，CD-ROM或DVD)等。

為便于描述，參照圖6a至圖18描述的可伸縮視頻編碼方法和/或視頻編碼方法將被統(tǒng)稱為“本公開的可伸縮視頻編碼方法”。此外，參照圖6a至圖18描述的視頻解碼方法和/或視頻解碼方法將被統(tǒng)稱為“本公開的視頻解碼方法”。

此外，已參照圖6a至圖18描述的包括可伸縮視頻編碼設備600、視頻編碼設備800或圖像編碼器1000的視頻編碼設備將被統(tǒng)稱為“本公開的視頻編碼設備”。此外，已參照圖6a至圖18描述的包括可伸縮視頻解碼設備700、視頻解碼設備850或圖像解碼器1050的視頻解碼設備將被統(tǒng)稱為“本公開的視頻解碼設備”。

現(xiàn)在將詳細描述根據(jù)實施例的存儲程序的計算機可讀記錄介質(諸如，盤26000)。

圖19示出根據(jù)各種實施例的存儲程序的盤26000的物理結構。作為存儲介質描述的盤26000可以是硬盤驅動器、致密盤只讀存儲器(CD-ROM)盤、藍光盤或數(shù)字多功能盤(DVD)。盤26000包括多個同心磁道Tr，每個同心磁道Tr沿盤26000的圓周方向被劃分成特定數(shù)量的扇區(qū)Se。在盤26000的特定區(qū)域中，可分配并存儲執(zhí)行以上所描述的量化參數(shù)確定方法、視頻編碼方法和視頻解碼方法的程序。

現(xiàn)在將參照圖21來描述使用存儲用于執(zhí)行如上所述的視頻編碼方法和視頻解碼方法的程序的存儲介質來實現(xiàn)的計算機系統(tǒng)。

圖20示出通過使用盤26000來記錄并讀取程序的盤驅動器26800。計算機系統(tǒng)26700可經由盤驅動器26800將執(zhí)行本公開的視頻編碼方法和視頻解碼方法中的至少一個的程序存儲在盤26000中。為了在計算機系統(tǒng)26700中運行存儲在盤26000中的程序，可通過使用盤驅動器26800從盤26000讀取程序并可將程序發(fā)送到計算機系統(tǒng)26700。

執(zhí)行本公開的視頻編碼方法和視頻解碼方法中的至少一個的程序不僅可被存儲在圖19和圖21中示出的盤26000中，還可被存儲在存儲卡、ROM卡帶或固態(tài)驅動器(SSD)中。

以下將描述應用以上所描述的根據(jù)實施例的視頻編碼方法和視頻解碼方法的系統(tǒng)。

圖21示出用于提供內容分發(fā)服務的內容供應系統(tǒng)11000的整體結構。將通信系統(tǒng)的服務區(qū)域劃分成預定尺寸的小區(qū)，并將無線基站11700、11800、11900和12000分別安裝在這些小區(qū)中。

內容供應系統(tǒng)11000包括多個獨立裝置。例如，諸如計算機12100、個人數(shù)字助理(PDA)12200、視頻相機12300和移動電話12500的多個獨立裝置經由互聯(lián)網服務提供器11200、通信網絡11400和無線基站11700、11800、11900和12000連接到互聯(lián)網11100。

然而，內容供應系統(tǒng)11000不限于如圖21中所示，并且裝置可選擇性地被連接到內容供應系統(tǒng)11000。多個獨立裝置可不經由無線基站11700、11800、11900和12000而直接連接到通信網絡11400。

視頻相機12300是能夠捕捉視頻圖像的成像裝置，例如，數(shù)字視頻相機。移動電話12500可利用各種協(xié)議(例如，個人數(shù)字通信(PDC)、碼分多址(CDMA)、寬帶碼分多址(W-CDMA)、全球移動通信系統(tǒng)(GSM)和個人手持電話系統(tǒng)(PHS))中的至少一種通信方法。

視頻相機12300可經由無線基站11900和通信網絡11400連接到流服務器11300。流服務器11300允許經由視頻相機12300從用戶接收到的內容經由實時廣播被流傳輸。可通過視頻相機12300或流服務器11300來對從視頻相機12300接收到的內容進行編碼。通過視頻相機12300捕捉到的視頻數(shù)據(jù)可經由計算機12100被發(fā)送到流服務器11300。

通過相機12600捕捉到的視頻數(shù)據(jù)也可經由計算機12100被發(fā)送到流服務器11300。與數(shù)碼相機類似，相機12600是能夠捕捉靜止圖像和視頻圖像兩者的成像裝置?？墒褂孟鄼C12600或計算機12100對通過相機12600捕捉到的視頻數(shù)據(jù)進行編碼?？蓪σ曨l執(zhí)行編碼和解碼的軟件存儲在可由計算機12100訪問的計算機可讀記錄介質(例如，CD-ROM盤、軟盤、硬盤驅動器、SSD或存儲卡)中。

如果視頻通過安裝在移動電話12500中的相機被捕捉到，則可從移動電話12500接收視頻數(shù)據(jù)。

可通過安裝在視頻相機12300、移動電話12500或相機12600中的大規(guī)模集成電路(LSI)系統(tǒng)來對視頻數(shù)據(jù)進行編碼。

內容供應系統(tǒng)11000可對由用戶使用視頻相機12300、相機12600、移動電話12500或另一成像裝置所記錄的內容數(shù)據(jù)(例如，在音樂會期間記錄的內容)進行編碼，并可將編碼后的內容數(shù)據(jù)發(fā)送到流服務器11300。流服務器11300可將流傳輸內容的類型的編碼后的內容數(shù)據(jù)發(fā)送到請求內容數(shù)據(jù)的其它客戶端。

客戶端是能夠對編碼后的內容數(shù)據(jù)進行解碼的裝置，例如，計算機12100、PDA 12200、視頻相機12300或移動電話12500。因此，內容供應系統(tǒng)11000允許客戶端接收并再現(xiàn)編碼后的內容數(shù)據(jù)。此外，內容供應系統(tǒng)11000允許客戶端實時接收編碼后的內容數(shù)據(jù)并對編碼后的內容數(shù)據(jù)進行解碼和再現(xiàn)，從而能夠進行個人廣播。

本公開的視頻編碼設備和視頻解碼設備可被應用于包括在內容供應系統(tǒng)11000中的多個獨立裝置的編碼和解碼操作。

參照圖22和圖24，現(xiàn)在將更加詳細地描述包括在根據(jù)實施例的內容供應系統(tǒng)11000中的移動電話12500。

圖22示出根據(jù)各種實施例的應用本公開的視頻編碼設備和視頻解碼設備的移動電話12500的外部結構。移動電話12500可以是智能電話，所述智能電話的功能不受限，并且所述智能電話的大多數(shù)功能可被改變或擴展。

移動電話12500包括可與無線基站12000交換射頻(RF)信號的內部天線12510，并包括用于顯示由相機12530捕捉到的圖像或經由天線12510接收到的并被解碼的圖像的顯示屏12520(例如，液晶顯示器(LCD)或有機發(fā)光二極管(OLED)屏幕)。移動電話12500包括包含有控制按鈕和觸摸面板的操作面板12540。如果顯示屏12520是觸摸屏，則操作面板12540還包括顯示屏12520的觸摸感測面板。移動電話12500包括用于輸出語音和聲音的揚聲器12580或另一類型的聲音輸出單元、以及用于輸入語音和聲音的麥克風12550或另一類型的聲音輸入單元。移動電話12500還包括用于捕捉視頻和靜止圖像的相機12530，諸如電荷耦合器件(CCD)相機。移動電話12500還可包括：存儲介質12570，用于存儲編碼/解碼數(shù)據(jù)(例如，通過相機12530捕捉到的、經由電子郵件接收到的、或根據(jù)各種方式獲得的視頻或靜止圖像)；以及插槽12560，存儲介質12570經由插槽12560被裝入移動電話12500中。存儲介質12570可以是閃存，例如，包括在塑料殼中的安全數(shù)字(SD)卡或電可擦除可編程只讀存儲器(EEPROM)。

圖23示出移動電話12500的內部結構。為了系統(tǒng)地控制包括顯示屏12520和操作面板12540的移動電話12500的每個部件，供電電路12700、操作輸入控制器12640、圖像編碼器12720、相機接口12630、LCD控制器12620、圖像解碼器12690、復用器/解復用器12680、記錄器/讀取器12670、調制器/解調器12660和聲音處理器12650經由同步總線12730被連接到中央控制器12710。

如果用戶操作電源按鈕，并從“電源關閉”狀態(tài)設置為“電源開啟”狀態(tài)，則供電電路12700從電池組向移動電話12500的所有部件供電，從而將移動電話12500設置為操作模式。

中央控制器12710包括CPU、只讀存儲器(ROM)和隨機存取存儲器(RAM)。

在移動電話12500將通信數(shù)據(jù)發(fā)送到外部的同時，在中央控制器12710的控制下，由移動電話12500產生數(shù)字信號。例如，聲音處理器12650可產生數(shù)字聲音信號，圖像編碼器12720可產生數(shù)字圖像信號，并且消息的文本數(shù)據(jù)可經由操作面板12540和操作輸入控制器12640被產生。當數(shù)字信號通過中央控制器12710的控制而被發(fā)送到調制器/解調器12660時，調制器/解調器12660對數(shù)字信號的頻帶進行調制，并且通信電路12610對頻帶調制后的數(shù)字聲音信號執(zhí)行數(shù)模轉換(DAC)和頻率轉換。從通信電路12610輸出的發(fā)送信號可經由天線12510被發(fā)送到語音通信基站或無線基站12000。

例如，當移動電話12500處于通話模式時，在中央控制器12710的控制下，經由麥克風12550獲得的聲音信號通過聲音處理器12650被變換成數(shù)字聲音信號。數(shù)字聲音信號可經由調制器/解調器12660和通信電路12610被變換成變換信號，并可經由天線12510被發(fā)送。

當文本消息(例如，電子郵件)在數(shù)據(jù)通信模式期間被發(fā)送時，文本消息的文本數(shù)據(jù)經由操作面板12540被輸入，并經由操作輸入控制器12640被發(fā)送到中央控制器12610。通過中央控制器12610的控制，文本數(shù)據(jù)經由調制器/解調器12660和通信電路12610被變換成發(fā)送信號，并經由天線12510被發(fā)送到無線基站12000。

為了在數(shù)據(jù)通信模式期間發(fā)送圖像數(shù)據(jù)，由相機12530捕捉到的圖像數(shù)據(jù)經由相機接口12630被提供給圖像編碼器12720。捕捉到的圖像數(shù)據(jù)可經由相機接口12630和LCD控制器12620被直接顯示在顯示屏12520上。

圖像編碼器12720的結構可與上述視頻編碼設備800的結構相應。圖像編碼器12720可根據(jù)上述視頻編碼方法，將從相機12530接收到的圖像數(shù)據(jù)變換為壓縮和編碼后的圖像數(shù)據(jù)，并隨后將編碼后的圖像數(shù)據(jù)輸出到復用器/解復用器12680。在相機12530的記錄操作期間，由移動電話12500的麥克風12550獲得的聲音信號可經由聲音處理器12650被變換成數(shù)字聲音數(shù)據(jù)，并且數(shù)字聲音數(shù)據(jù)可被發(fā)送到復用器/解復用器12680。

復用器/解復用器12680對從圖像編碼器12720接收到的編碼后的圖像數(shù)據(jù)與從聲音處理器12650接收到的聲音數(shù)據(jù)一起進行復用。對數(shù)據(jù)進行復用的結果可經由調制器/解調器12660和通信電路12610被變換成發(fā)送信號，然后可經由天線12510被發(fā)送。

當移動電話12500從外部接收到通信數(shù)據(jù)時，可對經由天線12510接收到的信號執(zhí)行頻率恢復和模數(shù)轉換(A/D)以將信號變換成數(shù)字信號。調制器/解調器12660對數(shù)字信號的頻帶進行調制。根據(jù)頻帶調制后的數(shù)字信號的類型，將所述數(shù)字信號發(fā)送到圖像解碼器12690、聲音處理器12650或LCD控制器12620。

在從外部接收到通信數(shù)據(jù)的通話模式期間，移動電話12500對經由天線12510接收到的信號進行放大，并通過對放大后的信號執(zhí)行頻率轉換和A/D來獲得數(shù)字聲音信號。通過中央控制器12710的控制，接收到的數(shù)字聲音信號經由調制器/解調器12660和聲音處理器12650被變換成模擬聲音信號，并且模擬聲音信號經由揚聲器12580被輸出。

當在數(shù)據(jù)通信模式期間時，接收在互聯(lián)網網站上訪問的視頻文件的數(shù)據(jù)，經由調制器/解調器12660將經由天線12510從無線基站12000接收到的信號輸出為復用數(shù)據(jù)，并將復用數(shù)據(jù)發(fā)送到復用器/解復用器12680。

為了對經由天線12510接收到的復用數(shù)據(jù)進行解碼，復用器/解復用器12680將復用數(shù)據(jù)解復用成編碼后的視頻數(shù)據(jù)流和編碼后的音頻數(shù)據(jù)流。經由同步總線12730，編碼后的視頻數(shù)據(jù)流和編碼后的音頻數(shù)據(jù)流分別被提供給圖像解碼器12690和聲音處理器12650。

圖像解碼器12690的結構可與上述視頻解碼設備的結構相應。圖像解碼器12690可通過使用本公開的上述視頻解碼方法，對編碼后的視頻數(shù)據(jù)進行解碼來獲得重建的視頻數(shù)據(jù)，并經由LCD控制器12620將重建的視頻數(shù)據(jù)提供給顯示屏12520。

因此，可將在互聯(lián)網網站上訪問的視頻文件的視頻數(shù)據(jù)顯示在顯示屏12520上。同時，聲音處理器12650可將音頻數(shù)據(jù)變換成模擬聲音信號，并可將模擬聲音信號提供給揚聲器12580。因此，也可經由揚聲器12580再現(xiàn)在互聯(lián)網網站上訪問的視頻文件中包含的音頻數(shù)據(jù)。

移動電話12500或另一類型的通信終端可以是包括本公開的視頻編碼設備和視頻解碼設備兩者的收發(fā)終端，可以是僅包括本公開的視頻編碼設備的發(fā)送終端，或者可以是僅包括本公開的視頻解碼設備的接收終端。

本公開的通信系統(tǒng)不限于以上參照圖21描述的通信系統(tǒng)。例如，圖24示出根據(jù)各種實施例的采用通信系統(tǒng)的數(shù)字廣播系統(tǒng)。圖24的數(shù)字廣播系統(tǒng)可通過使用本公開的視頻編碼設備和視頻解碼設備來接收經由衛(wèi)星或地面網絡發(fā)送的數(shù)字廣播。

更詳細地講，廣播站12890通過使用無線電波將視頻數(shù)據(jù)流發(fā)送到通信衛(wèi)星或廣播衛(wèi)星12900。廣播衛(wèi)星12900發(fā)送廣播信號，廣播信號經由家用天線12860被發(fā)送到衛(wèi)星廣播接收器。在每個房屋中，可通過TV接收器12810、機頂盒12870或其它裝置對編碼后的視頻流進行解碼和再現(xiàn)。

當本公開的視頻解碼設備被實現(xiàn)在再現(xiàn)設備12830中時，再現(xiàn)設備12830可對記錄在存儲介質12820(諸如盤或存儲卡)上的編碼后的視頻流進行解析和解碼，以重建數(shù)字信號。因此，可在例如監(jiān)視器12840上再現(xiàn)重建的視頻信號。

在被連接到用于衛(wèi)星/地面廣播的天線12860或用于接收有線電視(TV)廣播的有線天線12850的機頂盒12870中，可安裝本公開的視頻解碼設備。從機頂盒12870輸出的數(shù)據(jù)也可被再現(xiàn)在TV監(jiān)視器12880上。

作為另一示例，可將本公開的視頻解碼設備安裝在TV接收器12810中，而不是機頂盒12870中。

具有合適的天線12910的汽車12920可接收從衛(wèi)星12900或無線基站11700發(fā)送的信號?？稍诎惭b在汽車12920中的汽車導航系統(tǒng)12930的顯示屏上再現(xiàn)解碼后的視頻。

視頻信號可由本公開的視頻編碼設備來編碼，然后可被記錄并被存儲在存儲介質中。更詳細地講，可由DVD記錄器將圖像信號存儲在DVD盤12960中，或可由硬盤記錄器12950將圖像信號存儲在硬盤中。作為另一示例，可將視頻信號存儲在SD卡12970中。如果硬盤記錄器12950包括根據(jù)示例性實施例的視頻解碼設備，則記錄在DVD盤12960、SD卡12970或另一存儲介質上的視頻信號可在TV監(jiān)視器12880上被再現(xiàn)。

汽車導航系統(tǒng)12930可不包括圖23的相機12530、相機接口12630和圖像編碼單元12720。例如，計算機12100和TV接收器12810可不包括圖23的相機12530、相機接口12630或圖像編碼單元12720。

在這點上，用戶終端可包括如以上參照圖1a至圖18描述的本公開的視頻解碼設備。作為另一示例，用戶終端可包括如以上參照圖1a至圖18描述的本公開的視頻編碼設備?？蛇x擇地，用戶終端可包括如以上參照圖1a至圖18描述的本公開的視頻解碼設備和本公開的視頻編碼設備兩者。

以上參照圖1a至圖18描述了根據(jù)上述實施例的視頻編碼方法、視頻解碼方法、視頻編碼設備和視頻解碼設備的各種應用。然而，根據(jù)上述實施例的視頻編碼方法、視頻解碼方法、視頻編碼設備和視頻解碼設備的各種應用不限于以上參照圖1a至圖18描述的實施例。

雖然參照本公開的實施例具體示出和描述了本公開，但本領域的普通技術人員將理解，在不脫離由權利要求限定的本公開的精神和范圍的情況下，可作出形式和細節(jié)上的各種改變。公開的實施例應僅被看作描述性意義，而不是限制的目的。因此，本公開的范圍不由本公開的詳細描述來限定，而由權利要求來限定，在所述范圍內的所有不同將被解釋為包括在本公開中。