用于三維視頻編解碼的從深度到視差矢量轉(zhuǎn)換的方法和裝置的制造方法
【專利說明】用于H維視頻編解碼的從深度到視差矢量轉(zhuǎn)換的方法和裝 置
[0001] 香叉引用
[0002] 本發(fā)明要求2013年1月7日遞交的No. 61/749, 455,發(fā)明名稱為"Methodsand ApparatusforDisparityVectorDerivationinMultiviewVideoCoding"的美國臨時 專利申請案的優(yōu)先權(quán)，且將上述美國臨時專利申請案作為參考。
技術(shù)領(lǐng)域
[0003] 本發(fā)明有關(guān)于視頻編解碼，且尤其有關(guān)于用于S維（t虹ee-dimensional，3D)視 頻編解碼的由深度對視差矢量（DisparityVector,DV)的推導（derivation)。
【背景技術(shù)】
[0004] 近些年3D電視已成為技術(shù)潮流，其目標是帶給觀看者非常好的觀看體驗。多種技 術(shù)已被開發(fā)W進行3D觀看。其中，多視圖（multi-view)視頻尤其是用于3D電視應用的一 種關(guān)鍵技術(shù)。傳統(tǒng)視頻為二維（two-dimensional, 2D)媒體，只能提供觀看者攝像機角度的 一場景的單一視圖。然而，多視圖視頻可提供動態(tài)場景的任意視點（viewpoint),并提供給 觀看者真實的感覺。
[0005] 多視圖視頻通常通過同時采用多個相機捕捉一場景而建立，其中多個相機被適當 放置，使得每個相機可從一個視點捕捉該場景。相應地，多個相機將捕捉對應于多個視圖的 多個視頻序列。為了提供更多視圖，更多相機被采用來產(chǎn)生具有與視圖有關(guān)的大量視頻序 列的多視圖視頻。相應地，多視圖視頻需要大存儲空間進行存儲W及/或者高帶寬進行傳 輸。因此，本技術(shù)領(lǐng)域中已發(fā)展了多視圖視頻編解碼技術(shù)，W減少所需的存儲空間或者傳輸 帶寬。
[0006] -種直接的方法是對每個單一視圖視頻序列獨立地應用傳統(tǒng)視頻編解碼技術(shù)， 而忽略不同視圖之間的任何關(guān)聯(lián)（correlation)。該種編解碼系統(tǒng)可能效率非常低。為 了改進多視圖視頻編解碼效率，一般的多視圖視頻編解碼利用視圖間的冗余。因此，大部 分3D視頻編碼（3DVideoCoding，3DVC)系統(tǒng)考慮與多個視圖有關(guān)的視頻數(shù)據(jù)和深度 圖（ckpthmap)的相關(guān)性。標準開發(fā)組織，國際電信聯(lián)盟電信標準化部（International TelecommunicationUnionTelecommunicationStandardizationSector，ITU-T)視步巧編 碼專家組（VideoCodingExpertsGroup,VCEG)的聯(lián)合視頻組（JointVideoTeam,JVT) W及國際標準化組織（InternationalStandardOrganization,ISO)/國際電工委員會 (InternationalElectrotechnicalCommission,lEC)運動圖象專家組（MovingPicture ExpertsGroup,MPEG),將H.264/MPEG-4 高級視頻編碼（AdvancedVideoCoding,AVC)擴 展為多視圖視頻編碼（multi-viewvideocoding,MVC)，用于立體聲和多視圖視頻。
[0007] MVC采用時間W及空間預測，來改進壓縮效率。在MVC的發(fā)展中，提出了一些宏塊 級的（macroblock-level)編解碼工具，包括亮度補償（illuminationcompensation)、自 適應參考濾波（adaptivereferencefiltering)、運動跳躍模式（motionskipmode)和 視圖合成預測（viewsynthesisprediction)。該些編解碼工具被提出W利用多個視圖之 間的冗余。亮度補償用來補償不同視圖之間的亮度變化。自適應參考濾波用來降低相機之 間聚焦不匹配（focusmismatch)造成的變化。運動跳躍模式允許當前視圖中的運動矢量 (MotionVector，MV)從其他視圖中推測出來。視圖合成預測用于由其他視圖預測當前視圖 中的圖片。
[0008] 在基于3D視頻編碼的高效視頻編碼化i曲EfficiencyVideoCoding,肥VC)參考 軟件（3D-HTM)中，視圖間候選被添加為用于帖間（Inter)、合并（Merge)和跳躍（Skip)模 式的MV或DV候選，W重用（re-use)相鄰視圖的先前已編碼運動信息。在3D-HTM中，被稱 為編碼單元（Coding化it,CU)的壓縮的基本單元為2化2N方形塊。每個CU可被遞歸地分 成4個更小的CU，直到達到預定最小尺寸。每個CU包括一個或多個預測單元（Prediction 化it,PU)。
[0009] 為了共享相鄰視圖的先前已編碼紋理（tex化re)信息，一種被稱為視差補償預測 (Disparit5f-CompensatedPrediction,DCP)的技術(shù)已被包括在 3D-HTM中，W作為運動補 償預測（Motion-CompensatedPrediction,MCP)的替代編碼工具。MCP代表采用同一視圖 的先前已編碼圖片的圖片間預測，而DCP代表采用同一訪問單元（accessunit)中其他視 圖的先前已編碼圖片的圖片間預測。圖1顯不了 3D視頻編解碼系統(tǒng)義用MCP和DCP的不 范例。用于DCP的矢量（110)被稱為DV，其是MCP采用的MV的模擬。圖1顯示了與MCP 有關(guān)的S個MV(120、130和140)。此外，DCP塊的DV也可通過視差矢量預測子值isparity VectorPredictor,DVP)候選預測，其中DVP候選從相鄰塊或同樣采用視圖間參考圖片的 時間并置塊（temporalcollocatedblock)推導。在3D-HTM中，當為合并/跳躍模式推導 視圖間合并候選時，若相應塊的運動信息不可用或無效，視圖間合并候選由DV代替。
[0010] 在帖間模式中，方向分離運動矢量預測值irection-SeparateMotionVector Prediction)是3D-AVC中采用的另一種編解碼工具。方向分離運動矢量預測由時間和視 圖間運動矢量預測組成。若目標參考圖片是時間預測圖片，當前塊Cb附近的相鄰塊（如圖 2A中的A、B和C)的時間運動矢量，被用于運動矢量預測的推導。若時間運動矢量不可用， 則采用視圖間運動矢量。視圖間運動矢量從由深度轉(zhuǎn)換的DV所指示的相應塊中推導。運 動矢量預測隨后按照相鄰塊A、B和C的運動矢量的中間值被推導出。塊D僅當C不可用時 才被采用。
[0011] 相反，若目標參考圖片是視圖間預測圖片，相鄰塊的視圖間運動矢量被用于視圖 間預測。若視圖間運動矢量不可用，則由相關(guān)深度塊中四角深度樣本的最大深度值推導的 視差矢量被采用。運動矢量預測子隨后按照相鄰塊A、B和C的運動矢量的中間值被推導 出。
[0012] 另一方面，如圖2B所示，若目標參考圖片是視圖間預測圖片，相鄰塊的視圖間運 動矢量被用于推導視圖間運動矢量預測子。在步驟210中，空間相鄰塊的視圖間運動矢量 基于各個塊的紋理數(shù)據(jù)推導出。在步驟260中，與當前塊Cb有關(guān)的深度圖也被提供。在步驟 220中，檢查塊A、B和C的視圖間運動矢量的可用性。如步驟230所示，若視圖間運動矢量 不可用，當前塊的視差矢量被用于代替不可用視圖間運動矢量。如步驟270所示，視差矢量 由相關(guān)深度塊（280)的最大深度值推導出。塊A、B和C的視圖間運動矢量的中間值被用作 視圖間運動矢量預測子。步驟240示出了傳統(tǒng)運動矢量預測（MotionVectorPrediction, MVP)進程，其中最終MVP基于視圖間MVP或時間MVP的運動矢量的中間值推導出。如步驟 250所示，進行基于運動矢量預測子的運動矢量編解碼。
[0013] 合并/直接值irect)模式的基于優(yōu)先權(quán)的MVP候選獲?。≒rioritybasedMVP candidatederivation)是用于3D-AVC的另一編解碼工具。如圖3所示，在跳躍/直接模 式中，MVP候選基于預定義推導順序推導；視圖間候選W及從相鄰塊A、B和C值僅在C不可 用時才被采用）中推導的S個空間候選的中間值。在解碼器端，運動補償根據(jù)推導出的MVP 候選的運動信息進行。運動信息包括預測方向（單方向預測或雙方向預測）、參考圖片類 型（時間預測、虛擬預測或視圖間預測）W及參考圖片索引（index)。如圖3所示，依賴視 圖中當前塊（310)的中屯、點（312)和其視差矢量被用于找到基礎視圖或參考視圖中的相應 點。隨后，基礎視圖中包括相應點的塊的MV被用作當前塊的視圖間候選。在ATM7.0中，視 差矢量可由相鄰塊（A、BW及C/D)和中屯、點的深度值推導。明確來說，若只有一相鄰塊具 有DV，則該DV被用作視差。否則，DV按照相鄰塊A、B和C的DV的中間值（320)推