具有對(duì)稱圖片分辨率和質(zhì)量的幀兼容全分辨率立體3d視頻遞送的制作方法
【專利摘要】高分辨率3D圖像可以被編碼成采用基礎(chǔ)層（BL）視頻信號(hào)和增強(qiáng)層（EL）視頻信號(hào)的第一復(fù)用圖像幀和第二復(fù)用圖像幀。第一復(fù)用圖像幀可以包括用于雙眼的水平高分辨率圖像數(shù)據(jù)，而第二復(fù)用圖像幀可以包括用于雙眼的垂直高分辨率圖像數(shù)據(jù)。用于3D圖像的經(jīng)編碼對(duì)稱分辨率圖像數(shù)據(jù)可以被分發(fā)至用于3D圖像處理和呈現(xiàn)的寬泛種類的裝置。接收裝置可以從第一復(fù)用圖像幀或第二復(fù)用圖像幀之一來(lái)重構(gòu)縮減分辨率3D圖像。接收裝置還可以通過(guò)從第一復(fù)用圖像幀和第二復(fù)用圖像幀兩者組合高分辨率圖像數(shù)據(jù)，來(lái)重構(gòu)高分辨率3D圖像。
【專利說(shuō)明】具有對(duì)稱圖片分辨率和質(zhì)量的幀兼容全分辨率立體3D視頻遞送
[0001]相關(guān)申請(qǐng)的交叉引用
[0002]本申請(qǐng)要求2011年9月29日提交的美國(guó)臨時(shí)專利申請(qǐng)N0.61/541，005和2012年I月04日提交的美國(guó)臨時(shí)專利申請(qǐng)N0.61/583，081的優(yōu)先權(quán)，其全部?jī)?nèi)容通過(guò)引用而并入于此。
【技術(shù)領(lǐng)域】
[0003]本發(fā)明總體上涉及圖像數(shù)據(jù)。更具體地，本發(fā)明的示例實(shí)施例涉及用于立體3D圖像的圖像數(shù)據(jù)。
【背景技術(shù)】
[0004]用于3D內(nèi)容遞送的幀兼容半分辨率(FCHR)解決方案遭受劣化的空間分辨率，因?yàn)榘敕直媛?D內(nèi)容僅包含從全分辨率3D圖像幀子采樣(subsample)的半分辨率圖像幀。
[0005]在某些技術(shù)下，幀兼容全分辨率(FCFR)解決方案可以被用于通過(guò)經(jīng)由基礎(chǔ)層發(fā)送半分辨率3D圖像幀并且經(jīng)由增強(qiáng)層發(fā)送補(bǔ)充半分辨率3D圖像幀來(lái)生成全分辨率3D圖像幀。半分辨率3D圖像幀和補(bǔ)充半分辨率3D圖像幀可以由接收裝置組合成全分辨率的3D圖像幀。
[0006]然而，這些技術(shù)執(zhí)行低通濾波，以減小/去除半分辨率圖像幀中的混疊(aliasing)。由于圖像幀中的高頻內(nèi)容通過(guò)低通濾波被去除，因而，下游裝置不可能恢復(fù)高空間頻率內(nèi)容中的全部精細(xì)細(xì)節(jié)和紋理。雖然全分辨率3D圖像幀仍可能被構(gòu)造，但3D圖像幀中的像素將由于低通濾波而不可逆地改變，并且不能被用于再現(xiàn)這些3D圖像幀所源自的原始3D內(nèi)容中的原始分辨率和清晰度。
[0007]在本部分中描述的方法是可以推行的方法，但不一定是先前已經(jīng)設(shè)想或推行的方法。因此，除非另外加以表明，否則，不應(yīng)假定本部分中描述的任何方法僅由于它們被包括在本部分中而被認(rèn)為是現(xiàn)有技術(shù)。類似的是，參照一個(gè)或多個(gè)方法確立的問(wèn)題不應(yīng)基于本部分而假定已經(jīng)在任何現(xiàn)有技術(shù)中被認(rèn)識(shí)到，除非另外加以表明。
【專利附圖】

【附圖說(shuō)明】
[0008]本發(fā)明在附圖的圖中通過(guò)示例而非限制的方式進(jìn)行了例示，并且其中，相同標(biāo)號(hào)指示相似部件，并且其中:
[0009]圖1A例示了根據(jù)本發(fā)明一實(shí)施例的、保持存在于輸入視頻序列中的高空間頻率內(nèi)容的多層視頻編碼器；
[0010]圖1B例示了根據(jù)一實(shí)施例的、接收具有高空間頻率內(nèi)容的輸入視頻信號(hào)的多層視頻解碼器；
[0011]圖1C例示了根據(jù)一實(shí)施例的基礎(chǔ)層視頻解碼器；
[0012]圖2、圖3和圖4例示了根據(jù)一些示例實(shí)施例的解復(fù)用器的不同構(gòu)造；[0013]圖5例示了一些示例實(shí)施例中的復(fù)用格式；
[0014]圖6A和圖6B例不了一些不例實(shí)施例中的、以上下和并排格式形成圖像部分的一個(gè)視角的交織內(nèi)容；
[0015]圖7例示了一些示例實(shí)施例中的、用于攜帶交織內(nèi)容的復(fù)用格式；
[0016]圖8A例示了根據(jù)本發(fā)明一實(shí)施例的多層視頻編碼器；
[0017]圖SB示出了根據(jù)一實(shí)施例的多層視頻解碼器；
[0018]圖9例示了根據(jù)一些示例實(shí)施例的解復(fù)用器；
[0019]圖1OA和圖1OB例示了一些示例實(shí)施例中的處理流程；
[0020]圖11例示了根據(jù)本發(fā)明一示例實(shí)施例的、其上可以實(shí)現(xiàn)在此描述的計(jì)算機(jī)或計(jì)算裝置的示例硬件平臺(tái)；
[0021]圖12A和圖12B例示了根據(jù)本發(fā)明一實(shí)施例的、FCFR多層視頻編碼器和FCFR多層視頻解碼器；
[0022]圖13A和圖13B例示了用于重構(gòu)全分辨率信號(hào)的示例實(shí)施例；
[0023]圖14例示了根據(jù)本發(fā)明一實(shí)施例的、用于生成增強(qiáng)層的編碼處理流程；以及
[0024]圖15例示了根據(jù)本發(fā)明一實(shí)施例的、解碼器RPU中的用于生成載波圖像信號(hào)的濾波處理流程。
【具體實(shí)施方式】
[0025]在此描述了涉及3D視頻編碼的示例實(shí)施例。在下面的描述中，出于說(shuō)明的目的，闡述了許多具體細(xì)節(jié)，以便提供對(duì)本發(fā)明的詳盡理解。然而，應(yīng)當(dāng)清楚，本發(fā)明可以在沒(méi)有這些具體細(xì)節(jié)的情況下實(shí)踐。在其它情況下，公知結(jié)構(gòu)和裝置未按詳盡細(xì)節(jié)進(jìn)行描述，以便避免不必要地遮蔽、混淆或模糊本發(fā)明。
[0026]在此根據(jù)下列提綱對(duì)示例實(shí)施例進(jìn)行描述:
[0027]1、一般概述
[0028]2、多層化視頻遞送
[0029]3、解復(fù)用器
[0030]4、采樣格式
[0031]5、交織視頻應(yīng)用
[0032]6、殘留圖像編碼
[0033]7、示例處理流程
[0034]8、利用載波信號(hào)的殘留圖像編碼
[0035]9、實(shí)現(xiàn)機(jī)構(gòu)-硬件概述
[0036]10、等同、擴(kuò)展、另選例以及其他
[0037]1、一般概述
[0038]本概述給出對(duì)本發(fā)明一示例實(shí)施例的一些方面的基本描述。應(yīng)注意到，本概述不是該示例實(shí)施例的各方面的廣泛或詳盡摘要。而且，應(yīng)注意到，本概述不是旨在被理解為標(biāo)識(shí)出該示例實(shí)施例的任何特定顯著方面或元素，也不被理解為描繪該示例實(shí)施例的任何具體范圍或本發(fā)明的任何一般范圍。本概述僅以節(jié)略和簡(jiǎn)化格式給出涉及該示例實(shí)施例的一些概念，而且應(yīng)當(dāng)被理解為僅僅是針對(duì)后續(xù)示例實(shí)施例的更詳細(xì)描述的概念性序言。[0039]視頻數(shù)據(jù)當(dāng)前主要通過(guò)網(wǎng)絡(luò)連接來(lái)接收，例如，從基于因特網(wǎng)的內(nèi)容提供方。然而，分配給計(jì)算裝置上的諸如3D顯示應(yīng)用的顯示應(yīng)用的比特率是受限的。
[0040]為支持最廣泛的可能種類的3D圖像呈現(xiàn)裝置，3D圖像內(nèi)容可以作為具有縮減分辨率的幀兼容3D圖像幀(或圖片)來(lái)遞送。如所討論的，3D圖像幀可以從全分辨率3D圖像幀子采樣成縮減分辨率3D圖像幀；全分辨率3D圖像幀中的高空間頻率內(nèi)容可以通過(guò)低通濾波器來(lái)去除，以防止子采樣圖像幀中的混疊。
[0041]實(shí)施例包括編碼并向下游裝置提供對(duì)稱高分辨率3D圖像數(shù)據(jù)。在一些示例實(shí)施例中，具有沿水平方向的縮減分辨率和沿垂直方向的全分辨率的第一復(fù)用3D圖像幀在基礎(chǔ)層和增強(qiáng)層中的一個(gè)中提供給接收裝置，而具有沿垂直方向的縮減分辨率和沿水平方向的全分辨率的第二復(fù)用3D圖像幀在基礎(chǔ)層和增強(qiáng)層中的另一個(gè)中提供給接收裝置。增強(qiáng)層中的左眼(LE)和右眼(RE)圖像數(shù)據(jù)可以通過(guò)接收裝置與基礎(chǔ)層中的LE和RE圖像數(shù)據(jù)相組合，以重構(gòu)對(duì)稱全分辨率LE和RE圖像幀。第一復(fù)用3D圖像幀和第二復(fù)用3D圖像幀中的一者或兩者可以是支持縮減分辨率(低于全分辨率，例如，半分辨率)3D視頻應(yīng)用的兼容幀。
[0042]在此描述的編解碼器實(shí)現(xiàn)技術(shù)可以被配置成包括層間預(yù)測(cè)能力，以充分利用基礎(chǔ)層中的復(fù)用3D圖像幀與輸入圖像幀之間的統(tǒng)計(jì)冗余。增強(qiáng)層中的復(fù)用3D圖像幀可以(有可能僅僅)攜帶殘留或差分圖像數(shù)據(jù)，而不是攜帶大量的LE和RE圖像數(shù)據(jù)且不利用不同層的圖像數(shù)據(jù)中的統(tǒng)計(jì)冗余。在增強(qiáng)層中提供的殘留或差分圖像數(shù)據(jù)使得下游裝置能夠通過(guò)在基礎(chǔ)層中的幀兼容復(fù)用3D圖像幀之上加入該殘留或差分圖像數(shù)據(jù)，來(lái)構(gòu)造對(duì)稱全分辨率LE和RE圖像幀。
[0043]在一些示例實(shí)施例中，編解碼器可以被配置成包括如在ITU-T建議H.264和ISO/IEC14496-10中描述的那樣來(lái)使用的視圖間預(yù)測(cè)能力。在一些示例實(shí)施例中，RPU (參考處理單元)可以被用于改進(jìn)層間預(yù)測(cè)的效率以用于壓縮增強(qiáng)層。
[0044]在一些實(shí)施例中，基礎(chǔ)層和增強(qiáng)層兩者中包括補(bǔ)充高空間頻率內(nèi)容的復(fù)用3D圖像幀可以被發(fā)送到高端3D顯示器和/或呈現(xiàn)在高端3D顯示器上以供觀看。另外，這些復(fù)用3D圖像幀中的一個(gè)(例如，幀兼容復(fù)用3D圖像幀)可以被發(fā)送到相對(duì)低端3D顯示器和/或呈現(xiàn)在相對(duì)低端3D顯示器上以供觀看。
[0045]在一些示例實(shí)施例中，其它應(yīng)用所需的數(shù)據(jù)也可以包括在一個(gè)或多個(gè)增強(qiáng)層中。在一些示例實(shí)施例中，多種多樣的特征(如根據(jù)可從位于San Francisco, California的Dolby Laboratories購(gòu)買到的FCFR技術(shù)所提供的)可以被如在此描述的基礎(chǔ)層和增強(qiáng)層所支持。
[0046]在此所描述的技術(shù)提供了用于在保持對(duì)多種相對(duì)低端視頻播放器的向后兼容性的同時(shí)實(shí)現(xiàn)對(duì)稱高分辨率和高圖片質(zhì)量的解決方案。實(shí)施在此描述的技術(shù)的顯示系統(tǒng)能夠比實(shí)施其它FCFR方案的其它顯示系統(tǒng)獲得更好的重構(gòu)3D圖片的圖片質(zhì)量。特別地，在此描述的顯示系統(tǒng)與其它顯示系統(tǒng)相比，能夠保留更多高頻并且再現(xiàn)具有更多細(xì)節(jié)的更清晰圖片。
[0047]在此描述的技術(shù)可以被用于減小帶寬或比特率使用，并且保持具有縮減分辨率的幀兼容3D圖像數(shù)據(jù)，其支持各種電視機(jī)、顯示器以及其它圖像呈現(xiàn)裝置。
[0048]另外，針對(duì)交織3D內(nèi)容的選項(xiàng)還可以在這里描述的技術(shù)下實(shí)施。該選項(xiàng)例如可以被用于承載諸如體育節(jié)目的3D廣播應(yīng)用。
[0049]在一些實(shí)施例中，與沒(méi)有利用在此描述的技術(shù)的其它方法相比，一些可用系統(tǒng)組件的重用、改動(dòng)以及改進(jìn)允許相對(duì)低成本的實(shí)現(xiàn)。
[0050]在一些不例實(shí)施例中，在此描述的機(jī)構(gòu)形成了媒體處理系統(tǒng)的一部分，媒體處理系統(tǒng)包括但不限于:手持式裝置、游戲機(jī)、電視機(jī)、膝上型計(jì)算機(jī)、上網(wǎng)本計(jì)算機(jī)、平板計(jì)算機(jī)、蜂窩無(wú)線電話、電子書閱讀器、銷售終端點(diǎn)、臺(tái)式計(jì)算機(jī)、計(jì)算機(jī)工作站、計(jì)算機(jī)信息亭、或各種其它種類的終端以及媒體處理單元。
[0051]本領(lǐng)域技術(shù)人員將容易地明白針對(duì)在此描述的優(yōu)選實(shí)施例和一般原理以及特征的各種修改。由此，本公開(kāi)不是旨在限制到所示實(shí)施例，而是符合與在此描述的原理和特征一致的最廣泛范圍。
[0052]2、多層化視頻遞送
[0053]圖1A例示了根據(jù)本發(fā)明一實(shí)施例的、保持存在于輸入視頻序列中的高空間頻率內(nèi)容的多層視頻編碼器(100)。圖1B例示了根據(jù)該示例實(shí)施例的、對(duì)應(yīng)于圖1A所示多層視頻編碼器(100)的多層視頻解碼器(150)。
[0054]在一示例實(shí)施例中，多層視頻編碼器(100)被配置成對(duì)輸入3D視頻序列進(jìn)行編碼。該輸入3D視頻序列由3D輸入圖像的序列構(gòu)成。該3D圖像序列中的一 3D輸入圖像包括包含高空間頻率內(nèi)容的全分辨率3D圖像數(shù)據(jù)。如在此使用的，術(shù)語(yǔ)“全分辨率”可以指一圖像幀中的獨(dú)立可設(shè)置像素的總數(shù)目最大所支持的空間分辨率。3D輸入圖像中的全分辨率3D圖像數(shù)據(jù)可以由多層視頻編碼器(100)初始地解碼成輸入LE圖像幀(102-L)和輸入RE圖像幀(120-R)，這兩者都包含高空間頻率內(nèi)容。
[0055]在一示例實(shí)施例中，多層視頻編碼器(100)中的一個(gè)或多個(gè)濾波和子采樣機(jī)構(gòu)(例如，104-H和104-V)基于輸入LE和RE圖像幀(102-L和102-R)，生成沿垂直和水平方向中的一個(gè)方向?yàn)V波而沿垂直和水平方向中的另一個(gè)方向不濾波的LE和RE圖像數(shù)據(jù)。
[0056]例如，濾波和子采樣機(jī)構(gòu)(104-H)可以被配置成，從輸入LE和RE圖像幀(102-L和102-R)沿水平方向過(guò)濾高空間頻率內(nèi)容，并且將已沿水平方向?yàn)V波的LE和RE圖像幀(102-L和102-R)水平子采樣成對(duì)應(yīng)的LE和RE部分。復(fù)用器(106-H)可以被配置成，按并排格式將LE和RE部分組合在3D復(fù)用圖像幀(108-H)中。
[0057]類似的是，濾波和子采樣機(jī)構(gòu)(104-V)可以被配置成，從輸入LE和RE圖像幀(102-L和102-R)沿垂直方向過(guò)濾高空間頻率內(nèi)容，并且將已沿垂直方向?yàn)V波的LE和RE圖像幀(102-L和102-R)垂直子采樣成對(duì)應(yīng)的LE和RE部分。復(fù)用器(106-V)可以被配置成，按上下格式將LE和RE部分組合成3D復(fù)用圖像幀(108-V)。
[0058]對(duì)LE和RE圖像幀(102-L和102-R)的濾波可以沿水平和垂直方向中的一個(gè)方向從輸入LE和RE圖像幀(102-L和102-R)中去除高空間頻率內(nèi)容的全部或大部分。濾波可以利用濾波和子采樣機(jī)構(gòu)(例如，104-H和104-V)中的一個(gè)或多個(gè)低通濾波器(LPF)來(lái)執(zhí)行。在一示例實(shí)施例中，在此描述的濾波沿水平和垂直方向中的一個(gè)方向去除或基本上抑制輸入圖像中超過(guò)與多層視頻解碼器(例如，150)所支持的空間分辨率的一部分(例如，一半或另一分?jǐn)?shù))相對(duì)應(yīng)的閾值頻率的任何空間頻率內(nèi)容。
[0059]如在此使用的，術(shù)語(yǔ)沿一空間方向(水平或垂直)的“高空間頻率內(nèi)容”可以指存在于輸入3D視頻序列中的沿該空間方向的高空間頻率圖像細(xì)節(jié)。如果沿該空間方向去除高空間頻率內(nèi)容已經(jīng)發(fā)生，則下游裝置將不能夠利用已沿該空間方向?yàn)V波的圖像數(shù)據(jù)來(lái)再現(xiàn)高分辨率圖像細(xì)節(jié)。
[0060]如在此使用的，在濾波和子采樣機(jī)構(gòu)(104-H或104-V)中的子采樣器可以被配置成，保留與其中已經(jīng)過(guò)濾/去除高空間頻率內(nèi)容的方向正交的方向上的高空間頻率內(nèi)容。例如，濾波和子采樣機(jī)構(gòu)(104-H)中的子采樣器可以被配置成，沿其中已經(jīng)去除高空間頻率內(nèi)容的相同水平方向子采樣(例如，每隔一列保持)，并且避免沿垂直方向的子采樣。類似的是，濾波和子采樣機(jī)構(gòu)(104-V)中的子采樣器可以被配置成，沿其中已經(jīng)去除高空間頻率內(nèi)容的相同垂直方向子采樣(例如，每隔一行保持)，并且避免沿水平方向的子采樣。
[0061]復(fù)用3D圖像幀(108-H和108-V中的一個(gè))包括用于左眼的(例如，下采樣的)圖像數(shù)據(jù)部分和用于右眼的(例如，下采樣的)圖像數(shù)據(jù)部分。復(fù)用3D圖像幀可以沿水平和垂直方向中的一個(gè)由下游裝置解碼成具有縮減分辨率(例如，半分辨率)的LE圖像幀和RE圖像幀。具有縮減分辨率的這種經(jīng)解碼的LE和RE圖像幀可以上采樣以包括與全分辨率圖像相同數(shù)量的像素，但是比不是通過(guò)上采樣操作獲得的全分辨率圖像具有更模糊的外觀。
[0062]在一示例實(shí)施例中，復(fù)用3D圖像幀(108-H)包括LE和RE圖像數(shù)據(jù)部分，其中每一個(gè)都包括全分辨率圖像幀中的總像素?cái)?shù)的縮減數(shù)量(例如，一半、低于一半、或比總數(shù)少的另一數(shù)量)，其中，LE和RE圖像數(shù)據(jù)部分包括沿垂直方向的高空間頻率內(nèi)容，而另一復(fù)用3D圖像幀(108-V)包括補(bǔ)充LE和RE圖像數(shù)據(jù)部分，其中每一個(gè)都包括全分辨率圖像幀中的總像素?cái)?shù)的縮減數(shù)量(例如，一半、低于一半、或比總數(shù)少的另一數(shù)量)，其中，該補(bǔ)充LE和RE圖像數(shù)據(jù)部分包括沿水平方向的高空間頻率內(nèi)容。LE和RE圖像數(shù)據(jù)部分可以按并排格式、上下格式、五點(diǎn)形格式、棋盤格式、交織格式、前述格式的組合、或另一復(fù)用格式而在復(fù)用3D圖像幀(例如，108-H和108-V中的一個(gè))內(nèi)復(fù)用。
[0063]一個(gè)或多個(gè)增強(qiáng)層可以被用于攜帶第一復(fù)用3D圖像幀(例如，108-H和108-V中的一個(gè))，該第一復(fù)用3D圖像幀可以在基礎(chǔ)層中與第二復(fù)用3D圖像幀(例如，108-H和108-V中的另一個(gè))相組合。在此描述的多層視頻解碼器(例如，150)可以被配置成，基于第一和第二復(fù)用3D圖像幀(例如，108-H和108-V)，生成在垂直和水平方向上都具有高空間分辨率內(nèi)容的圖像幀。
[0064]在一示例實(shí)施例中，BL編碼器(110)至少部分地基于第一復(fù)用3D圖像幀(例如，108-H)，生成要在基礎(chǔ)層幀兼容視頻流(BL FC視頻流112-1)中攜帶的基礎(chǔ)層視頻信號(hào)，而EL編碼器(116)至少部分地基于第二復(fù)用3D圖像幀(例如，108-V)，生成要在增強(qiáng)層幀兼容視頻流(ELFC視頻流112-3)中攜帶的增強(qiáng)層視頻信號(hào)。BL編碼器(110)和EL編碼器(116)中的一者或兩者可以利用多種編解碼器(如H.264/AVC、VP8、VC-l和/或其它)中的一種或多種來(lái)實(shí)現(xiàn)。
[0065]在此描述的增強(qiáng)層視頻信號(hào)可以利用混合視頻編碼方法(例如，通過(guò)視頻編解碼器(如VC-1、H.264/AVC和/或其它)實(shí)現(xiàn)的方法)來(lái)生成。復(fù)用3D圖像幀108-V中的圖像數(shù)據(jù)可以根據(jù)同一圖像幀中的相鄰采樣而被預(yù)測(cè)(利用幀內(nèi)預(yù)測(cè))，或者根據(jù)來(lái)自屬于同一層且被緩沖作為預(yù)測(cè)參考圖像幀緩沖器內(nèi)的運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)參考的、過(guò)去已解碼的圖像幀的采樣而被預(yù)測(cè)(幀間預(yù)測(cè))。層間預(yù)測(cè)還可以至少部分地基于來(lái)自其它層(例如，基礎(chǔ)層等)的已解碼的信息。
[0066]另外和/或可選地，多層視頻編碼器(100)可以包括用于執(zhí)行涉及預(yù)測(cè)的操作的參考處理單元(RPU，114)。通過(guò)參考處理單元(114)執(zhí)行的預(yù)測(cè)可以被用于減小多層視頻解碼器(150)中在構(gòu)造復(fù)用3D圖像幀時(shí)的冗余數(shù)據(jù)和開(kāi)銷。該RPU (114)可以接收并使用來(lái)自BL編碼器110的BL圖像數(shù)據(jù)和其它預(yù)測(cè)相關(guān)信息，并且通過(guò)幀內(nèi)或幀間預(yù)測(cè)生成預(yù)測(cè)參考圖像幀。
[0067]在使用這種預(yù)測(cè)的那些示例實(shí)施例中，EL編碼器(116)至少部分地基于第二復(fù)用3D圖像幀(108-V)和預(yù)測(cè)參考圖像幀，來(lái)生成預(yù)測(cè)參考圖像幀與第二復(fù)用3D圖像幀108-V之間的復(fù)用3D圖像殘留或差分，并將該圖像殘留存儲(chǔ)在要在EL FC視頻流(112-3)中攜帶的增強(qiáng)層視頻信號(hào)中。而且，基于該預(yù)測(cè)和編碼處理，RPU (114)可以生成編碼信息，該編碼信息可以利用RPU流(112-2)作為元數(shù)據(jù)發(fā)送至解碼器。
[0068]圖1B例示了根據(jù)一實(shí)施例的接收輸入視頻信號(hào)的多層視頻解碼器(150)，其中，來(lái)自原始視頻序列(其可以是如結(jié)合圖1A討論的輸入視頻序列)的、沿兩個(gè)正交方向的高空間頻率內(nèi)容已經(jīng)分別保留在增強(qiáng)層和基礎(chǔ)層中所攜帶的互補(bǔ)圖像數(shù)據(jù)中。在一示例實(shí)施例中，輸入視頻信號(hào)在多個(gè)層(或多個(gè)比特流)中被接收。如在此使用的，術(shù)語(yǔ)“多層”或“多個(gè)層”可以指攜帶(各輸入視頻信號(hào))彼此之間具有一個(gè)或多個(gè)邏輯依賴關(guān)系的輸入視頻信號(hào)的兩個(gè)或更多個(gè)比特流。
[0069]在一示例實(shí)施例中，該多層視頻解碼器(150)被配置成將BL FC視頻流(圖1B的112-1),EL RPU流(圖1B的112-2)、以及EL FC視頻流(圖1B的112-3)中的一個(gè)或多個(gè)輸入視頻信號(hào)解碼成(全分辨率)3D輸出圖像的序列。通過(guò)多層視頻解碼器(150)解碼的3D輸出圖像序列中的3D輸出圖像包括用于雙眼的高空間分辨率內(nèi)容，因?yàn)橐呀?jīng)沿水平和垂直方向兩者保留了輸入視頻信號(hào)所源自的原始視頻序列中的高空間頻率內(nèi)容。
[0070]在一示例實(shí)施例中，BL解碼器(152)至少部分地基于從BL FC視頻流(圖1B的112-1)接收的BL視頻信號(hào)，生成第一復(fù)用3D圖像幀(158-H)，而EL解碼器(156)至少部分地基于從EL FC視頻流(圖1B的112-3)接收的EL視頻信號(hào)，生成第二復(fù)用3D圖像幀(158-V)。BL解碼器(152)和EL解碼器(156)中的一者或兩者可以利用多種編解碼器(如H.264/AVC、VP8、VC-1和/或其它)中的一種或多種來(lái)實(shí)現(xiàn)。
[0071]在使用預(yù)測(cè)的實(shí)施例中，解碼器側(cè)的RPU (154)至少部分地基于從EL RPU流(圖1B的112-2)接收的參考視頻信號(hào)和/或來(lái)自BL解碼器(152)的BL圖像數(shù)據(jù)，生成預(yù)測(cè)參考圖像幀。而且，EL解碼器(156)至少部分地基于EL FC視頻流(圖1B的112-3)中的EL視頻信號(hào)和來(lái)自RPU (154)的預(yù)測(cè)參考圖像幀，生成第二復(fù)用3D圖像幀(158-V)。
[0072]多層視頻解碼器(150)可以組合在一個(gè)或多個(gè)增強(qiáng)層(例如，ELRPU流112_2和ELFC視頻流112-3)中接收的補(bǔ)充圖像數(shù)據(jù)和在基礎(chǔ)層(例如，BL FC視頻流112-1)中接收的圖像數(shù)據(jù)，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率LE和RE輸出圖像幀(例如，162-L和162-R)。例如，解復(fù)用器(DeMux，160)可以被配置成，將復(fù)用3D圖像幀(158-H和158-V)解復(fù)用成具有高空間頻率內(nèi)容的LE和RE輸出圖像幀(162-L和162-R)。雖然這些復(fù)用3D圖像幀(158-H和158-V)皆包括用于左眼和右眼兩者的圖像數(shù)據(jù)，但LE和RE輸出圖像幀(162-L和162-R)中的每一個(gè)都僅用于左眼和右眼中的一個(gè)。第一復(fù)用3D圖像幀(158-H)中的第一 LE圖像數(shù)據(jù)部分可以與第二復(fù)用3D圖像幀(158-V)中的第二 LE圖像數(shù)據(jù)部分相組合，以形成包括沿垂直方向和水平方向兩者的高空間頻率內(nèi)容的LE輸出圖像(162-L)。類似的是，第一復(fù)用3D圖像幀(158-H)中的第一 RE圖像數(shù)據(jù)部分可以與第二復(fù)用3D圖像幀(158-V)中的第二 RE圖像數(shù)據(jù)部分相組合，以形成包括沿垂直方向和水平方向兩者的高空間頻率內(nèi)容的RE輸出圖像(162-R)。
[0073]全分辨率LE和RE輸出圖像幀(162-L和162-R)(這兩者包括沿垂直方向和水平方向兩者的高空間頻率內(nèi)容)可以通過(guò)顯示裝置(其例如可以包括多層視頻解碼器150)被呈現(xiàn)，以展現(xiàn)全分辨率輸出3D圖像。呈現(xiàn)全分辨率LE和RE輸出圖像幀可以(但不限于)采用幀順序方式。因?yàn)楦呖臻g頻率內(nèi)容已經(jīng)保留在通過(guò)多層視頻解碼器(150)接收的視頻信號(hào)中，所以該全分辨率輸出3D圖像包含可能存在于原始3D圖像(其可以是圖1A的3D輸入圖像之一)中的高空間頻率圖像細(xì)節(jié)。
[0074]圖1C例示了根據(jù)一實(shí)施例的、接收從原始視頻序列(其可以是如結(jié)合圖1A討論的輸入視頻序列)生成的一個(gè)或多個(gè)輸入視頻信號(hào)的基礎(chǔ)層視頻解碼器(150-1)。在一示例實(shí)施例中，該基礎(chǔ)層視頻解碼器(150-1)被配置成將從基礎(chǔ)層接收的BL輸入視頻信號(hào)(圖1C的BL FC視頻流112-1)解碼成3D輸出圖像的序列，無(wú)論其它層中的視頻信號(hào)是否可能存在或不存在于通過(guò)解碼器接收的物理信號(hào)中。在一示例實(shí)施例中，基礎(chǔ)層視頻解碼器(150-1)被配置成忽略除了 BL FC視頻流(112-1)以外的其它流中任何視頻信號(hào)的存在。
[0075]通過(guò)基礎(chǔ)層視頻解碼器(150-1)生成的3D輸出圖像序列中的3D輸出圖像不包括全分辨率3D圖像數(shù)據(jù)，因?yàn)檩斎胍曨l信號(hào)所源自的原始視頻信號(hào)中的沿垂直和水平方向之一的高空間頻率內(nèi)容已經(jīng)在基礎(chǔ)層視頻信號(hào)中被過(guò)濾/去除并且不能由基礎(chǔ)層視頻解碼器(150-1)恢復(fù)。
[0076]在一示例實(shí)施例中，BL解碼器(圖1C的152)至少部分地基于BL FC視頻流(圖1C的112-1)中的BL輸入視頻信號(hào)，生成復(fù)用3D圖像幀(例如，圖1C的158-H)。BL解碼器(圖1C的152)可以利用多種編解碼器(如H.264/AVC、VP8、VC-1和/或其它)中的一種或多種來(lái)實(shí)現(xiàn)。
[0077]在一示例實(shí)施例中，上采樣單元(170)將復(fù)用3D圖像幀(158-H)解復(fù)用和/或分離成兩個(gè)圖像數(shù)據(jù)部分。當(dāng)復(fù)用3D圖像幀(158-H)包括用于左眼和右眼兩者的復(fù)用的已濾波圖像數(shù)據(jù)時(shí)，這些圖像數(shù)據(jù)部分包括已濾波LE圖像數(shù)據(jù)部分和已濾波RE圖像數(shù)據(jù)部分，其中每一個(gè)都具有低于全分辨率的縮減分辨率。在一不例實(shí)施例中，上米樣單兀(170)上采樣(例如，沿水平方向擴(kuò)展)已濾波LE圖像數(shù)據(jù)部分，以形成上采樣LE已濾波輸出圖像幀(172-L)。類似的是，上采樣單元(170)上采樣(例如，沿水平方向擴(kuò)展)已濾波RE圖像數(shù)據(jù)部分，以形成上采樣RE已濾波輸出圖像幀(172-R)。盡管上采樣LE和RE已濾波圖像幀(172-L和172-R)皆可以包括與全分辨率圖像幀相同數(shù)量的像素，但是與不是通過(guò)上采樣操作獲得的全分辨率LE和RE圖像幀(圖1B的162-L和162-R)所構(gòu)成的3D圖像相比，所呈現(xiàn)的具有上采樣LE和RE已濾波圖像幀(172-L和172-R)的3D圖像具有更模糊的外觀。另外，上采樣LE和RE已濾波圖像幀(172-L和172-R)不具有在BL視頻信號(hào)(其例如可以從圖1A的112-1導(dǎo)出)的編碼處理中去除的高空間頻率圖像細(xì)節(jié)。
[0078]低于全分辨率的上采樣LE和RE已濾波圖像幀(172-L和172-R)可以通過(guò)顯示裝置(其例如可以包括基礎(chǔ)層視頻解碼器150-1)呈現(xiàn)，以展現(xiàn)輸出3D圖像。呈現(xiàn)上采樣LE和RE已濾波圖像幀(172-L和172-R)可以但不限于采用幀順序方式。
[0079]3、解復(fù)用器
[0080]圖2、圖3和圖4例示了根據(jù)一些示例實(shí)施例的、圖1B的解復(fù)用器160的不同構(gòu)造。解復(fù)用器(160-1到160-5)皆可以被配置成，接受從第一復(fù)用3D圖像幀(例如，158-H)解碼/導(dǎo)出的第一 LE部分(202-L)和從第二復(fù)用3D圖像幀(例如，158-V)解碼/導(dǎo)出的第二 LE部分(204-L)。第一 LE部分(202-L)可以包括沿垂直和水平方向中的一個(gè)(例如，垂直方向)的高空間頻率內(nèi)容，而第二 LE部分(204-L)可以包括沿垂直和水平方向中的另一個(gè)(同一示例中為水平方向)的高空間頻率內(nèi)容。
[0081]解復(fù)用器(160-1到160-5)皆可以被配置成，處理并組合第一 LE部分(202-L)和第二 LE部分(204-L)，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率LE圖像幀(162-L)。
[0082]與解復(fù)用器(160-1到160-5)中的每一個(gè)相似的解復(fù)用器可以被配置成，接受從第一復(fù)用3D圖像幀(158-H)解碼/導(dǎo)出的第一 RE部分和從第二復(fù)用3D圖像幀(158-V)解碼/導(dǎo)出的第二 RE部分。第一 RE部分可以包括沿垂直方向的高空間頻率內(nèi)容，而第二 RE部分可以包括沿水平方向的高空間頻率內(nèi)容。該解復(fù)用器可以被配置成，處理并組合第一RE部分和第二 RE部分，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率RE圖像幀(圖1B的162-R)。
[0083]如圖2所示，解復(fù)用器(160-1)中的上采樣器(206-H)可以被配置成，沿水平方向上采樣第一 LE部分(202-L)，以創(chuàng)建第一 LE圖像幀(208-H)。類似的是，解復(fù)用器(160-1)中的上采樣器206-V可以被配置成，沿垂直方向上采樣第二 LE部分(204-L)，以創(chuàng)建第二LE 圖像幀(208 - V)。
[0084]第一低通濾波器(210-1)和第一高通濾波器(210-2)可以被應(yīng)用至第一 LE圖像中貞(208-H)，以產(chǎn)生第一低通LE圖像幀(212-1)和第一高通LE圖像幀(212-2)。類似的是，第二低通濾波器(214-1)和第二高通濾波器(214-2)可以被應(yīng)用至第二 LE圖像幀(208-V)，以產(chǎn)生第二低通LE圖像幀(216-1)和第二高通LE圖像幀(216-2)。
[0085]解復(fù)用器(160-1)中的平均單元(218)可以被配置成，接受第一低通LE圖像幀(212-1)和第二低通LE圖像幀(216-1)作為輸入，并且針對(duì)第一低通LE圖像幀(212-1)和第二低通LE圖像幀(216-1)應(yīng)用平均操作，以生成低通平均LE圖像幀。
[0086]解復(fù)用器(160-1)中的加法器(220)可以被配置成，接受第一高通LE圖像幀(212-2)、第二高通LE圖像幀(216-2)以及低通平均LE圖像幀作為輸入，并且針對(duì)第一高通LE圖像幀(212-2)、第二高通LE圖像幀(216-2)以及低通平均LE圖像幀應(yīng)用加法操作，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率LE圖像幀(162-L)。
[0087]在一些實(shí)施例中，例如，出于抗混疊目的，已經(jīng)由多層視頻編碼器(例如，圖1A的100)應(yīng)用了低通濾波。圖2的解復(fù)用器(160-1)可以根據(jù)如圖3A和圖3B例示的一些實(shí)施例來(lái)簡(jiǎn)化。在這些實(shí)施例中，可以通過(guò)消除可以在圖2的復(fù)用器160-1中使用的低通濾波器(例如，210-1和214-1)和平均單元(218)來(lái)減小解碼復(fù)雜性。
[0088]如圖3A所示，解復(fù)用器(160-2)中的上采樣器(206-H)可以被配置成，沿水平方向上采樣第一 LE部分(202-L)，以創(chuàng)建包括沿垂直方向的高空間頻率內(nèi)容的LE圖像幀(208-H)。
[0089]保留沿水平方向的高空間頻率內(nèi)容的高通濾波器(214-2)可以被應(yīng)用至第二 LE部分(202-L)，以產(chǎn)生高通LE部分。解復(fù)用器(160-2)中的上采樣器206-V可以被配置成，沿垂直方向上采樣高通LE部分，以創(chuàng)建包括沿水平方向的高空間頻率內(nèi)容的高通LE圖像幀(216-2)。
[0090]解復(fù)用器(160-2)中的加法器(222)可以被配置成，接受高通LE圖像幀(216-2)和LE圖像幀(208-H)作為輸入，并且針對(duì)高通LE圖像幀(216-2)和LE圖像幀(208-H)應(yīng)用加法操作，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率LE圖像幀(162-L)。
[0091]在一些實(shí)施例中，代替使用如圖3A所示的解復(fù)用器(160-2)來(lái)導(dǎo)出全分辨率LE圖像幀(例如，162-L)，可以使用如圖3B所示的解復(fù)用器(160-3)。在圖3B中，解復(fù)用器(160-3)中的上采樣器(206-V)可以被配置成，沿垂直方向上采樣第二 LE部分(204-L)，以創(chuàng)建包括沿水平方向的高空間頻率內(nèi)容的LE圖像幀(208-V)。
[0092]保留沿垂直方向的高空間頻率內(nèi)容的高通濾波器(210-2)可以被應(yīng)用至第一 LE部分(202-L)，以產(chǎn)生高通LE部分。解復(fù)用器(160-3)中的上采樣器206-H可以被配置成，沿水平方向上采樣高通LE部分，以創(chuàng)建包括沿垂直方向的高空間頻率內(nèi)容的高通LE圖像幀(212-2)。
[0093]解復(fù)用器(160-3)中的加法器(222)可以被配置成，接受高通LE圖像幀(212_2)和LE圖像幀(208-V)作為輸入，并且針對(duì)高通LE圖像幀(212-2)和LE圖像幀(208-V)應(yīng)用加法操作，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率LE圖像幀(162-L)。
[0094]在一些實(shí)施例中，代替使用如圖3A和圖3B所示的解復(fù)用器(160-2或160_3)中的高通濾波器(例如，圖3A的214-2或圖3B的210-2)來(lái)導(dǎo)出全分辨率LE圖像幀(例如，162-L)，可以使用如圖4A所示的減法操作。與高通濾波操作形成對(duì)比，諸如402的減法操作可以需要更少的計(jì)算復(fù)雜性。
[0095]僅出于例示的目的，第一 LE部分(202-L)可以從BL視頻信號(hào)解碼，而第二 LE部分(204-L)可以從EL視頻信號(hào)解碼。如圖4A所示，參考LE部分404 (其可以具有與第二LE部分(204-L)相同的空間尺度)可以在層間預(yù)測(cè)處理期間，由RPU406 (其例如可以是圖1B的154)基于第一 LE部分(202-L)來(lái)生成。在一些實(shí)施例中，包括沿垂直方向的低通濾波器(408)(其去除沿垂直方向的高空間頻率內(nèi)容)、垂直子采樣器(410 ;其例如可以每隔一行保持)、以及水平上采樣器(412)的處理路徑或子路徑可以被用于生成參考LE部分404。
[0096]減法操作(402)可以被配置成，接受參考LE部分404 (其除了由上游的多層視頻編碼器(例如，圖1A的100)去除的沿水平方向的高空間頻率內(nèi)容以外，還沿垂直方向去除了高空間頻率內(nèi)容)和第二 LE部分(204-L)作為輸入，并且從第二 LE部分(204-L)中減去參考LE部分404，以生成包括僅沿水平方向的高空間頻率內(nèi)容的高通LE部分。在一些實(shí)施例中，在此描述的高通LE部分可以等同于由圖3A的高通濾波器(214-2)生成的高通LE部分。
[0097]與圖3A的解復(fù)用器(160-2)相似，圖4A的解復(fù)用器(160_4)可以包括上采樣器206-V，其可以被配置成沿垂直方向上采樣高通LE部分，以創(chuàng)建包括沿水平方向的高空間頻率內(nèi)容的高通LE圖像幀(216-2)。
[0098]解復(fù)用器(160-4)中的加法器(222)可以被配置成，接受高通LE圖像幀(216-2)和LE圖像幀(208-H)(由水平上采樣器206-H從第一 LE部分202-L生成)作為輸入，并且針對(duì)高通LE圖像幀(216-2)和LE圖像幀(208-H)應(yīng)用加法操作，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率LE圖像幀(162-L)。
[0099]如圖4B所示，參考LE部分424 (其可以具有與第一 LE部分(202-L)相同的空間尺度)可以在層間預(yù)測(cè)處理期間，由RPU426 (其例如可以是圖1B的154)基于第二 LE部分(204-L)來(lái)生成。在一些實(shí)施例中，包括沿垂直方向的低通濾波器(428 (其去除沿垂直方向的高空間頻率內(nèi)容)、垂直子采樣器(430;其例如可以每隔一行保持)、以及水平上采樣器(432))的處理路徑或子路徑可以被用于生成參考LE部分404。
[0100]解復(fù)用器(160-5)中的減法操作(422)可以被配置成，接受參考LE部分424 (其除了由上游的多層視頻編碼器(例如，圖1A的100)去除的沿垂直方向的高空間頻率內(nèi)容以夕卜，還沿水平方向去除了高空間頻率內(nèi)容)和第一 LE部分(202-L)作為輸入，并且從第一LE部分(202-L)中減去參考LE部分424，以生成包括僅沿垂直方向的高空間頻率內(nèi)容的高通LE部分。在一些實(shí)施例中，在此描述的高通LE部分可以等同于由圖3B的高通濾波器(210-2)生成的高通LE部分。
[0101]與圖3B的解復(fù)用器(160-3)相似，圖4B的解復(fù)用器(160-5)可以包括上米樣器206-H，其可以被配置成沿水平方向上采樣高通LE部分，以創(chuàng)建包括沿垂直方向的高空間頻率內(nèi)容的高通LE圖像幀(212-2)。
[0102]解復(fù)用器(160-5)中的加法器(222)可以被配置成，接受高通LE圖像幀(212_2)和LE圖像幀(208-V)(由垂直上采樣器206-V從第二 LE部分204-L生成)作為輸入，并且針對(duì)高通LE圖像幀(212-2)和LE圖像幀(208-V)應(yīng)用加法操作，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率LE圖像幀(162-L)。
[0103]4、采樣格式
[0104]圖5例示了一些示例實(shí)施例中的復(fù)用格式。如所示，LE圖像巾貞(例如，102-L或由其導(dǎo)出的LE圖像)和RE圖像幀(例如，102-R或由其導(dǎo)出的RE圖像)可以包括針對(duì)3D圖像幀中的多個(gè)像素(a1、b1、c1、di等，其中i可以是正整數(shù))的LE和RE像素值。在一些實(shí)施例中，諸如圖1A的復(fù)用圖像幀108-H的并排復(fù)用圖像幀可以使用多種并排復(fù)用格式(108-Η-1、108-Η-2、108-Η-3，或其它并排復(fù)用格式)中的任一種，以容納從LE和RE圖像幀(102-L和102-R)水平子采樣的圖像數(shù)據(jù)。在一些實(shí)施例中，諸如圖1A的復(fù)用圖像幀108-V的上下復(fù)用圖像巾貞可以使用多種上下復(fù)用格式(108-V-l、108-V-2、108-V-3,或其它上下復(fù)用格式)中的任一種，以容納從LE和RE圖像幀(102-L和102-R)垂直子采樣的圖像數(shù)據(jù)。
[0105]諸如圖1的106-H或106-V的復(fù)用器可以基于一個(gè)或多個(gè)因素(例如，與復(fù)用器所采用的子采樣方法有關(guān))從多種復(fù)用格式中進(jìn)行復(fù)用格式的一個(gè)或多個(gè)選擇，并且可以向多層視頻解碼器(例如，圖1B的150)通知對(duì)復(fù)用格式的選擇，作為例如利用RPU流112-2的元數(shù)據(jù)。多層視頻解碼器(150)中的RPU單元(例如，圖4A的406或圖4B的426)可以基于與從BL視頻信號(hào)解碼的復(fù)用3D圖像幀(例如，對(duì)應(yīng)于圖1A的108-H)來(lái)構(gòu)造層間參考幀或圖像部分(例如，圖4A的404或圖4B的424)，其中考慮了在生成被編碼在BL和EL層兩者中的復(fù)用3D圖像幀(108-H和108-V)(差分或非差分)時(shí)，上游多層視頻編碼器所使用的所采用子采樣方法。
[0106]5、交織視頻應(yīng)用
[0107]圖6A例示了一些示例實(shí)施例中的、按上下格式形成圖像部分(606)的同一視角(左眼或右眼)的交織內(nèi)容(602)。在圖6A中，該交織內(nèi)容(602)可以首先解復(fù)用成等于t的第一時(shí)間的(例如1080?的)上場(chǎng)(top field) (604-T)和等于t+1的第二時(shí)間的(例如1080i 的)下場(chǎng)(bottom field) (604-B)。在圖 6A 中，上場(chǎng)(604-T)和下場(chǎng)(604-B)中的每一個(gè)都可以垂直地濾波并垂直地子米樣成第一半場(chǎng)(608-1)(例如,在垂直方向上具有全空間分辨率的一半或不到一半或者具有低于全空間分辨率的另一分辨率)和第二半場(chǎng)(608-2)(例如,在垂直方向上具有全空間分辨率的一半或不到一半或者具有低于全空間分辨率的另一分辨率)。而且，在圖6A中，第一半場(chǎng)(608-1)和第二半場(chǎng)(608-2)可以被交織成第一交織圖像幀中的上或下場(chǎng)(606 )。
[0108]圖6B例示了一些示例實(shí)施例中的、按并排格式形成圖像部分(626)的同一視角(左眼或右眼)的交織內(nèi)容(602)。在一些實(shí)施例中，該交織內(nèi)容(602)在水平濾波和水平子采樣并接著交織成圖像部分(626)之前不需要被解復(fù)用成兩個(gè)分離的場(chǎng)。相反的是，該交織內(nèi)容(602)可以被直接水平濾波和水平子采樣成圖像部分(626)。圖6B所示操作可以針對(duì)LE和RE視角中的每一個(gè)來(lái)執(zhí)行，并且可以構(gòu)建濾波和采樣機(jī)構(gòu)(104-H)的一半。
[0109]圖6A和圖6B中描述的操作可以被應(yīng)用至左眼和右眼視角中的每一個(gè)，由此，形成具有上下格式的第一交織圖像幀(如圖6A中部分所示)，和具有并排格式的第二交織圖像幀(如圖6B中部分所示)。第一交織幀和第二交織幀中的一個(gè)交織幀可以被攜帶在BL視頻信號(hào)中，而另一(差分或者非差分編碼的)交織幀可以被攜帶在EL視頻信號(hào)中。結(jié)果，第一交織圖像幀和第二交織圖像幀中的一個(gè)(例如，本示例中的第一交織圖像幀)攜帶沿水平方向的高空間頻率內(nèi)容，而第一交織圖像幀和第二交織圖像幀中的另一個(gè)(例如，本示例中的第二交織圖像幀)攜帶沿垂直方向的高空間頻率內(nèi)容。
[0110]圖7例示了一些示例實(shí)施例中的、用于攜帶交織內(nèi)容的復(fù)用格式。如圖6A和圖6B所示，沿水平或垂直方向的低通濾波和子采樣可以針對(duì)交織內(nèi)容以場(chǎng)為基礎(chǔ)。左圖像場(chǎng)(708-L)和右圖像場(chǎng)(708-R)可以分別對(duì)應(yīng)于交織內(nèi)容的LE和RE視角達(dá)等于t的時(shí)間。左圖像場(chǎng)(708-L)和右 圖像場(chǎng)(708-R)之一的像素值可以在如圖6B所示地應(yīng)用水平濾波和水平子采樣時(shí)，被用于填充如圖7所示的多種復(fù)用(或子采樣)格式(708-Η-1、708-Η-2、708-H-3等)中的任一種的左側(cè)或右側(cè)。類似的是，左圖像場(chǎng)(708-L)和右圖像場(chǎng)(708-R)之一的像素值可以在如圖6A所示地應(yīng)用垂直濾波和水平子采樣時(shí)，被用于填充如圖7所示的多種復(fù)用(或子采樣)格式(708;-1、708;-2、708;-3等)中的任一種的上側(cè)或下側(cè)。在一些實(shí)施例中，LE和RE視角兩者的并且對(duì)應(yīng)于等于t的第一時(shí)間和等于t+Ι的第二時(shí)間兩者的所有圖像場(chǎng)中的子采樣圖像數(shù)據(jù)以應(yīng)用至交織內(nèi)容的上下格式存在。
[0111]6、殘留圖像編碼
[0112]圖8A例示了根據(jù)本發(fā)明一實(shí)施例的、保持存在于輸入視頻序列中的高空間頻率內(nèi)容的多層視頻編碼器(100-1)。圖SB示出了根據(jù)該示例實(shí)施例的、對(duì)應(yīng)于圖8A所示多層視頻編碼器(100-1)的多層視頻解碼器(150-2)。
[0113]在一示例實(shí)施例中，多層視頻編碼器(100-1)被配置成編碼由3D輸入圖像的序列構(gòu)成的輸入3D視頻序列。該3D圖像序列中的一 3D輸入圖像包括包含高空間頻率內(nèi)容的全分辨率3D圖像數(shù)據(jù)。3D輸入圖像中的全分辨率3D圖像數(shù)據(jù)可以由多層視頻編碼器(100)初始地解碼成輸入LE圖像幀(102-L)和輸入RE圖像幀(120-R)，這兩者都包含高空間頻率內(nèi)容。
[0114]在一示例實(shí)施例中，多層視頻編碼器(100)中的第一濾波和子采樣機(jī)構(gòu)(例如，104-H)基于輸入LE和RE圖像幀(102-L和102-R)，生成沿垂直或水平方向中的一個(gè)方向?yàn)V波而沿垂直或水平方向中的另一個(gè)方向不濾波的LE和RE圖像數(shù)據(jù)。出于例示的目的，該第一濾波和子采樣機(jī)構(gòu)可以是圖8A的104-H，其被配置成，從輸入LE和RE圖像幀(102-L和102-R)沿水平方向過(guò)濾高空間頻率內(nèi)容，并且將已沿水平方向?yàn)V波的LE和RE圖像幀(102-L和102-R)水平子采樣成對(duì)應(yīng)的LE和RE部分。復(fù)用器(106-H)可以被配置成，按并排格式將LE和RE部分組合在3D復(fù)用圖像幀(108-H)中。
[0115]在一些實(shí)施例中，代替通過(guò)EL處理子路徑(包括濾波、子采樣、復(fù)用以及壓縮成EL視頻信號(hào))來(lái)處理LE和RE圖像幀(102-L和102_R)，LE和RE殘留圖像幀(806-L和806-R)可以通過(guò)EL處理子路徑來(lái)處理。如圖8A所示，RPU (114)可以被配置成，基于BL編碼器
(110)所提供的復(fù)用3D圖像幀(108-H)來(lái)生成LE和RE參考圖像部分。來(lái)自RPU (114)的LE和RE參考圖像部分可以沿與BL處理子路徑的子采樣方向相同的方向進(jìn)行上采樣。例如，如果包括水平濾波、水平子采樣、并排復(fù)用以及BL編碼的BL處理子路徑沿水平方向執(zhí)行輸入LE和RE圖像幀(102-L和102-R)的子采樣，則RPU (114)生成的LE和RE參考圖像部分皆可以沿水平方向上采樣，以形成上采樣LE圖像幀(804-L)和上采樣RE圖像幀(804-R)。
[0116]加法操作(810-L)可以被配置成，接受上采樣LE圖像幀804-L (其已經(jīng)通過(guò)BL處理子路徑沿水平方向去除了高空間頻率內(nèi)容)的補(bǔ)充和輸入LE圖像幀(102-L)作為輸入，并且將輸入LE圖像幀(102-L)與上采樣LE圖像幀804-L的補(bǔ)充相加，以生成包括僅沿水平方向的高空間頻率內(nèi)容的LE殘留圖像幀(806-L)。加法操作(810-R)可以被配置成，接受上采樣RE圖像幀804-R (其已經(jīng)通過(guò)BL處理子路徑沿水平方向去除了高空間頻率內(nèi)容)的補(bǔ)充和輸入RE圖像幀(102-R)作為輸入，并且將輸入RE圖像幀(102-R)與上采樣RE圖像幀804-R的補(bǔ)充相加，以生成包括僅沿水平方向的高空間頻率內(nèi)容的RE殘留圖像幀(806-R)。
[0117]第二濾波和子采樣機(jī)構(gòu)可以是圖8A的104-V，其被配置成，將LE和RE殘留圖像幀(806-L和806-R)垂直子采樣成對(duì)應(yīng)的LE和RE殘留部分。另外并且可選地，該第二濾波和子采樣機(jī)構(gòu)可以包括垂直濾波器，其被配置成，例如在上述針對(duì)LE和RE殘留圖像幀(806-L和806-R)的子采樣操作之前，垂直地濾波LE和RE殘留圖像幀(806-L和806-R)。復(fù)用器(106-V)可以被配置成，按上下格式將LE和RE殘留部分組合在3D復(fù)用圖像幀(808-V)中。
[0118]在一示例實(shí)施例中，BL編碼器(110)至少部分地基于第一復(fù)用3D圖像幀(例如，108-H)，生成要在基礎(chǔ)層幀兼容視頻流(BL FC視頻流112-1)中攜帶的基礎(chǔ)層視頻信號(hào)，而EL編碼器(116)至少部分地基于第二復(fù)用3D圖像幀(例如，808-V)，生成要在增強(qiáng)層幀兼容視頻流(ELFC視頻流112-3)中攜帶的增強(qiáng)層視頻信號(hào)。BL編碼器(110)和EL編碼器(116)中的一者或兩者可以利用多種編解碼器(如H.264/AVC、VP8、VC-l和/或其它)中的一種或多種來(lái)實(shí)現(xiàn)。
[0119]圖SB例示了根據(jù)一實(shí)施例的接收輸入視頻信號(hào)的多層視頻解碼器(150-2)，其中，來(lái)自原始視頻序列(其可以是如結(jié)合圖8A討論的輸入視頻序列)的、沿兩個(gè)正交方向的高空間頻率內(nèi)容已經(jīng)分別保留在增強(qiáng)層和基礎(chǔ)層中所攜帶的互補(bǔ)圖像數(shù)據(jù)中。
[0120]在一示例實(shí)施例中，該多層視頻解碼器(150-2)被配置成將BL FC視頻流(圖8B的112-1),EL RI3U流(圖8B的112-2)、以及EL FC視頻流(圖8B的112-3)中的一個(gè)或多個(gè)輸入視頻信號(hào)解碼成3D輸出圖像的序列。通過(guò)多層視頻解碼器(150-2)解碼的3D輸出圖像序列中的3D輸出圖像包括用于雙眼的高空間頻率內(nèi)容，因?yàn)橐呀?jīng)沿水平和垂直方向兩者保留了輸入視頻信號(hào)所源自的原始視頻序列中的高空間頻率內(nèi)容。
[0121]在一示例實(shí)施例中，BL解碼器(152)至少部分地基于從BL FC視頻流(圖8B的112-1)接收的BL視頻信號(hào)，生成第一復(fù)用3D圖像幀(158-H)，而EL解碼器(156 )至少部分地基于從EL FC視頻流(圖8B的112-3)接收的EL視頻信號(hào)，生成第二復(fù)用3D圖像幀(858-V)。BL解碼器(152)和EL解碼器(156)中的一者或兩者可以利用多種編解碼器(如
H.264/AVC、VP8、VC-1和/或其它)中的一種或多種來(lái)實(shí)現(xiàn)。
[0122]在一些實(shí)施例中，EL解碼器(156)至少部分地基于EL FC視頻流(圖8B的112-3)中的EL視頻信號(hào)而不需要來(lái)自RPU (154)的預(yù)測(cè)參考圖像幀，來(lái)生成第二復(fù)用3D圖像幀(858-V)。
[0123]多層視頻解碼器(150-2)可以組合在一個(gè)或多個(gè)增強(qiáng)層(例如，EL FC視頻流112-3)中接收的殘留圖像數(shù)據(jù)和在基礎(chǔ)層(例如，BL FC視頻流112-1)中接收的圖像數(shù)據(jù)，以生成包括沿垂直和水平方向兩者的高空間頻率內(nèi)容的全分辨率LE和RE輸出圖像幀(例如，162-L和162-R)。例如，解復(fù)用器(DeMux，160)可以被配置成，將復(fù)用3D圖像幀(158-H和858-V)解復(fù)用成具有高空間頻率內(nèi)容的LE和RE輸出圖像幀(162-L和162-R)。雖然這些復(fù)用3D圖像幀(158-H和858-V)皆包括用于左眼和右眼兩者的圖像數(shù)據(jù)，但LE和RE輸出圖像巾貞(162-L和162-R)中的每一個(gè)都僅用于左眼和右眼中的一個(gè)。第一復(fù)用3D圖像幀(158-H)中的第一 LE圖像數(shù)據(jù)部分可以與第二復(fù)用3D圖像幀(158-V)中的第二 LE圖像數(shù)據(jù)部分相組合，以形成包括沿垂直方向和水平方向兩者的高空間頻率內(nèi)容的LE輸出圖像(162-L)。類似的是，第一復(fù)用3D圖像幀(158-H)中的第一 RE圖像數(shù)據(jù)部分可以與第二復(fù)用3D圖像幀(158-V)中的第二 RE圖像數(shù)據(jù)部分相組合，以形成包括沿垂直方向和水平方向兩者的高空間頻率內(nèi)容的RE輸出圖像(162-R)。
[0124]全分辨率LE和RE輸出圖像幀(162-L和162-R)(這兩者包括沿垂直方向和水平方向兩者的高空間頻率內(nèi)容)可以通過(guò)顯示裝置(其例如可以包括多層視頻解碼器150)被呈現(xiàn)，以展現(xiàn)全分辨率輸出3D圖像。呈現(xiàn)全分辨率LE和RE輸出圖像幀可以(但不限于)采用幀順序方式。因?yàn)楦呖臻g頻率內(nèi)容已經(jīng)保留在通過(guò)多層視頻解碼器(150)接收的視頻信號(hào)中，所以該全分辨率輸出3D圖像包含可能存在于原始3D圖像(其可以是圖8A的3D輸入圖像之一)中的高空間頻率圖像細(xì)節(jié)。
[0125]在圖8A和圖8B所示的實(shí)施例中，不需要層間預(yù)測(cè)。與在其它實(shí)施例(例如，如圖1A和圖所示)中相比，在這些實(shí)施例中通過(guò)多層視頻解碼器解碼BL和EL圖像數(shù)據(jù)可以更大程度上獨(dú)立地執(zhí)行。結(jié)果，與圖2到圖4所示那些相比，可以在諸如圖SB的150-2的多層視頻解碼器中使用更簡(jiǎn)單的解復(fù)用器(例如，圖9的160-6)。
[0126]應(yīng)注意到，殘留圖像數(shù)據(jù)在漸進(jìn)視頻應(yīng)用中可以利用如圖5所示的任何子采樣格式并且在交織視頻應(yīng)用中可以利用如圖7所示的任何子采樣格式而被子采樣。在此描述的PRU信號(hào)可以被用于向下游視頻解碼器通知由上游多層視頻編碼器編碼的BL和EL圖像數(shù)據(jù)的選定子米樣格式。
[0127]7、示例處理流程
[0128]圖1OA例不了根據(jù)本發(fā)明一實(shí)施例的不例處理流程。在一些不例實(shí)施例中，一個(gè)或多個(gè)計(jì)算裝置或硬件組件可以執(zhí)行該處理流程。在框1002中，多層視頻編碼器(例如，100)接收輸入3D圖像，該輸入3D圖像包括左眼(LE)輸入圖像幀和右眼(RE)輸入圖像幀。[0129]在框1004中，多層視頻編碼器(100)基于LE輸入圖像幀和RE輸入圖像幀，生成包括沿水平方向的第一高空間頻率內(nèi)容和沿垂直方向的第一縮減分辨率內(nèi)容的第一復(fù)用圖像幀。
[0130]在框1006中，多層視頻編碼器(100)基于LE輸入圖像幀和RE輸入圖像幀，生成包括沿垂直方向的第二高空間頻率內(nèi)容和沿水平方向的第二縮減分辨率內(nèi)容的第二復(fù)用圖像幀。
[0131]在框1008中，多層視頻編碼器(100)編碼并輸出第一復(fù)用圖像幀和第二復(fù)用圖像幀，以表示輸入3D圖像。
[0132]在一實(shí)施例中，該3D輸入圖像是3D輸入圖像序列中的第一 3D輸入圖像，其中該3D輸入圖像序列包括具有第二 LE輸入圖像幀和第二 LE輸入圖像幀的不同的第二 3D輸入圖像。該多層視頻編碼器(100)還被配置成執(zhí)行:基于第二 LE輸入圖像幀和第二 RE輸入圖像幀，生成包括沿水平方向的第三高空間頻率內(nèi)容和沿垂直方向的第三縮減分辨率內(nèi)容的第三復(fù)用圖像幀；基于第二 LE輸入圖像幀和第二輸入圖像幀，生成包括沿垂直方向的第四高空間頻率內(nèi)容和沿水平方向的第四縮減分辨率內(nèi)容的第四復(fù)用圖像幀；以及編碼并輸出第三復(fù)用圖像幀和第四復(fù)用圖像幀，以表示第二輸入3D圖像。
[0133]在一實(shí)施例中，第一復(fù)用圖像幀包括第一 LE圖像數(shù)據(jù)部分和第一 RE圖像數(shù)據(jù)部分。該第一 LE圖像數(shù)據(jù)部分和第一 RE圖像數(shù)據(jù)部分沿水平方向和垂直方向都具有相同的空間分辨率。第二復(fù)用圖像幀包括第二 LE圖像數(shù)據(jù)部分和第二 RE圖像數(shù)據(jù)部分。該第二 LE圖像數(shù)據(jù)部分和第二 RE圖像數(shù)據(jù)部分沿水平方向和垂直方向都具有相同的空間分辨率。在一實(shí)施例中，第一 LE圖像數(shù)據(jù)部分和第一 RE圖像數(shù)據(jù)部分中的每一個(gè)表示整個(gè)圖像幀的一個(gè)子采樣版本(例如，全分辨率的一半、低于一半、或另一縮減數(shù)量)；第一復(fù)用圖像幀采用并排格式來(lái)攜帶第一 LE圖像數(shù)據(jù)部分和第一 RE圖像數(shù)據(jù)部分。第二 LE圖像數(shù)據(jù)部分和第二 RE圖像數(shù)據(jù)部分中的每一個(gè)表示整個(gè)圖像幀的一個(gè)子采樣版本(例如，全分辨率的一半、低于一半、或另一縮減數(shù)量)；第二復(fù)用圖像幀采用上下格式來(lái)攜帶第二 LE圖像數(shù)據(jù)部分和第二 RE圖像數(shù)據(jù)部分。
[0134]在一實(shí)施例中，第一復(fù)用圖像幀采用保留沿水平方向的高空間頻率內(nèi)容的第一復(fù)用格式。第二復(fù)用圖像幀采用保留沿垂直方向的高空間頻率內(nèi)容的第二復(fù)用格式。
[0135]在一實(shí)施例中，第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)在多個(gè)比特流中的基礎(chǔ)層比特流中輸出，而第一復(fù)用圖像幀或第二復(fù)用圖像幀中的另一個(gè)在所述多個(gè)比特流中的增強(qiáng)層比特流中輸出。
[0136]在一實(shí)施例中，多層視頻編碼器(100)還被配置成執(zhí)行:至少部分地基于第一復(fù)用圖像幀生成預(yù)測(cè)參考圖像數(shù)據(jù)；并且基于該預(yù)測(cè)參考圖像數(shù)據(jù)與第二輸入圖像幀之間的差分來(lái)編碼增強(qiáng)層視頻信號(hào)。
[0137]在一實(shí)施例中，多層視頻編碼器(100)還被配置成執(zhí)行:在生成第一復(fù)用圖像幀時(shí)，向第一輸入圖像幀和第二輸入圖像幀應(yīng)用沿第二方向的一個(gè)或多個(gè)第一操作，包括(a)空間頻率濾波操作或(b)空間子采樣操作中的至少一個(gè)，其中，所述一個(gè)或多個(gè)第一操作去除沿第二方向的高空間頻率內(nèi)容而保留沿第一方向的高空間頻率內(nèi)容；以及，在生成第二復(fù)用圖像幀時(shí)，向第一輸入圖像幀和第二輸入圖像幀應(yīng)用沿第一方向的一個(gè)或多個(gè)第二操作，包括(a)空間頻率濾波操作或(b)空間子采樣操作中的至少一個(gè)，其中，所述一個(gè)或多個(gè)第二操作去除沿第一方向的高空間頻率內(nèi)容而保留沿第二方向的高空間頻率內(nèi)容。
[0138]在一實(shí)施例中，第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)包括殘留圖像數(shù)據(jù)，該殘留圖像數(shù)據(jù)通過(guò)從根據(jù)LE輸入圖像幀和RE輸入圖像幀導(dǎo)出的輸入圖像數(shù)據(jù)中減去基于第一復(fù)用圖像幀或第二復(fù)用圖像幀中的另一個(gè)所生成的參考圖像數(shù)據(jù)而生成。
[0139]在一實(shí)施例中，多層視頻編碼器(100)還被配置成將利用一個(gè)或多個(gè)輸入視頻信號(hào)表示、接收、發(fā)送、或存儲(chǔ)的一個(gè)或多個(gè)3D輸入圖像轉(zhuǎn)換成利用一個(gè)或多個(gè)輸出視頻信號(hào)表示、接收、發(fā)送、或存儲(chǔ)的一個(gè)或多個(gè)3D輸出圖像。
[0140]在一實(shí)施例中，輸入3D圖像包括按以下之一編碼的圖像數(shù)據(jù):高動(dòng)態(tài)范圍(HDR)圖像格式、與電影藝術(shù)和科學(xué)學(xué)院(AMPAS)的學(xué)院顏色編碼規(guī)范(ACES)標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間、數(shù)字院線聯(lián)盟的P3顏色空間標(biāo)準(zhǔn)、參考輸入媒介度量/參考輸出媒介度量(RIMM/R0MM)標(biāo)準(zhǔn)、sRGB顏色空間、與國(guó)際電信聯(lián)盟(ITU)的BT.709推薦標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間等。
[0141]圖1OB例示了根據(jù)本發(fā)明一示例實(shí)施例的另一示例處理流程。在一些示例實(shí)施例中，一個(gè)或多個(gè)計(jì)算裝置可以執(zhí)行該處理流程。在框1052中，多層視頻解碼器(例如，150)接收由第一復(fù)用圖像幀和第二復(fù)用圖像幀表示的3D圖像，該第一復(fù)用圖像幀包括沿水平方向的第一高空間頻率內(nèi)容和沿垂直方向的第一縮減分辨率內(nèi)容，而第二復(fù)用圖像幀包括沿垂直方向的第二高空間頻率內(nèi)容和沿水平方向的第二縮減分辨率內(nèi)容。
[0142]在框1054中，多層視頻編碼器(150)基于第一復(fù)用圖像幀和第二復(fù)用圖像幀，生成左眼(LE)圖像幀和右眼(RE)圖像幀，該LE圖像幀包括沿水平方向和垂直方向兩者的LE高空間頻率內(nèi)容，而該RE圖像幀包括沿水平方向和垂直方向兩者的RE高空間頻率內(nèi)容。
[0143]在框1056中，多層視頻解碼器(150)通過(guò)呈現(xiàn)LE圖像幀和RE圖像幀來(lái)呈現(xiàn)3D圖像。
[0144]在一實(shí)施例中，該3D圖像是3D圖像序列中的第一 3D圖像，其中該3D圖像序列包括具有第三復(fù)用圖像幀和第四復(fù)用圖像幀的不同的第二 3D圖像，該第三復(fù)用圖像幀包括沿水平方向的第三高空間頻率內(nèi)容和沿垂直方向的第三縮減分辨率內(nèi)容，而該第四復(fù)用圖像幀包括沿垂直方向的第四高空間頻率內(nèi)容和沿水平方向的第四縮減分辨率內(nèi)容。在一實(shí)施例中，多層視頻解碼器(150)還被配置成執(zhí)行:生成第二 LE圖像幀和第二 RE圖像幀，該第二 LE圖像幀包括沿水平方向和垂直方向兩者的高空間頻率內(nèi)容，并且該第二 LE圖像幀包括沿水平方向和垂直方向兩者的高空間頻率內(nèi)容；以及，通過(guò)呈現(xiàn)第二 LE圖像幀和第二RE圖像幀來(lái)呈現(xiàn)第二 3D圖像。
[0145]在一實(shí)施例中，該第一復(fù)用圖像幀或第二復(fù)用圖像幀中的至少一個(gè)包括LE圖像數(shù)據(jù)部分和RE圖像數(shù)據(jù)部分。該LE圖像數(shù)據(jù)部分和RE圖像數(shù)據(jù)部分具有相同的空間分辨率。在一實(shí)施例中，該LE圖像數(shù)據(jù)部分和RE圖像數(shù)據(jù)部分中的每一個(gè)表示整個(gè)圖像幀的一個(gè)子采樣版本(例如，全分辨率的一半、低于一半、或另一減小數(shù)量)。該LE圖像數(shù)據(jù)部分和RE圖像數(shù)據(jù)部分按并排格式或上下格式之一形成單個(gè)圖像幀。
[0146]在一實(shí)施例中，從多個(gè)比特流中的基礎(chǔ)層比特流解碼第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)，而從所述多個(gè)比特流中的增強(qiáng)層比特流解碼第一復(fù)用圖像幀或第二復(fù)用圖像幀中的另一個(gè)。
[0147]在一實(shí)施例中，多層視頻解碼器(150)還被配置成執(zhí)行:至少部分地基于該第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)，生成預(yù)測(cè)參考圖像數(shù)據(jù)；并且基于根據(jù)增強(qiáng)層(EL)視頻信號(hào)和該預(yù)測(cè)參考圖像數(shù)據(jù)解碼的EL數(shù)據(jù)，生成LE圖像幀或RE圖像幀中的一個(gè)。
[0148]在一實(shí)施例中，多層視頻解碼器(150)還被配置成執(zhí)行:在生成LE圖像幀時(shí)應(yīng)用一個(gè)或多個(gè)第一操作，包括(a)空間頻率濾波操作或(b)解復(fù)用操作中的至少一個(gè)，其中，所述一個(gè)或多個(gè)第一操作將水平方向和垂直方向兩者的、從第一復(fù)用圖像幀和第二復(fù)用圖像幀導(dǎo)出的LE高空間頻率內(nèi)容組合成LE圖像幀；并且，在生成RE圖像幀時(shí)應(yīng)用一個(gè)或多個(gè)第二操作，包括(a)空間頻率濾波操作或(b)解復(fù)用操作中的至少一個(gè)，其中，所述一個(gè)或多個(gè)第二操作將水平方向和垂直方向兩者的、從第一復(fù)用圖像幀和第二復(fù)用圖像幀導(dǎo)出的RE高空間頻率內(nèi)容組合成RE圖像幀。
[0149]在一實(shí)施例中，所述一個(gè)或多個(gè)第一操作和所述一個(gè)或多個(gè)第二操作至少包括高通濾波操作。
[0150]在一實(shí)施例中，所述一個(gè)或多個(gè)第一操作和所述一個(gè)或多個(gè)第二操作包括代替至少一個(gè)高通濾波操作的處理子路徑。該處理子路徑包括至少一個(gè)減法操作而不包括高通濾波操作。
[0151]在一實(shí)施例中，第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)包括殘留圖像數(shù)據(jù)。多層視頻解碼器(150)還被配置成執(zhí)行:解碼并處理增強(qiáng)層圖像數(shù)據(jù)，而不從第一復(fù)用圖像幀或第二復(fù)用圖像幀中的另一個(gè)生成預(yù)測(cè)參考數(shù)據(jù)。
[0152]在一實(shí)施例中，多層視頻解碼器(150)還被配置成處理利用一個(gè)或多個(gè)輸入視頻信號(hào)表示、接收、發(fā)送、或存儲(chǔ)的一個(gè)或多個(gè)3D圖像。
[0153]在一實(shí)施例中，3D圖像包括按以下中的一種編碼的圖像數(shù)據(jù):高動(dòng)態(tài)范圍(HDR)圖像格式、與電影藝術(shù)和科學(xué)學(xué)院(AMPAS)的學(xué)院顏色編碼規(guī)范(ACES)標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間、數(shù)字院線聯(lián)盟的P3顏色空間標(biāo)準(zhǔn)、參考輸入媒介度量/參考輸出媒介度量(RIMM/R0MM)標(biāo)準(zhǔn)、sRGB顏色空間、與國(guó)際電信聯(lián)盟(ITU)的BT.709推薦標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間等。
[0154]在不同示例實(shí)施例中，編碼器、解碼器、系統(tǒng)等執(zhí)行如所描述的前述方法中的任何方法或一部分。
[0155]8、利用載波信號(hào)的殘留圖像編碼
[0156]如圖8A所描繪的，在一個(gè)實(shí)施例中，增強(qiáng)層(EL)流112_3包括被復(fù)用為上下(TaB)幀(808-V)的圖像殘留(例如，806-L和806-R)。代替直接編碼這些殘留信號(hào)(例如，通過(guò)利用EL編碼器116)，可以通過(guò)組合殘留信號(hào)與“載波”圖像信號(hào)以形成新的EL信號(hào)，來(lái)實(shí)現(xiàn)改進(jìn)的壓縮。利用這種載波信號(hào)的目的是，使增強(qiáng)層看起來(lái)更像自然的視頻信號(hào)，其中，諸如H.264/AVC編解碼器的現(xiàn)有視頻編解碼器(如在“ IS0/IEC14496-10:1nformationtechnology-coding of audio-visual objects-Part 10:Advanced Video Coding，，中描述的)針對(duì)這樣的視頻信號(hào)被優(yōu)化。圖12A描繪了這種實(shí)施例的示例。圖12A例示了根據(jù)在增強(qiáng)層中利用載波圖像信號(hào)的實(shí)施例的示例FCFR編碼器。如圖12A所描繪的，基礎(chǔ)層的處理跟隨稍早討論的處理步驟，例如圖8A中所繪的處理步驟。在步驟1205中，左視圖(102-L)和右視圖(102-R)信號(hào)被下采樣并被復(fù)用，以例如按并排(SbS)格式生成復(fù)用半分辨率幀。步驟1205表示圖8A中描繪的步驟104-H和106-H的簡(jiǎn)化表示。在復(fù)用之后，接著將BL信號(hào)1207利用基礎(chǔ)層編碼器1210 (例如，H.264/AVC編碼器)壓縮，以生成壓縮BL流1240-1。
[0157]BL信號(hào)1207 (或者另選地，經(jīng)解碼的BL信號(hào)1212)可以被用于利用水平上采樣804再生左視圖和右視圖的全分辨率(FR)版本(左FR和右FR)。接著，將原始視圖(102-L和102-R)和重構(gòu)視圖相減(例如，在810中)，以生成殘留806-L和806-R。復(fù)用器1215以與在基礎(chǔ)層中使用的幀格式(例如，SbS)正交的幀格式(例如，TaB)來(lái)復(fù)用這些殘留，以生成殘留信號(hào)808-V。接下來(lái)，殘留808-V與載波信號(hào)1222相加，以生成EL信號(hào)1237。載波信號(hào)1222可以響應(yīng)于SbS BL1207信號(hào)，利用載波RPU1220來(lái)生成。載波RPU可以執(zhí)行水平上采樣和垂直下采樣兩者，以生成與殘留信號(hào)(例如，808V)的格式和分辨率匹配的載波TaB信號(hào)1222。在一實(shí)施例中(參見(jiàn)圖15)，垂直下采樣在水平上采樣之前執(zhí)行。在另一實(shí)施例中，載波信號(hào)可以響應(yīng)于BL流的解碼版本(例如，經(jīng)解碼的BL信號(hào)1212)來(lái)生成。在另一實(shí)施例中，在基礎(chǔ)層采用TaB格式而增強(qiáng)層采用SbS格式時(shí)，可以應(yīng)用類似處理(參見(jiàn)圖14)。與載波RPU1220和編解碼器RPU1225有關(guān)的處理可以通過(guò)同一處理器或不同處理器來(lái)執(zhí)行。
[0158]為保持原始?xì)埩?808-V)的完整性，在一實(shí)施例中，可以減小載波信號(hào)的范圍，例如,將每一像素除以一常數(shù),例如2。這種除法處理可以與載波RPU中的濾波處理相組合。在另一實(shí)施例中，當(dāng)殘留808-V非常小時(shí)，載波信號(hào)可以針對(duì)其全部像素具有固定像素值，例如，128。在另一實(shí)施例中，載波信號(hào)的值可以基于殘留信號(hào)的性質(zhì)而適應(yīng)性地限定。可以利用元數(shù)據(jù)(例如，作為RPU數(shù)據(jù)流的一部分)向解碼器通知這種決策。
[0159]在一個(gè)實(shí)施例中，EL信號(hào)1237利用如在H.264 (AVC)規(guī)范中規(guī)定的多視圖編碼(MVC)來(lái)壓縮，以生成編碼或壓縮EL流1240-2。因?yàn)锽L信號(hào)1207和EL信號(hào)1237不具有相同的復(fù)用格式，所以可以采用參考處理單元(RPU) 1225，以將經(jīng)解碼的SbS BL信號(hào)1212轉(zhuǎn)換成可以被MVC編碼器1230用作參考的TaB信號(hào)(1227)。該TaB圖片(1227)是新生成的視圖間預(yù)測(cè)參考圖片，并且被插入到參考圖片列表中，以編碼EL圖片。為進(jìn)一步改進(jìn)編碼效率，編解碼器RPU1225可以應(yīng)用附加的分區(qū)、處理以及濾波，以匹配從BL信號(hào)至EL輸入信號(hào)的視圖間參考圖片，如A.Tourapis等人于2010年6月30日提交的PCT申請(qǐng)PCT/US2010/040545中描述的，其全部?jī)?nèi)容且通過(guò)引用而并入于此。對(duì)于在RPU中使用的濾波和分區(qū)的選擇可以隨多個(gè)分辨率級(jí)別而改變，例如，片段、圖片、圖片組(G0P)、場(chǎng)景、或序列級(jí)。在一編碼器上，編碼EL和BL流(1240)可以與RPU數(shù)據(jù)(例如，1240-3)和要發(fā)送至解碼器的其它輔助數(shù)據(jù)(未示出)復(fù)用。
[0160]圖12B例示了根據(jù)本發(fā)明一示例實(shí)施例的解碼示例處理流程。在接收器處，將傳入流解復(fù)用，以生成編碼BL流(1240-1)、編碼EL流(1240-2 )、以及RPU數(shù)據(jù)(例如，1240-3)。BL解碼器1250對(duì)應(yīng)于BL編碼器1210。在一個(gè)實(shí)施例中，BL解碼器1250是AVC解碼器。BL解碼器1250將生成經(jīng)解碼的(例如，SbS) BL圖像1252。
[0161]因?yàn)榫幋aEL流1240-2是利用來(lái)自EL信號(hào)1237和經(jīng)解碼BL信號(hào)1212兩者的參考幀來(lái)編碼的，所以相同處理同樣在解碼器上匹配。利用RPU數(shù)據(jù)1240-3，編解碼器RPU1255可以生成要被MVC解碼器1260使用的信號(hào)1257。信號(hào)1257包括預(yù)測(cè)增強(qiáng)層信號(hào)，其可以被用作用于MVC解碼器1260的附加的參考幀序列，以生成經(jīng)解碼的EL信號(hào)1262。
[0162]在解壓縮BL和EL流之后，解碼器需要按全分辨率重構(gòu)左視圖和右視圖。圖13A描繪了要被稱為“差分”方法的這種方法的一個(gè)示例實(shí)施例?；A(chǔ)層中缺失的垂直或水平頻率可以被構(gòu)造為增強(qiáng)層(1262)和載波信號(hào)1302的逐像素差分。載波信號(hào)1302可以利用經(jīng)解碼BL信號(hào)1252和采用與編碼器載波RPU (1220)的處理匹配的處理的解碼器RPU (例如，1255)來(lái)重構(gòu)。圖15描繪了這種處理的示例。接著，將殘留信號(hào)1317上采樣(例如，在1320中)并且按逐像素相加方式與上采樣幀兼容(FC)重構(gòu)基礎(chǔ)層(FC-L和FC-R)合并，以重構(gòu)全分辨率(FR)左視圖和右視圖(FR-LR和FR-RE)。在一個(gè)實(shí)施例中，為減小復(fù)雜性，可以重用來(lái)自編解碼器RPU1255的輸出，因?yàn)榫幗獯a器RPU和載波RPU往往共享相同濾波器。對(duì)于在編解碼器RPU中采用一個(gè)分區(qū)和一個(gè)濾波器時(shí)的情況，兩個(gè)RPU應(yīng)用完全相同的處理。
[0163]如圖13A所描繪的，傳統(tǒng)接收器仍可以通過(guò)針對(duì)BL信號(hào)1252執(zhí)行適當(dāng)?shù)纳喜蓸觼?lái)解碼半分辨率的幀兼容視圖的對(duì)(FC-L和FC-R)。
[0164]圖13B描繪了用于重構(gòu)全分辨率信號(hào)的另一示例實(shí)施例，該方法被稱為“高通方法”。在該方法下，經(jīng)解碼TaB EL信號(hào)1262首先通過(guò)水平高通濾波器1330處理。這種濾波器去除EL信號(hào)中的載波信號(hào)的低頻分量，由此生成無(wú)載波殘留信號(hào)(例如，808-V)。高通濾波器的輸出被垂直上采樣(1320)以生成殘留信號(hào)1322-L和1322-R，這些殘留信號(hào)被加到水平上采樣的重構(gòu)幀兼容層(FC-L和FC-R)上，以生成原始視圖的全分辨率估計(jì)(例如，F(xiàn)R-RE 和 FR-LE)ο
[0165]在一實(shí)施例中，如果源視頻是交織的，則上場(chǎng)和下場(chǎng)在垂直濾波期間獨(dú)立地處理(例如，下采樣或上采樣)。接著，將這些場(chǎng)合并(例如，通過(guò)線交織)以創(chuàng)建幀。如果使用AVC編碼器，則該交織信號(hào)可以按幀編碼模式或場(chǎng)編碼模式來(lái)編碼。編解碼器RPU還應(yīng)被指令，是將來(lái)自BL的視圖間參考圖片作為幀還是作為場(chǎng)來(lái)處理。在AVC編碼中，不存在對(duì)托管(mandated)比特流中的編碼序列的掃描類型的指示，因?yàn)槠湓诮獯a范圍之外。補(bǔ)充增強(qiáng)信號(hào)(SEI)消息中可能有某些信息，但解碼不需要SEI消息。在一個(gè)實(shí)施例中，提出高級(jí)語(yǔ)法來(lái)指示RPU應(yīng)當(dāng)應(yīng)用幀處理還是場(chǎng)處理。在一個(gè)實(shí)施例中，如果是交織信號(hào)，則無(wú)論圖片是怎樣編碼的，RPU可以總是將該圖片作為分離的場(chǎng)來(lái)處理。在另一實(shí)施例中，RI3U可以遵循BL信號(hào)是怎樣編碼的。因此，如果BL信號(hào)被編碼為場(chǎng)，則RPU應(yīng)用場(chǎng)處理，否則，其應(yīng)用幀處理。
[0166]本發(fā)明的實(shí)施例包括多種多樣的濾波器，其可以被分類為:多路復(fù)用(或復(fù)用)濾波器、RPU濾波器、以及多路分解(解復(fù)用)濾波器。在設(shè)計(jì)復(fù)用濾波器時(shí)，目的是盡可能多地保持來(lái)自原始濾波器的信息但不導(dǎo)致混疊。對(duì)于下采樣來(lái)說(shuō)，復(fù)用濾波器可以被設(shè)計(jì)成，在頻譜中點(diǎn)具有非常平坦的通帶響應(yīng)和強(qiáng)衰減，其中，信號(hào)在下采樣期間被折疊，以避免混疊。在一實(shí)施例中，(按Matlab表示法)這種濾波器的示例具有如下系數(shù):
[0167][30，-4，-61，-21,83,71, -102，-178，116638,904,
[0168]638，116，-178, -102,71,83, -21,-61, _4，30]/2n
[0169]在設(shè)計(jì)RPU時(shí)，下采樣濾波器和上采樣濾波器應(yīng)當(dāng)具有非常低的截止頻率，因?yàn)檩d波圖像中的高頻不被用于重構(gòu)，并且具有這樣的低通信號(hào)將會(huì)幫助增加EL信號(hào)的編碼效率。RI^U下采樣和上采樣濾波器還應(yīng)當(dāng)具有盡可能低的階次，因?yàn)檫@些精確濾波器在解碼器中被用于實(shí)時(shí)解碼。這種濾波器的示例在表7中描繪。
[0170]在解碼期間，可以應(yīng)用與在編解碼器RPU中使用的上采樣濾波器相同的解復(fù)用濾波器。對(duì)于重構(gòu)的高通方法來(lái) 說(shuō)(例如，圖13B)，高通濾波器(1330)應(yīng)當(dāng)是復(fù)用下采樣濾波器和解復(fù)用上采樣濾波器的組合頻率響應(yīng)的互補(bǔ)。典型地，這種濾波器的階次較高，其可能不適于某些實(shí)時(shí)解碼器應(yīng)用。還可以以低得多的濾波器階次得到具有類似通帶特性、但具有更低阻帶衰減的高通濾波器，使得它們更好地適于實(shí)時(shí)解碼器應(yīng)用。這種濾波器的示例在表8中描繪。
[0171]一些實(shí)現(xiàn)對(duì)于EL流來(lái)說(shuō)可以具有非常低的比特流需求。在一個(gè)實(shí)施例中，為改進(jìn)低比特率下的編碼質(zhì)量，可以從EL流中去除所有色度信息。在一個(gè)示例中，可以將EL信號(hào)中的色度值設(shè)置為恒定值，例如，128。對(duì)應(yīng)地，通過(guò)編解碼器RI3U處理的視圖間參考圖片的顏色分量需要按相同方式配置。在另一實(shí)施例中，可以僅選擇并發(fā)送在EL信號(hào)中具有最多高頻的輸入信號(hào)的那些區(qū)域，并且使剩余區(qū)域變灰色，例如，通過(guò)將它們?cè)O(shè)置為恒定值(例如，128)。這些區(qū)域的位置和尺寸可以從編碼器利用元數(shù)據(jù)(例如通過(guò)RPU數(shù)據(jù)流)通知解碼器。
[0172]在圖12A中，殘留信號(hào)808-V直接與載波信號(hào)1222相加，以生成EL1237。在另一實(shí)施例中，可以在將殘留信號(hào)與載波相加之前，向殘留信號(hào)應(yīng)用線性或非線性量化方法。
[0173]迄今為止討論的示例實(shí)施例旨在解決恢復(fù)缺失的水平或垂直頻率的問(wèn)題。在一實(shí)施例中，可以采用附加的增強(qiáng)層來(lái)恢復(fù)附加的頻率，諸如對(duì)角的。例如，輸入信號(hào)(102-L和102-R)可以跨對(duì)角方向被下采樣。該信息(或基于該對(duì)角信息的另一殘留信號(hào))可以被發(fā)送至解碼器，作為第二增強(qiáng)層(EL2)。解碼器可以合并BL、EL和EL2信號(hào)，以生成FCFR信號(hào)。在另一實(shí)施例中，代替利用單獨(dú)的EL2流來(lái)編碼對(duì)角信息，可以在EL信號(hào)中的色度通道中編碼亮度對(duì)角信息。在這種實(shí)現(xiàn)中，亮度將按全分辨率來(lái)編碼，但色度將按半分辨率來(lái)編碼。
[0174]8.2語(yǔ)法示例
[0175]8.3諸如H.264的編碼標(biāo)準(zhǔn)通常僅定義編碼比特流和解碼處理的語(yǔ)法。這部分給出了針對(duì)H.264中的新FCFR簡(jiǎn)檔或支持本發(fā)明方法的其它壓縮標(biāo)準(zhǔn)的所提議語(yǔ)法。
[0176]第一部分被稱作RPU首部，rpu_header()，并且包括在信號(hào)傳輸期間很可能不會(huì)改變的靜態(tài)信息。
[0177]第二部分被稱作RPU數(shù)據(jù)凈荷，rpu_data_payload (),并且包括可能更頻繁更新的動(dòng)態(tài)信息。RPU數(shù)據(jù)凈荷向解碼器告知在被用于預(yù)測(cè)之前將被用于更新視圖間參考圖片的濾波器。
[0178]該語(yǔ)法可以按片段級(jí)、圖片級(jí)、GOP級(jí)、場(chǎng)景級(jí)、或序列級(jí)發(fā)送。其可以被包括在NAL單元首部、序列參數(shù)集(SPS)及其擴(kuò)展、SubSPS、圖片參數(shù)集(PPS)、片段首部、SEI消息、或新NAL單元等處。在一示例實(shí)施例中，RPU語(yǔ)法僅在序列級(jí)被更新。為了向后兼容，如表I所示，還定義了針對(duì)用于MFC的編碼片段擴(kuò)展的新NAL單元，slice_layer_extension_rbsp O。在我們的示例中，在表2中被標(biāo)記為簡(jiǎn)檔134的新簡(jiǎn)檔被分配用于利用正交復(fù)用(OM)的FCFR3D系統(tǒng)的實(shí)施例。
[0179]所提議語(yǔ)法的附加示例在表2、表3以及表4中描繪，其中，用Courier字體描繪了針對(duì)現(xiàn)有H.264/A VC規(guī)范的所提議的增加。在這個(gè)示例中，所提議的RPU語(yǔ)法在序列級(jí)調(diào)用，并且其被添加在序列參數(shù)集MVC擴(kuò)展中。
[0180]RPU數(shù)據(jù)首部語(yǔ)義
[0181]rpu_type規(guī)定針對(duì)RPU信號(hào)的預(yù)測(cè)類型目的。如果不存在，則其值被假定為O。[0182]rpu—format規(guī)定在給定rpu—type時(shí)的預(yù)測(cè)處理格式，其將在處理視頻數(shù)據(jù)時(shí)使用，以供預(yù)測(cè)和/或最終重構(gòu)。如果不存在，則其值被假定為O。表5描繪了 rpu—type和rpu—format值的不例。
[0183]default—grid—position表明viewO和viewl網(wǎng)格位置信息是否應(yīng)當(dāng)被顯式通知。如果default—grid—position被設(shè)為I，或者不存在，則默認(rèn)值按如下方式獲取:
[0184]
【權(quán)利要求】
1.一種方法，包括: 接收輸入3D圖像，該輸入3D圖像包括左眼(LE)輸入圖像幀和右眼(RE)輸入圖像幀； 基于LE輸入圖像幀和RE輸入圖像幀，生成包括沿垂直方向的第一高空間頻率內(nèi)容和沿水平方向的第一縮減分辨率內(nèi)容的第一復(fù)用圖像幀； 基于LE輸入圖像幀和RE輸入圖像幀，生成包括沿水平方向的第二高空間頻率內(nèi)容和沿垂直方向的第二縮減分辨率內(nèi)容的第二復(fù)用圖像幀；以及 編碼并輸出第一復(fù)用圖像幀和第二復(fù)用圖像幀，以表示所述輸入3D圖像。
2.根據(jù)權(quán)利要求1所述的方法，其中，所述3D輸入圖像是3D輸入圖像序列中的第一3D輸入圖像，該3D輸入圖像序列包括具有第二 LE輸入圖像幀和第二 LE輸入圖像幀的不同的第二 3D輸入圖像；并且，所述方法還包括: 基于第二 LE輸入圖像幀和第二 RE輸入圖像幀，生成包括沿垂直方向的第三高空間頻率內(nèi)容和沿水平方向的第三縮減分辨率內(nèi)容的第三復(fù)用圖像幀； 基于第二 LE輸入圖像幀和第二輸入圖像幀，生成包括沿水平方向的第四高空間頻率內(nèi)容和沿垂直方向的第四縮減分辨率內(nèi)容的第四復(fù)用圖像幀；以及 編碼并輸出第三復(fù)用圖像幀和第四復(fù)用圖像幀，以表示所述第二輸入3D圖像。
3.根據(jù)權(quán)利要求1所述的方法 ，其中，第一復(fù)用圖像幀包括第一LE圖像數(shù)據(jù)部分和第一 RE圖像數(shù)據(jù)部分；其中，第一 LE圖像數(shù)據(jù)部分和第一 RE圖像數(shù)據(jù)部分沿水平方向和垂直方向都具有相同的空間分辨率；其中，第二復(fù)用圖像幀包括第二 LE圖像數(shù)據(jù)部分和第二RE圖像數(shù)據(jù)部分；并且其中，第二 LE圖像數(shù)據(jù)部分和第二 RE圖像數(shù)據(jù)部分沿水平方向和垂直方向都具有相同的空間分辨率。
4.根據(jù)權(quán)利要求3所述的方法，其中，第一LE圖像數(shù)據(jù)部分和第一 RE圖像數(shù)據(jù)部分中的每一個(gè)表示全分辨率圖像幀的一個(gè)子采樣版本；其中，第一復(fù)用圖像幀采用并排(SbS)格式來(lái)攜帶第一 LE圖像數(shù)據(jù)部分和第一 RE圖像數(shù)據(jù)部分；其中，第二 LE圖像數(shù)據(jù)部分和第二 RE圖像數(shù)據(jù)部分中的每一個(gè)表示全分辨率圖像幀的一個(gè)子采樣版本；并且其中，第二復(fù)用圖像幀采用上下(TaB)格式來(lái)攜帶第二 LE圖像數(shù)據(jù)部分和第二 RE圖像數(shù)據(jù)部分。
5.根據(jù)權(quán)利要求1所述的方法，其中，第一復(fù)用圖像幀采用保留沿垂直方向的高空間頻率內(nèi)容的第一復(fù)用格式，并且其中，第二復(fù)用圖像幀采用保留沿水平方向的高空間頻率內(nèi)容的第二復(fù)用格式。
6.根據(jù)權(quán)利要求1所述的方法，其中，第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)在多個(gè)比特流中的基礎(chǔ)層比特流中輸出，而第一復(fù)用圖像幀或第二復(fù)用圖像幀中的另一個(gè)在所述多個(gè)比特流中的增強(qiáng)層比特流中輸出。
7.根據(jù)權(quán)利要求1所述的方法，還包括: 至少部分地基于第一復(fù)用圖像幀，生成預(yù)測(cè)參考圖像數(shù)據(jù)；以及 基于該預(yù)測(cè)參考圖像數(shù)據(jù)與所述輸入3D圖像之間的差分來(lái)編碼增強(qiáng)層視頻信號(hào)。
8.根據(jù)權(quán)利要求1所述的方法，還包括: 在生成第一復(fù)用圖像幀時(shí)，向第一輸入圖像幀和第二輸入圖像幀應(yīng)用沿第二方向的一個(gè)或多個(gè)第一操作，包括(a)空間頻率濾波操作或(b)空間子采樣操作中的至少一個(gè)，其中，所述一個(gè)或多個(gè)第一操作去除沿第二方向的高空間頻率內(nèi)容而保留沿第一方向的高空間頻率內(nèi)容；以及在生成第二復(fù)用圖像幀時(shí)，向第一輸入圖像幀和第二輸入圖像幀應(yīng)用沿第一方向的一個(gè)或多個(gè)第二操作，包括(a)空間頻率濾波操作或(b)空間子采樣操作中的至少一個(gè)，其中，所述一個(gè)或多個(gè)第二操作去除沿第一方向的高空間頻率內(nèi)容而保留沿第二方向的高空間頻率內(nèi)容。
9.根據(jù)權(quán)利要求1所述的方法，其中，第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)包括殘留圖像數(shù)據(jù)，其中，該殘留圖像數(shù)據(jù)通過(guò)從根據(jù)LE輸入圖像幀和RE輸入圖像幀導(dǎo)出的輸入圖像數(shù)據(jù)中減去基于第一復(fù)用圖像幀或第二復(fù)用圖像幀中的另一個(gè)所生成的參考圖像數(shù)據(jù)而生成。
10.根據(jù)權(quán)利要求1所述的方法，還包括:將利用一個(gè)或多個(gè)輸入視頻信號(hào)表示、接收、發(fā)送、或存儲(chǔ)的一個(gè)或多個(gè)3D輸入圖像轉(zhuǎn)換成利用一個(gè)或多個(gè)輸出視頻信號(hào)表示、接收、發(fā)送、或存儲(chǔ)的一個(gè)或多個(gè)3D輸出圖像。
11.根據(jù)權(quán)利要求1所述的方法，其中，所述輸入3D圖像包括按以下之一編碼的圖像數(shù)據(jù):高動(dòng)態(tài)范圍(HDR)圖像格式、與電影藝術(shù)和科學(xué)學(xué)院(AMPAS)的學(xué)院顏色編碼規(guī)范(ACES)標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間、數(shù)字院線聯(lián)盟的P3顏色空間標(biāo)準(zhǔn)、參考輸入媒介度量/參考輸出媒介度量(RIMM/ROMM)標(biāo)準(zhǔn)、sRGB顏色空間、或與國(guó)際電信聯(lián)盟(ITU)的BT.709推薦標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間。
12.—種方法,包括: 接收由第一復(fù)用圖像幀和第二復(fù)用圖像幀表示的3D圖像，該第一復(fù)用圖像幀包括沿垂直方向的第一高空間頻率內(nèi)容和沿水平方向的第一縮減分辨率內(nèi)容，而該第二復(fù)用圖像幀包括沿水平方向的第二高空間頻率內(nèi)容和沿垂直方向的第二縮減分辨率內(nèi)容； 基于該第一復(fù)用圖像幀和第二復(fù)用圖像幀，生成左眼(LE)圖像幀和右眼(RE)圖像幀，該LE圖像幀包括沿水平方向和垂直方向兩者的LE高空間頻率內(nèi)容，而該RE圖像幀包括沿水平方向和垂直方向兩者的RE高空間頻率內(nèi)容；以及` 通過(guò)呈現(xiàn)該LE圖像幀和RE圖像幀來(lái)呈現(xiàn)所述3D圖像。
13.根據(jù)權(quán)利要求12所述的方法，其中，該3D圖像是3D圖像序列中的第一3D圖像，該3D圖像序列包括具有第三復(fù)用圖像幀和第四復(fù)用圖像幀的不同的第二 3D圖像，該第三復(fù)用圖像幀包括沿垂直方向的第三高空間頻率內(nèi)容和沿水平方向的第三縮減分辨率內(nèi)容，而該第四復(fù)用圖像幀包括沿水平方向的第四高空間頻率內(nèi)容和沿垂直方向的第四縮減分辨率內(nèi)容；并且，所述方法還包括: 生成第二 LE圖像幀和第二 RE圖像幀，該第二 LE圖像幀包括沿水平方向和垂直方向兩者的高空間頻率內(nèi)容，并且該第二 LE圖像幀包括沿水平方向和垂直方向兩者的高空間頻率內(nèi)容；以及 通過(guò)呈現(xiàn)該第二 LE圖像幀和第二 RE圖像幀來(lái)呈現(xiàn)所述第二 3D圖像。
14.根據(jù)權(quán)利要求12所述的方法，其中，第一復(fù)用圖像幀或第二復(fù)用圖像幀中的至少一個(gè)包括LE圖像數(shù)據(jù)部分和RE圖像數(shù)據(jù)部分；并且其中，該LE圖像數(shù)據(jù)部分和RE圖像數(shù)據(jù)部分具有相同的空間分辨率。
15.根據(jù)權(quán)利要求14所述的方法，其中，LE圖像數(shù)據(jù)部分和RE圖像數(shù)據(jù)部分中的每一個(gè)表示全分辨率圖像幀的一個(gè)子采樣版本；并且其中,LE圖像數(shù)據(jù)部分和RE圖像數(shù)據(jù)部分按并排格式或上下格式之一形成單個(gè)圖像幀。
16.根據(jù)權(quán)利要求12所述的方法，其中，從多個(gè)比特流中的基礎(chǔ)層比特流解碼第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)，而從所述多個(gè)比特流中的增強(qiáng)層比特流解碼第一復(fù)用圖像幀或第二復(fù)用圖像幀中的另一個(gè)。
17.根據(jù)權(quán)利要求12所述的方法，還包括: 至少部分地基于第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)，生成預(yù)測(cè)參考圖像數(shù)據(jù)；并且 基于從增強(qiáng)層(EL)視頻信號(hào)和該預(yù)測(cè)參考圖像數(shù)據(jù)解碼的EL數(shù)據(jù)，生成LE圖像幀或RE圖像幀中的一個(gè)。
18.根據(jù)權(quán)利要求12所述的方法，還包括: 在生成LE圖像幀時(shí)應(yīng)用一個(gè)或多個(gè)第一操作，包括(a)空間頻率濾波操作或(b)解復(fù)用操作中的至少一個(gè)，其中，所述一個(gè)或多個(gè)第一操作將水平方向和垂直方向兩者的、從第一復(fù)用圖像幀和第二復(fù)用圖像幀導(dǎo)出的LE高空間頻率內(nèi)容組合成LE圖像幀；并且 在生成RE圖像幀時(shí)應(yīng)用一個(gè)或多個(gè)第二操作，包括(a)空間頻率濾波操作或(b)解復(fù)用操作中的至少一個(gè)，其中，所述一個(gè)或多個(gè)第二操作將水平方向和垂直方向兩者的、從第一復(fù)用圖像幀和第二復(fù)用圖像幀導(dǎo)出的RE高空間頻率內(nèi)容組合成RE圖像幀。
19.根據(jù)權(quán)利要求18所述的方法，其中，所述一個(gè)或多個(gè)第一操作和所述一個(gè)或多個(gè)第二操作至少包括高通濾波操作。
20.根據(jù)權(quán)利要求18所述的方法，其中，所述一個(gè)或多個(gè)第一操作和所述一個(gè)或多個(gè)第二操作包括代替至少一 個(gè)高通濾波操作的處理子路徑；并且其中，該處理子路徑包括至少一個(gè)減法操作而不包括高通濾波操作。
21.根據(jù)權(quán)利要求12所述的方法，其中，第一復(fù)用圖像幀或第二復(fù)用圖像幀中的一個(gè)包括殘留圖像數(shù)據(jù)；并且，所述方法還包括: 解碼并處理增強(qiáng)層圖像數(shù)據(jù)，而不從第一復(fù)用圖像幀或第二復(fù)用圖像幀中的另一個(gè)生成預(yù)測(cè)參考數(shù)據(jù)。
22.根據(jù)權(quán)利要求12所述的方法，還包括:處理利用一個(gè)或多個(gè)輸入視頻信號(hào)表示、接收、發(fā)送、或存儲(chǔ)的一個(gè)或多個(gè)3D圖像。
23.根據(jù)權(quán)利要求12所述的方法，其中，所述3D圖像包括按以下之一編碼的圖像數(shù)據(jù):高動(dòng)態(tài)范圍(HDR)圖像格式、與電影藝術(shù)和科學(xué)學(xué)院(AMPAS)的學(xué)院顏色編碼規(guī)范(ACES)標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間、數(shù)字院線聯(lián)盟的P3顏色空間標(biāo)準(zhǔn)、參考輸入媒介度量/參考輸出媒介度量(RIMM/ROMM)標(biāo)準(zhǔn)、sRGB顏色空間、或與國(guó)際電信聯(lián)盟(ITU)的BT.709推薦標(biāo)準(zhǔn)相關(guān)聯(lián)的RGB顏色空間。
24.一種執(zhí)行根據(jù)權(quán)利要求1-11所述方法中的任一者的編碼器。
25.一種執(zhí)行根據(jù)權(quán)利要求12-23所述方法中的任一者的解碼器。
26.—種執(zhí)行根據(jù)權(quán)利要求1-23所述方法中的任一者的系統(tǒng)。
27.—種系統(tǒng),包括: 編碼器，該編碼器被配置成， 接收輸入3D圖像，該輸入3D圖像包括左眼(LE)輸入圖像幀和右眼(RE)輸入圖像幀； 基于LE輸入圖像幀和RE輸入圖像幀，生成包括沿垂直方向的第一高空間頻率內(nèi)容和沿水平方向的第一縮減分辨率內(nèi)容的第一復(fù)用圖像幀；基于LE輸入圖像幀和RE輸入圖像幀，生成包括沿水平方向的第二高空間頻率內(nèi)容和沿垂直方向的第二縮減分辨率內(nèi)容的第二復(fù)用圖像幀；以及 編碼并輸出第一復(fù)用圖像幀和第二復(fù)用圖像幀，以表示所述輸入3D圖像； 解碼器，該解碼器被配置成: 接收多個(gè)視頻比特流中的第一復(fù)用圖像幀和第二復(fù)用圖像幀； 基于該第一復(fù)用圖像幀和第二復(fù)用圖像幀，生成左眼(LE)圖像幀和右眼(RE)圖像幀，該LE圖像幀包括沿水平方向和垂直方向兩者的LE高空間頻率內(nèi)容，而該RE圖像幀包括沿水平方向和垂直方向兩者的RE高空間頻率內(nèi)容；以及呈現(xiàn)LE圖像幀和RE圖像幀。
28.一種用于編碼3D幀兼容全分辨率(FCFR)圖像的方法，該方法包括: 接收輸入3D圖像，該輸入3D圖像包括左眼(LE)輸入圖像幀和右眼(RE)輸入圖像幀；基于LE輸入圖像幀和RE輸入圖像幀，生成包括沿第一方向的第一高空間頻率內(nèi)容和沿第二方向的第一縮減分辨率內(nèi)容的第一復(fù)用圖像幀，第二方向正交于第一方向； 基于第一復(fù)用圖像幀生成參考圖像數(shù)據(jù)和載波圖像數(shù)據(jù)； 從所述輸入3D圖像中減去該參考圖像數(shù)據(jù)，以生成殘留圖像數(shù)據(jù)； 基于該殘留圖像數(shù)據(jù)和載波圖像數(shù)據(jù)，生成包括沿第二方向的第二高空間頻率內(nèi)容和沿第一方向的第二縮減空間頻率內(nèi)容的第二復(fù)用圖像幀；以及 編碼并輸出第一復(fù)用圖像·幀和第二復(fù)用圖像幀，以表示所述輸入3D圖像。
29.根據(jù)權(quán)利要求28所述的方法，其中，生成載波圖像數(shù)據(jù)包括: 沿基礎(chǔ)層圖像幀的第一方向應(yīng)用第一空間濾波，以下采樣該基礎(chǔ)層圖像幀并且生成中間圖像，該基礎(chǔ)層圖像至少部分地基于第一復(fù)用圖像幀；以及 沿第二方向向該中間圖像應(yīng)用第二空間濾波，以上采樣該中間圖像來(lái)生成所述載波圖像數(shù)據(jù)，其中，第二方向正交于第一方向。
30.根據(jù)權(quán)利要求28所述的方法，其中，所有載波圖像數(shù)據(jù)包括具有相同固定值的像素值。
31.一種用于解碼按FCFR格式編碼的3D信號(hào)的方法，該方法包括: 接收由第一復(fù)用圖像幀和第二復(fù)用圖像幀表示的3D圖像，該第一復(fù)用圖像幀包括沿第一空間方向的第一高空間頻率內(nèi)容和沿第二空間方向的第一縮減分辨率內(nèi)容，而該第二復(fù)用圖像幀包括沿第二空間方向的第二高空間頻率內(nèi)容和沿第一空間方向的第二縮減分辨率內(nèi)容，其中，第二空間方向正交于第一空間方向； 基于該第一復(fù)用圖像，生成圖像幀的幀兼容對(duì)(FC-L，F(xiàn)C-R)，包括沿第一空間方向的高空間頻率內(nèi)容和沿第二空間方向的縮減空間頻率內(nèi)容；以及 基于該第一復(fù)用圖像和第二復(fù)用圖像幀，生成幀的全分辨率對(duì)(FR-LE，F(xiàn)R-RE)，包括沿第一空間方向和第二空間方向兩者的高空間頻率內(nèi)容。
32.根據(jù)權(quán)利要求31所述的方法，其中，第二復(fù)用圖像幀包括與載波圖像幀組合的殘留圖像幀。
33.根據(jù)權(quán)利要求32所述的方法，還包括: 基于第一復(fù)用圖像幀生成載波圖像幀；以及 從第二復(fù)用圖像幀幀減去該載波圖像幀，以生成殘留圖像幀。
34.根據(jù)權(quán)利要求32所述的方法，還包括:沿第二復(fù)用圖像幀的第二空間方向應(yīng)用高通濾波，以生成所述殘留圖像幀。
35.一種存儲(chǔ)軟件指令的非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)，其在由一個(gè)或多個(gè)處理器執(zhí)行時(shí)，使得執(zhí)行如根據(jù)權(quán)利要求1-23或28-34所述方法中的任一個(gè)的步驟。
【文檔編號(hào)】H04N13/00GK103828358SQ201280047461
【公開(kāi)日】2014年5月28日 申請(qǐng)日期:2012年9月27日 優(yōu)先權(quán)日:2011年9月29日
【發(fā)明者】陳濤, H·加納帕蒂, S·N·胡亞勒卡, G·拉克什米納拉亞納, 尹鵬, T·魯, W·J·胡薩克 申請(qǐng)人:杜比實(shí)驗(yàn)室特許公司