基于感興趣區(qū)域的3d視頻譯碼的制作方法
【專利摘要】描述了包括對于基于感興趣區(qū)域的3D視頻譯碼的操作的系統(tǒng)、設(shè)備、物品，以及方法。
【專利說明】基于感興趣區(qū)域的3D視頻譯碼
進(jìn)旦冃月^
[0001]視頻編碼器壓縮視頻信息，以便可以通過給定帶寬發(fā)送更多信息。然后，可以將壓縮信號傳輸?shù)浇邮掌?，該接收器在顯示之前解碼或解壓縮信號。
[0002]3D視頻已經(jīng)變?yōu)榭梢员葌鹘y(tǒng)的2D視頻提供更豐富的視覺體驗的新興媒體。潛在的應(yīng)用包括自由視點視頻(FVV)、自由視點電視(FTV)、3D電視(3DTV)、IMAX電影院、沉浸式電話會議，監(jiān)測等等。為支持這些應(yīng)用，視頻系統(tǒng)通常從不同的視點捕捉場景，這會導(dǎo)致同時從不同的相機(jī)生成多個視頻序列。
[0003]3D視頻譯碼(3DVC)是指以服務(wù)于各種3D顯示器為目標(biāo)的新視頻壓縮標(biāo)準(zhǔn)。3DVC正在由IS0/IEC運動圖像專家組(MPEG)開發(fā)。目前，基于最新的常規(guī)視頻譯碼標(biāo)準(zhǔn)——高效率視頻譯碼(High Efficient Video Coding:HEVC),來構(gòu)建3DVC的一個分支,計劃在2012年末之前完成。3DVC的其他分支基于H.264/AVC構(gòu)建。
[0004]IS0/IEC運動圖像專家組(MPEG)現(xiàn)在進(jìn)行3D視頻譯碼(3DVC)的標(biāo)準(zhǔn)化。新3DVC標(biāo)準(zhǔn)可能允許從有限量的輸入數(shù)據(jù)生成許多高質(zhì)量視圖。例如，可以使用多視圖視頻加深度(Multiview Video plus Depth:MVD)概念來從有限量的輸入數(shù)據(jù)生成這樣的高質(zhì)量視圖。進(jìn)一步地，可以使用3DVC來用于高級立體處理功能，并用來支持自動立體顯示器和FTV,自動立體顯示器和FTV允許用戶具有3D視覺體驗，同時在3D顯示器前面自由地改變他們的位置。
[0005]多視圖視頻加深度(MVD)概念常常用于表示3D視頻內(nèi)容，其中，若干個視圖和相關(guān)聯(lián)的深度圖通常被編碼和多路復(fù)用為比特流。每一個視圖的相機(jī)參數(shù)通常也壓縮到比特流，以便進(jìn)行視圖合成。通常也稱為基礎(chǔ)視圖或獨立視圖的視圖中的一個，通常獨立于其他視圖被譯碼。對于依賴的視圖，可以從其他視圖的畫面或同一個視圖中的預(yù)先譯碼的畫面，來預(yù)測視頻和深度。根據(jù)特定的應(yīng)用，可以通過丟棄非必需的比特流分組，來在解碼器側(cè)提取子比特流。
附圖簡述
[0006]此處所描述的材料是作為示例說明的，而不僅限于各個附圖的圖形。為說明簡單和清楚起見，圖形中所示出的元件不一定是按比例繪制的。例如，為了清楚起見，某些元件的尺寸可以相對于其他元件而放大。此外，在合適的情況下，在不同的圖形中參考標(biāo)簽重復(fù)使用，以表示對應(yīng)的或類似的元件。在圖形中:
[0007]圖1是示例3D視頻譯碼系統(tǒng)的說明圖；
[0008]圖2是示例3D視頻譯碼系統(tǒng)的說明圖；
[0009]圖3是示出了示例3D視頻譯碼過程的流程圖；
[0010]圖4是在操作中的示例3D視頻譯碼過程的說明圖；
[0011]圖5是示例感興趣區(qū)域提取的說明圖；
[0012]圖6是不例3D視頻譯碼系統(tǒng)的說明圖；
[0013]圖7是示例系統(tǒng)的說明圖；以及
[0014]圖8是示例系統(tǒng)的說明圖，所有都是根據(jù)本發(fā)明的至少某些實現(xiàn)配置的。 詳細(xì)描述
[0015]現(xiàn)在將參考所附的圖形來描述一個或多個實施例或?qū)崿F(xiàn)。盡管討論了特定配置和布局，但是，應(yīng)該理解，這只是為了說明。那些精通相關(guān)技術(shù)的人員將認(rèn)識到，在不偏離描述的精神和范圍的情況下，可以使用其他配置和布局。對于那些精通相關(guān)技術(shù)的人來說顯而易見的是，此處所描述的技術(shù)和/或布局也可以用于除此處所描述的以外的各種其他系統(tǒng)和應(yīng)用中。
[0016]盡管下列描述闡述了可以在諸如，例如，片上系統(tǒng)(SoC)體系結(jié)構(gòu)之類的體系結(jié)構(gòu)中表現(xiàn)的各種實現(xiàn)，但是，此處所描述的技術(shù)和/或布局的實現(xiàn)不局限于特定體系結(jié)構(gòu)和/或計算系統(tǒng)，并可以通過用于類似的目的的任何體系結(jié)構(gòu)和/或計算系統(tǒng)來實現(xiàn)。例如，使用，例如，多個集成電路(1C)芯片和/或封裝，和/或各種計算設(shè)備和/或消費者電子(CE)設(shè)備(諸如機(jī)頂盒、智能電話等等)的各種體系結(jié)構(gòu)都可以實現(xiàn)此處所描述的技術(shù)和/或布局。進(jìn)一步地，盡管下列描述可以闡述諸如邏輯實現(xiàn)、系統(tǒng)組件的類型和相互關(guān)系、邏輯劃分/集成選擇等等之類的很多具體細(xì)節(jié)，但是，所要求保護(hù)的主題可以在沒有這些具體細(xì)節(jié)的情況下實施。在其他情況下，沒有詳細(xì)示出諸如，例如，控制結(jié)構(gòu)和完全軟件指令序列之類的某些材料，以便不至于使此處所公開的材料變得模糊。
[0017]此處所公開的材料可以以硬件、固件、軟件，或其任何組合來實現(xiàn)。此處所公開的材料還可實現(xiàn)為存儲在機(jī)器可讀取的介質(zhì)中的可以由一個或多個處理器讀取和執(zhí)行的指令。機(jī)器可讀的介質(zhì)可以包括用于以機(jī)器(例如，計算設(shè)備)可讀的形式存儲或傳輸信息的任何介質(zhì)和/或機(jī)制。例如，機(jī)器可讀的介質(zhì)可以包括，只讀存儲器(ROM);隨機(jī)存取存儲器(RAM);磁盤存儲介質(zhì)；光存儲介質(zhì)；閃存設(shè)備；電的、光學(xué)的、聲音或其他形式的傳播信號(例如，載波、紅外信號、數(shù)字信號等等)；及其他。
[0018]說明書中對“一個實現(xiàn)”、“實現(xiàn)”、“示例實現(xiàn)”等等的引用指示所描述的實現(xiàn)可包括特定特征、結(jié)構(gòu)或特性，但是，每一個實現(xiàn)可以不一定包括該特定特征、結(jié)構(gòu)或特征。此夕卜，這樣的短語不一定是指同一個實現(xiàn)。此外，當(dāng)結(jié)合一個實現(xiàn)描述特定特征、結(jié)構(gòu)或特性時，認(rèn)為在本領(lǐng)域技術(shù)人員學(xué)識范圍內(nèi)，可以與其他實現(xiàn)一起實施這樣的特征、結(jié)構(gòu)或特性，無論是否對此明確描述。
[0019]下面將描述包括對于基于感興趣區(qū)域的3D視頻譯碼的操作的系統(tǒng)、設(shè)備、物品，以及方法。
[0020]如上文所描述的，在某些情況下，在常規(guī)3D視頻壓縮編碼中，可以在比特流中譯碼兩個或三個視圖和相關(guān)聯(lián)的深度圖，以支持各種3D視頻應(yīng)用。在解碼器端，可以通過使用基于深度圖像的呈現(xiàn)技術(shù)，來生成某些視點的虛擬合成視圖。然而，與單視圖視頻相比，巨量的3D視頻數(shù)據(jù)推高所需的帶寬。因此，可能需要更有高效地壓縮3D視頻數(shù)據(jù)。根據(jù)人類視覺系統(tǒng)的屬性，用戶可能對畫面中諸如前景、較亮區(qū)域等等之類的感興趣區(qū)域更敏感。然而，在常規(guī)3D視頻壓縮中，譯碼不利用人類視覺系統(tǒng)對畫面的感興趣區(qū)域更敏感的趨勢來更有高效地壓縮3D視頻。
[0021]如下文比較詳細(xì)地描述的，用于3D視頻譯碼的操作可以提取感興趣區(qū)域和不感興趣區(qū)域，然后，以不同的方式譯碼這樣的變化的區(qū)域，以便實現(xiàn)更高的壓縮性能。在這樣的基于感興趣區(qū)域的3D視頻譯碼框架中，在通過使用深度圖和相機(jī)參數(shù)來將畫面分區(qū)為若干個感興趣區(qū)域和不感興趣區(qū)域之后，可以使用不同的譯碼設(shè)置來壓縮不同的區(qū)域。這樣的基于感興趣區(qū)域的3D視頻譯碼框架可以改善3D視頻譯碼系統(tǒng)和方法的譯碼效率和靈活性。
[0022]圖1是根據(jù)本發(fā)明的至少某些實現(xiàn)配置的示例3D視頻譯碼系統(tǒng)100的說明圖。在所示出的實現(xiàn)中，3D視頻譯碼系統(tǒng)100可以包括一種或多種類型的顯示器(例如，N視圖顯示器140、立體顯示器142、2D顯示器144等等)、一個或多個成像設(shè)備(未示出)、3D視頻譯碼器103、3D視頻解碼器105、立體視頻解碼器107、2D視頻解碼器109，和/或比特流提取器110。
[0023]在某些示例中，3D視頻譯碼系統(tǒng)100可以包括為了清楚起見而在圖1中沒有示出的額外的項目。例如，3D視頻譯碼系統(tǒng)100可以包括處理器、射頻類型(RF)收發(fā)器，和/或天線。進(jìn)一步地，3D視頻譯碼系統(tǒng)100還可以包括為了清楚起見而在圖1中沒有示出的額外的項目，諸如揚聲器、麥克風(fēng)、加速度計、存儲器、路由器、網(wǎng)絡(luò)接口邏輯等等。
[0024]如此處所使用的，術(shù)語“譯碼器(coder) ”可以是指編碼器(encoder)和/或解碼器(decoder)。類似地，如此處所使用的，術(shù)語“譯碼(coding) ”可以是指通過編碼器來編碼和/或通過解碼器來解碼。例如，3D視頻編器103和3D視頻解碼器105兩者都可以是能夠進(jìn)行3D譯碼的譯碼器的示例。
[0025]在某些示例中發(fā)送器102可以從多個成像設(shè)備(未示出)接收多個視圖。用于3D編碼器103的輸入信號可以包括多個視圖(例如，視頻畫面112和113)、相關(guān)聯(lián)的深度圖(例如，深度圖114和115)，以及對應(yīng)的相機(jī)參數(shù)(未示出)。然而，還可以在沒有深度數(shù)據(jù)的情況下，操作3D視頻譯碼系統(tǒng)100。通過使用3D視頻編碼器103，輸入分量信號被編碼為比特流，其中，可以使用2D視頻編碼器，例如，H264/AVC編碼器或高效率視頻譯碼(HEVC)編碼器，來編碼基礎(chǔ)視圖。如果通過3D接收器104使用3D視頻解碼器105來解碼來自比特流提取器110的比特流，則可以在給定保真度下重構(gòu)視頻(例如，視頻畫面116和117)、深度數(shù)據(jù)(例如，深度圖118和119)，和/或相機(jī)參數(shù)(未示出)。
[0026]在其他示例中，如果通過立體接收器106解碼來自比特流提取器110的比特流，來供在自動立體顯示器(例如，立體顯示器142)上顯示3D視頻，則可以使用重構(gòu)的視圖和深度數(shù)據(jù)，通過基于深度圖像的呈現(xiàn)(DIBR)算法，來生成額外的中間視圖(例如，兩個視圖畫面120和121)。如果3D視頻解碼器103被連接到常規(guī)立體顯示器(例如，立體顯示器142)，貝U中間視圖合成130也可以生成一對立體視圖，以防這樣的對不實際存在于來自比特流提取器110的比特流中。
[0027]在進(jìn)一步的示例中，如果通過2D接收器108解碼來自比特流提取器110的比特流，則解碼的視圖(例如，獨立視圖圖像122)中的一個或任意虛擬相機(jī)位置處的中間視圖也可以用于在常規(guī)2D顯示器(例如，2D顯示器144)上顯示單個視圖。
[0028]如下面比較詳細(xì)地討論的，可以使用3D視頻譯碼系統(tǒng)100來執(zhí)行下文參考圖3和/或4所討論的各種功能中的某些或全部。
[0029]圖2是根據(jù)本發(fā)明的至少某些實現(xiàn)配置的示例3D視頻譯碼200的說明圖。在所示出的實現(xiàn)中，3D視頻譯碼系統(tǒng)200可以包括3D編碼器203和/或3D解碼器205。進(jìn)一步地，3D視頻譯碼系統(tǒng)200可以包括為了清楚起見在圖2中而沒有示出的額外的項目。
[0030]用于3D編碼器203的輸入信號可以包括多個視圖(例如，視頻畫面)、相關(guān)聯(lián)的深度圖，以及對應(yīng)的相機(jī)參數(shù)。感興趣區(qū)域(R0I)提取邏輯模塊202可以被配置成提取視頻畫面的感興趣區(qū)域模式，其中，至少部分地基于與所述視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)和深度圖，提取所述感興趣區(qū)域模式。
[0031]畫面感興趣區(qū)域(R0I)分區(qū)邏輯模塊212可以通信地耦合到感興趣區(qū)域提取邏輯模塊202。畫面感興趣區(qū)域分區(qū)邏輯模塊212可以被配置成至少部分地基于所提取的感興趣區(qū)域模式，來分區(qū)視頻畫面。已分區(qū)的視頻畫面可以包括一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分。在編碼期間，視頻畫面的分區(qū)可以涉及至少部分地基于感興趣區(qū)域模式，將視頻畫面拆分為一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分。
[0032]3D編碼器203可以編碼一個或多個感興趣區(qū)域畫面部分214、一個或多個不感興趣區(qū)域畫面部分216、相關(guān)聯(lián)的深度圖206，以及對應(yīng)的相機(jī)參數(shù)204，并在模塊210中復(fù)用為比特流。
[0033]3D解碼器205可以在模塊230解復(fù)用比特流并解碼一個或多個感興趣區(qū)域畫面部分234、一個或多個不感興趣區(qū)域畫面部分236、相關(guān)聯(lián)的深度圖226，以及對應(yīng)的相機(jī)參數(shù)224。
[0034]感興趣區(qū)域(R0I)提取邏輯模塊222可以被配置成至少部分地基于與視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)224和深度圖226，提取視頻畫面的感興趣區(qū)域模式。
[0035]感興趣畫面區(qū)域(R0I)分區(qū)邏輯模塊232可以通信地耦合到感興趣區(qū)域提取邏輯模塊222。畫面感興趣區(qū)域分區(qū)邏輯模塊232可以被配置成至少部分地基于所提取的感興趣區(qū)域模式，來分區(qū)視頻畫面。已分區(qū)的視頻畫面可以包括一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分。在解碼過程中，視頻畫面的分區(qū)可以涉及從一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分組裝視頻畫面。
[0036]在操作中，3D視頻譯碼系統(tǒng)200可以實現(xiàn)用于3D視頻譯碼的操作，包括基于深度的感興趣區(qū)域提取。如下文比較詳細(xì)地描述的，這樣的基于深度的感興趣區(qū)域提取可以在3DVC框架下操作。所呈現(xiàn)的3DVC框架可以計及人類視覺系統(tǒng)(HVS)通常對畫面的給定感興趣區(qū)域(R0I)更敏感，但是，對畫面的不感興趣區(qū)域(R0NI)不太敏感?？梢詫⒁晥D的畫面分區(qū)為R0I和R0NI，然后，以不同的方式譯碼。可以基于對應(yīng)于當(dāng)前譯碼視圖的深度圖和相機(jī)參數(shù)，提取R0I和R0NI。
[0037]在3D編碼器203端，可以通過使用深度圖和相機(jī)參數(shù)，來導(dǎo)出區(qū)域分區(qū)模式。然后，可以將畫面分區(qū)為R0I和R0NI，可以通過使用不同的譯碼設(shè)置，來壓縮R0I和R0NI。同時，還可以壓縮深度圖和相機(jī)參數(shù)。最后，可以將R01、R0N1、深度圖和相機(jī)參數(shù)的經(jīng)過編碼的數(shù)據(jù)封裝為比特流，并傳輸?shù)?D解碼器205。
[0038]在3D解碼器205側(cè)，可以首先從比特流中提取R01、R0N1、深度圖，以及相機(jī)參數(shù)的數(shù)據(jù)。然后，可以解碼并重構(gòu)深度圖和相機(jī)參數(shù)。然后，可以通過以與由3D編碼器203執(zhí)行的相同或類似的方式使用重構(gòu)的深度圖和相機(jī)參數(shù)，來導(dǎo)出區(qū)域分區(qū)模式?？梢苑珠_地解碼R0I圖像部分和R0NI圖像部分，并最后至少部分地基于區(qū)域分區(qū)模式，將它們組裝為整體圖像。
[0039]如下面比較詳細(xì)地討論的，可以使用3D視頻譯碼系統(tǒng)200來執(zhí)行下文參考圖3和/或4所討論的各種功能中的某些或全部。
[0040]圖3是示出了根據(jù)本發(fā)明的至少某些實現(xiàn)配置的示例3D視頻譯碼過程300的流程圖。在所示出的實現(xiàn)中，過程300可以包括一個或多個操作、功能或動作，如框302、304，和/或306中的一個或多個所示出的。作為非限制性示例，此處將參考圖1，2和/或6的示例3D視頻譯碼系統(tǒng)100來描述過程300。
[0041]過程300可以被用作用于基于感興趣區(qū)域的3D視頻譯碼的計算機(jī)實現(xiàn)方法。過程300可以從框302開始，“至少部分地基于深度圖和相機(jī)參數(shù)，提取R0I模式”，其中，可以至少部分地基于相機(jī)參數(shù)和深度圖，提取感興趣區(qū)域模式。例如，可以至少部分地基于與視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)和深度圖，提取視頻畫面的感興趣區(qū)域模式。
[0042]處理可以從操作302持續(xù)到操作304，“至少部分地基于所提取的R0I模式，將圖像分區(qū)為感興趣區(qū)域畫面部分和不感興趣區(qū)域畫面部分”，其中，可以至少部分地基于所提取的感興趣區(qū)域模式，分區(qū)視頻畫面。例如，可以至少部分地基于所提取的感興趣區(qū)域模式，將視頻畫面分區(qū)為一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域。
[0043]處理可以從操作304持續(xù)到操作306，“譯碼感興趣區(qū)域畫面部分和不感興趣區(qū)域畫面部分”，其中，可以譯碼一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域。例如，在編碼和/或解碼過程中，可以譯碼一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域。
[0044]在某些示例中，在編碼期間，視頻畫面的分區(qū)可以包括至少部分地基于感興趣區(qū)域模式，將視頻畫面拆分為一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分。在某些示例中，在解碼期間，視頻畫面的分區(qū)可以包括從一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分組裝視頻畫面。
[0045]可以在下文參考圖4比較詳細(xì)地討論的實現(xiàn)的一個或多個示例中示出涉及過程300的某些額外的和/或替換的細(xì)節(jié)。
[0046]圖4是根據(jù)本發(fā)明的至少某些實現(xiàn)配置的在操作中的示例3D視頻譯碼系統(tǒng)100和3D視頻譯碼過程400的說明圖。在所示出的實現(xiàn)中，過程400可以包括一個或多個操作、功能或動作，如動作412、414、416、418、420、422、424、426，和/或430中的一個或多個所示出的。作為非限制性示例，此處將參考圖1，2和/或5的示例3D視頻譯碼系統(tǒng)100來描述過程400。
[0047]在所示出的實現(xiàn)中，3D視頻譯碼系統(tǒng)100可以包括邏輯模塊406，等等，和/或其組合。例如，邏輯模塊406可以包括R0I提取邏輯模塊408、圖像R0I分區(qū)邏輯模塊410等等，和/或其組合。雖然3D視頻譯碼系統(tǒng)100，如圖4所示，可以包括與特定模塊相關(guān)聯(lián)的一個特定組的框或動作，但是，這些框或動作可以與這里所示出的特定模塊之外的不同的模塊相關(guān)聯(lián)。
[0048]過程400可以從框412開始，“確定相機(jī)焦點”，其中，可以確定相機(jī)焦點。例如，可以至少部分地基于相機(jī)參數(shù)，確定相機(jī)焦點。
[0049]雖然過程400，如圖所示，涉及解碼，但是，可以以與一般而言的譯碼(包括編碼)相同或類似的方式應(yīng)用所描述的概念和/或操作。
[0050]過程可以從操作412持續(xù)到操作414，“確定檢查窗口”，其中，可以確定檢查窗口。例如，可以至少部分地基于相機(jī)焦點，確定與視頻畫面的一部分相關(guān)聯(lián)的檢查窗口。
[0051]過程可以從操作414持續(xù)到操作416，“確定在檢查窗口外面”，其中，可以作出任何區(qū)域單元是否位于檢查窗口外面的判斷。例如，可以將位于檢查窗口外面的任何區(qū)域單元例指定為感興趣區(qū)域模式的不感興趣區(qū)域。
[0052]過程可以從操作416持續(xù)到418，“確定焦點區(qū)域”，其中，可以確定焦點區(qū)域單元。例如，可以至少部分地基于相機(jī)焦點，確定焦點區(qū)域單元。
[0053]過程可以從操作418持續(xù)到420，“確定特征焦點深度值”，其中，可以確定焦點區(qū)域單元的特征焦點深度值。例如，可以至少部分地基于深度圖，確定焦點區(qū)域單元的特征焦點深度值。
[0054]過程可以從操作420持續(xù)到操作422，“確定區(qū)域單元深度值”，其中，可以確定區(qū)域單元深度值。例如，可以確定位于檢查窗口內(nèi)的單個區(qū)域單元的區(qū)域單元深度值。
[0055]過程可以從操作422持續(xù)到操作424，“指定R0I模式”，其中，可以指定感興趣區(qū)域模式。例如，可以至少部分地基于與視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)和深度圖，提取視頻畫面的感興趣區(qū)域模式。在某些示例中，可以至少部分地基于確定的區(qū)域單元深度值與特征焦點深度值的比較，將位于檢查窗口內(nèi)的任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域。
[0056]過程可以從操作424持續(xù)到操作426，“指定R0I索引類型”，其中，可以指定感興趣區(qū)域索引類型。例如，可以至少部分地基于所述確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域區(qū)域單元指定為屬于兩個或更多索引類型。
[0057]過程可以從操作426持續(xù)到操作428，“傳輸包括R0I索引類型的R0I模式”，其中，可以傳輸感興趣區(qū)域模式。例如，可以將感興趣區(qū)域模式從R0I提取邏輯模塊408傳輸?shù)綀D像R0I分區(qū)邏輯模塊410。
[0058]過程可以從操作426和/或428持續(xù)到操作430，“分區(qū)圖像”，其中，可以分區(qū)視頻畫面。例如，可以至少部分地基于所提取的感興趣區(qū)域模式，將視頻畫面分區(qū)為一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域。
[0059]在操作中，R0I分區(qū)邏輯模塊410可以進(jìn)一步被配置成區(qū)分第一類型的區(qū)域單元和不同于第一類型的第二類型的區(qū)域單元。例如，第一和第二類型的區(qū)域單元可以基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則、視圖級別準(zhǔn)則等等，和/或其組合。在這樣的示例中，R0I可以至少部分地基于下列準(zhǔn)則中的一個或多個，至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面:應(yīng)用分區(qū)對不應(yīng)用分區(qū)，應(yīng)用不同的區(qū)域單元大小，應(yīng)用不同的檢查窗口大小，以及應(yīng)用與所述確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較相關(guān)聯(lián)的不同的閾值，等等，和/或其組合。
[0060]在某些示例中，在譯碼期間，可以通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，譯碼一個或多個不感興趣區(qū)域畫面部分。在這樣的示例中，所述第二標(biāo)準(zhǔn)可以包括應(yīng)用于一個或多個感興趣區(qū)域畫面部分的第一索引類型的第一子標(biāo)準(zhǔn)和應(yīng)用于一個或多個感興趣區(qū)域畫面部分的第二索引類型的第二子標(biāo)準(zhǔn)。
[0061]在某些示例中，第一標(biāo)準(zhǔn)、第二標(biāo)準(zhǔn)、第一子標(biāo)準(zhǔn)和/或第二子標(biāo)準(zhǔn)可以至少部分地基于下列準(zhǔn)則中的一個或多個而不同:不同的譯碼工具、不同的約束，不同的譯碼策略，等等，和/或其組合。不同的譯碼工具可以至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將無損對有損(lossless versus lossy)譯碼應(yīng)用到不同的區(qū)域，以及將整數(shù)運動補償對分?jǐn)?shù)運動補償(integer mot1n compensat1n versus fract1nal mot1ncompensat1n)應(yīng)用到不同的區(qū)域，等等，和/或其組合。不同的約束可以至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將不同的參考畫面數(shù)量限制應(yīng)用到不同的區(qū)域，以及將不同的預(yù)測和變換大小應(yīng)用到不同的區(qū)域，等等，和/或其組合。不同的譯碼策略可以至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將用于運動估計的不同的搜索范圍應(yīng)用到不同的區(qū)域，以及將不同的量化參數(shù)應(yīng)用到不同的區(qū)域，等等，和/或其組合。
[0062]在操作中，示例過程300和400，如圖3和4所示，可以使用區(qū)域單元(RU)來指示用于分區(qū)和譯碼的畫面的最小單元。首先，圖像可以被分成RU，其中，每一個RU都包含KxL個像素。其次，對于每一個RU，可以確定區(qū)域分區(qū)模式，諸如區(qū)域類型和區(qū)域索引。注意，還可以進(jìn)一步將R0I分割成多個子R0I，以便應(yīng)用更細(xì)的譯碼精度。假設(shè)可以將R0I分成N個子R0I,每一個RU的Reg1nType (區(qū)域類型)和Reg1nldx(區(qū)域索引)可以被定義為如下:
[0063]1.在Reg1nType等于1的情況下，這可以指定當(dāng)前RU可以是R0I。在Reg1nType等于0的情況下，這可以指定當(dāng)前RU可以是R0NI。
[0064]2.Reg1nldx可以指定當(dāng)前RU所屬的子R0I索引。當(dāng)Reg1nType等于1時，Reg1nldx的值可以在0到N-1范圍之內(nèi)。
[0065]在此方案中，可以使用深度圖和相機(jī)參數(shù)來導(dǎo)出RU的分區(qū)模式?；玖鞒炭梢员皇緸槿缦?
[0066]1.可以導(dǎo)出相機(jī)焦點和檢查窗口。可以通過諸如焦距和相機(jī)位置之類的相機(jī)參數(shù)來生成相機(jī)的焦點?？梢詫⒔裹c處的RU表示為RUfocal。在焦點周圍，可以獲得RU對齊的矩形檢查窗口。位于檢查窗口外面的RU可以全部設(shè)置為R0NI。檢查窗口的大小可以是預(yù)定義的，可以是固定值，或在編碼器處被導(dǎo)出，然后被傳輸?shù)浇獯a器，或由編碼器和解碼器自適應(yīng)地確定。
[0067]2.可以在下面的步驟中進(jìn)一步處理位于檢查窗口內(nèi)的RU。對于檢查窗口中的每一個RU，可以導(dǎo)出特征深度值。對于大小等于KxL的RU，可以從深度圖中找到帶有大小等于K/ xL/的其對應(yīng)的深度塊。可以導(dǎo)出每一個RU的特征深度值，并將其表示為cbpth(RU)?？梢允褂酶鞣N方法來導(dǎo)出特征深度值，例如，Γ xU深度塊的平均值、Γ xU深度塊的中值，等等，和/或其組合。當(dāng)當(dāng)前畫面的深度圖數(shù)據(jù)可能不可用時，也可以使用估計的深度數(shù)據(jù)來推導(dǎo)特征深度值。
[0068]3.可以確定檢查窗口中的每一個RU的Reg1nType。可以使用RU的特征深度值來判斷當(dāng)前 RU 屬于 R0I 還是 R0NI。如果 THlow < depth (RU) -depth (RUfocal) < THhigh,那么，當(dāng)前RU屬于R0I,可以將其Reg1nType設(shè)置為1。如果depth (RU)-depth (RUfocal)< THlow 或 cbpth(RU)-d印th (RUfocal) > THhigh，那么，當(dāng)前 RU 屬于 R0NI，且可以將其Reg1nType設(shè)置為0。這里，可以使用兩個閾值，THlow和THhigh，來控制R0I和R0NI的范圍。THlow和THhigh可以是預(yù)定義的，可以是固定值，或在編碼器處被導(dǎo)出，然后被傳輸?shù)浇獯a器，或由編碼器和解碼器自適應(yīng)地確定。
[0069]4.可以為檢查窗口中的每一個RU確定Reg1nldx。為了進(jìn)一步分割R0I,可以將范圍[THlow, THhigh]被分成N個間隔。如果depth (RU)-depth (RUfocal)可以在第i個間隔，則當(dāng)前RU屬于第i個子R0I，且其Reg1nldx可以設(shè)置為i。這里，可以使用[THlow，THhigh]的間隔模式來控制每一個較精細(xì)的子R0I的范圍。間隔模式可以是預(yù)定義的，可以是固定值，或在編碼器中被導(dǎo)出，然后被傳輸?shù)浇獯a器，或由編碼器和解碼器自適應(yīng)地確定。
[0070]盡管如圖3和4所示的示例過程300和400的實現(xiàn)可以包括按所示出的順序執(zhí)行所示出的全部框，但是，本發(fā)明在這方面不受限制，在各示例中，過程300和400的實現(xiàn)可以包括只執(zhí)行所示出的框的子集和/或以所示出的不同的順序來執(zhí)行。
[0071]另外，可以響應(yīng)于由一個或多個計算機(jī)程序產(chǎn)品所提供的指令，執(zhí)行圖3和4的框中的任何一個或多個。這樣的程序產(chǎn)品可以包括提供指令的信號承載介質(zhì)，所述指令當(dāng)由例如，處理器執(zhí)行時，可以提供此處所描述的功能。計算機(jī)程序產(chǎn)品可以以任何形式的計算機(jī)可讀介質(zhì)來提供。如此，例如，包括一個或多個處理器核的處理器可以響應(yīng)于由計算機(jī)可讀介質(zhì)傳輸?shù)教幚砥鞯闹噶睿瑘?zhí)行圖3和4所示出的框中的一個或多個。
[0072]如此處所描述的任何實現(xiàn)中所使用的，術(shù)語“模塊”是指被配置成提供此處所描述的功能的軟件、固件和/或硬件的任何組合。軟件可以作為軟件程序包、代碼和/或指令集或指令來實現(xiàn)，而此處所描述的任何實現(xiàn)中所使用的“硬件”可以包括，例如，單獨地或以任何組合的硬連線的電路、可編程電路、狀態(tài)機(jī)電路和/或存儲由可編程電路執(zhí)行的指令的固件。模塊可以共同地或分別地被實現(xiàn)為構(gòu)成較大的系統(tǒng)的一部分的電路，例如，集成電路(1C)、芯片上系統(tǒng)(SoC)等等。
[0073]圖5是根據(jù)本發(fā)明的至少某些實現(xiàn)的示例感興趣區(qū)域提取的說明圖。在所示出的實現(xiàn)中，示出了 R0I和R0NI提取的示例，其中，一個R0I和一個R0NI用于譯碼畫面500。示出了四個區(qū)域單元(RU)——RU焦點508、檢查窗口之外的RONI RU 510、ROI RU 512，以及RONI RU 514，以例示提取的過程。RU焦點508是RUfocal，這是檢查窗口的中心。由于檢查窗口之外的RONI RU 510位于檢查窗口 502之外，因此，RU 510被設(shè)置為R0NI的一部分。對于ROI RU 512和RONI RU 514，可以對照RU焦點508檢查它們的深度信息，以查看是否滿足提取規(guī)則。結(jié)果，可以分別將RU 512和RU 514設(shè)置為R0I和R0NI。
[0074]例如，在從畫面中提取R0I畫面部分和R0NI畫面部分之后，與R0NI圖像部分相t匕，可以將不同的譯碼設(shè)置應(yīng)用于R0I畫面部分。不同的譯碼設(shè)置可以包括，但不僅限于，使用不同的譯碼工具，使用不同的約束，使用不同的編碼策略等等，和/或其組合。例如，這樣的不同的譯碼工具可以包括對諸如R0I之類的區(qū)域應(yīng)用無損譯碼工具，對諸如R0NI之類的其他區(qū)域(和/或不同的感興趣子區(qū)域)應(yīng)用有損譯碼工具。在另一個示例中，這樣的不同的譯碼工具可以包括針對對不同的區(qū)域(和/或不同的感興趣子區(qū)域)的補償，應(yīng)用不同的運動矢量分辨率。例如，這樣的不同的約束可以包括對不同的區(qū)域(和/或不同的感興趣子區(qū)域)應(yīng)用不同的參考圖像數(shù)字限制。在另一個示例中，不同的約束可以包括對不同的區(qū)域(和/或不同的感興趣子區(qū)域)應(yīng)用不同的預(yù)測和變換大小。例如，這樣的不同的編碼策略可以包括針對對不同的區(qū)域(和/或不同的感興趣子區(qū)域)的運動估計，應(yīng)用不同的搜索范圍。在另一個示例中，這樣的不同的編碼策略可以包括對不同的區(qū)域(和/或不同的感興趣子區(qū)域)應(yīng)用不同的量化參數(shù)(QP)值。
[0075]圖6是根據(jù)本發(fā)明的至少某些實現(xiàn)配置的示例3D視頻譯碼100的說明圖。在所示出的實現(xiàn)中，3D視頻譯碼系統(tǒng)100可以包括顯示器602、成像設(shè)備604、3D視頻編碼器103、3D視頻解碼器105，和/或邏輯模塊406。邏輯模塊406可以包括R0I提取邏輯模塊408、畫面R0I分區(qū)邏輯模塊410等等，和/或其組合。
[0076]如圖所示，顯示器602、3D視頻解碼器105、處理器606和/或存儲器存儲608可以能夠彼此進(jìn)行通信和/或與邏輯模塊406的某些部分進(jìn)行通信。類似地，成像設(shè)備604和3D視頻編碼器103可以能夠彼此進(jìn)行通信和/或與邏輯模塊406的某些部分進(jìn)行通信。相應(yīng)地，3D視頻解碼器105可以包括邏輯模塊406的全部或某些部分，而3D視頻編碼器103可以包括類似的邏輯模塊。雖然3D視頻譯碼相同100，如圖6所示，可以包括與特定模塊相關(guān)聯(lián)的一個特定組的框或動作，但是，這些框或動作可以與這里所示出的特定模塊之外的不同的模塊相關(guān)聯(lián)。
[0077]在某些示例中，顯示設(shè)備602可以被配置成呈現(xiàn)視頻數(shù)據(jù)。處理器606可以通信地耦合到顯示設(shè)備602。存儲器存儲608可以通信地耦合到處理器606。R0I提取邏輯模塊408可以通信地耦合到處理器606，并可以被配置成提取視頻畫面的感興趣區(qū)域模式，其中，至少部分地基于與視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)和深度圖，提取感興趣區(qū)域模式。圖像R0I分區(qū)邏輯模塊410可以通信地耦合到R0I提取邏輯模塊408，并且可以被配置成至少部分地基于所提取的感興趣區(qū)域模式，分區(qū)視頻畫面，其中，已分區(qū)的視頻畫面可以包括一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域。譯碼器(例如，3D視頻解碼器105或3D視頻編碼器103)可以通信地耦合到圖像R0I分區(qū)邏輯模塊410，并可以被配置成譯碼一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域。
[0078]在各實施例中，R0I提取邏輯模塊408可以以硬件實現(xiàn)，而軟件可以實現(xiàn)畫面R0I分區(qū)邏輯模塊410。例如，在某些實施例中，R0I提取邏輯模塊408可以通過專用集成電路(ASIC)邏輯來實現(xiàn)，而畫面R0I分區(qū)邏輯模塊410可以通過由諸如處理器606之類的邏輯執(zhí)行的軟件指令來提供。然而，本發(fā)明在這方面不受限制，R0I提取邏輯模塊408和/或畫面R0I分區(qū)邏輯模塊410可以通過硬件、固件和/或軟件的任何組合來實現(xiàn)。另外，存儲器存儲608可以是任何類型的存儲器，諸如易失性存儲器(例如，靜態(tài)隨機(jī)存取存儲器(SRAM)、動態(tài)隨機(jī)存取存儲器(DRAM)，等等)或非易失性存儲器(例如，閃存等等)等等。在非限制性示例中，存儲器存儲608可以通過緩存存儲器來實現(xiàn)。
[0079]圖7示出了根據(jù)本發(fā)明的示例系統(tǒng)700。在各實現(xiàn)中，系統(tǒng)700可以是媒體系統(tǒng)，雖然系統(tǒng)700不僅限于此上下文。例如，系統(tǒng)700可被納入到個人計算機(jī)(PC)、膝上計算機(jī)、超薄筆記本電腦、平板計算機(jī)、觸摸板、便攜式計算機(jī)、手持式計算機(jī)、掌上計算機(jī)、個人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視機(jī)、智能設(shè)備(例如智能電話、智能平板計算機(jī)或智能電視機(jī))、移動互聯(lián)網(wǎng)設(shè)備(MID)、發(fā)消息設(shè)備、數(shù)據(jù)通信設(shè)備等中。
[0080]在各實現(xiàn)中，系統(tǒng)700包括耦合到顯示器720的平臺702。平臺702可以從諸如內(nèi)容服務(wù)設(shè)備730、或內(nèi)容遞送設(shè)備740之類的內(nèi)容設(shè)備或其他類似的內(nèi)容源接收內(nèi)容。包括一個或多個導(dǎo)航特征的導(dǎo)航控制器750可以被用來與例如平臺702和/或顯示器720進(jìn)行交互。下面將更詳細(xì)地描述這些組件中的每一個。
[0081]在各實現(xiàn)中，平臺702可以包括芯片組705、處理器710、存儲器712、存儲714、圖形子系統(tǒng)715、應(yīng)用程序716、和/或無線電718的任何組合。芯片組705可以在處理器710、存儲器712、存儲714、圖形子系統(tǒng)715、應(yīng)用程序716和/或無線電718之間提供相互通信。例如，芯片集705可包括能夠提供與存儲714的相互通信的存儲適配器(未示出)。
[0082]處理器710可以實現(xiàn)為復(fù)雜指令集計算機(jī)(CISC)或精簡指令集計算機(jī)(RISC)處理器、x86指令集兼容處理器、多核，或任何其他微處理器或中央處理單元(CPU)。在各實現(xiàn)中，處理器710可以是雙核處理器、雙核移動處理器等等。
[0083]存儲器712可以實現(xiàn)為易失性存儲器設(shè)備，諸如，但不僅限于，隨機(jī)存取存儲器(RAM)、動態(tài)隨機(jī)存取存儲器(DRAM)，或靜態(tài)RAM (SRAM)。
[0084]存儲714可實現(xiàn)為非易失性存儲設(shè)備，例如但不限于，磁盤驅(qū)動器、光盤驅(qū)動器、磁帶驅(qū)動器、內(nèi)部存儲設(shè)備、附屬存儲設(shè)備、閃存、電池應(yīng)急SDRAM(同步DRAM)和/或網(wǎng)絡(luò)可訪問存儲設(shè)備。在各實現(xiàn)中，存儲714可以包括當(dāng)例如包括多個硬盤驅(qū)動器時，提高存儲器性能或?qū)τ袃r值的數(shù)字媒體的增強的保護(hù)的技術(shù)。
[0085]圖形子系統(tǒng)715可執(zhí)行對例如靜止圖像或視頻的圖像的處理以供顯示。圖形子系統(tǒng)715可以例如是圖形處理單元(GPU)或視覺處理單元(VPU)。模擬或數(shù)字接口可用于通信地耦合圖形子系統(tǒng)715和顯示器720。例如，接口可以是高清多媒體接口(HDMI)、顯示器端口、無線HDMI和/或無線HD適應(yīng)技術(shù)中的任何一種。圖形子系統(tǒng)715可以被集成到處理器710或芯片組705中。在一些實現(xiàn)中，圖形子系統(tǒng)715可以是可通信地耦合到芯片組705的獨立卡。
[0086]本文中所描述的圖形和/或視頻處理技術(shù)可在各種硬件體系結(jié)構(gòu)中實現(xiàn)。例如，圖形和/或視頻功能可被集成在芯片集中。替代地，可使用分立的圖形和/或視頻處理器。作為再一個實現(xiàn)，圖形和/或視頻功能可以通過通用處理器(包括多核處理器)來提供。在進(jìn)一步的實施例中，功能可以在消費電子產(chǎn)品中實現(xiàn)。
[0087]無線電718可以包括能夠使用各種合適的無線通信技術(shù)傳輸和接收信號的一個或多個無線電。這些技術(shù)可涉及跨一個或多個無線網(wǎng)絡(luò)的通信。示例無線網(wǎng)絡(luò)包括(但不僅限于)無線局域網(wǎng)(WLAN)、無線個人局域網(wǎng)(WPAN)、無線城域網(wǎng)(WMAN)、蜂窩網(wǎng)絡(luò)，以及衛(wèi)星網(wǎng)絡(luò)。在跨這樣的網(wǎng)絡(luò)的通信中，無線電718可以根據(jù)任何版本的一個或多個適用的標(biāo)準(zhǔn)來操作。
[0088]在各實現(xiàn)中，顯示器720可以包括任何電視機(jī)類型監(jiān)視器或顯示器。顯示器720可以包括，例如，計算機(jī)顯示器屏幕、觸摸屏顯示器、視頻監(jiān)視器、類似于電視機(jī)的設(shè)備，和/或電視機(jī)。顯示器720可以是數(shù)字和/或模擬的。在各實現(xiàn)中，顯示器720可以是全息顯示器。此外，顯示器720還可以是可接收視覺投影的透明表面。這樣的投影可以傳達(dá)各種形式的信息、圖像，和/或?qū)ο?。例如，這樣的投影可以是用于移動增強的現(xiàn)實(MAR)應(yīng)用程序的視覺覆蓋。在一個或多個軟件應(yīng)用程序716的控制下，平臺702可以在顯示器722上顯示用戶界面720。
[0089]在各實現(xiàn)中，內(nèi)容服務(wù)設(shè)備730可以由任何國家的，國際的和/或獨立的服務(wù)來主存(host)，并由此可以被平臺702例如通過因特網(wǎng)來訪問。內(nèi)容服務(wù)設(shè)備730可耦合到平臺702和/或顯示器720。平臺702和/或內(nèi)容服務(wù)設(shè)備730可耦合到網(wǎng)絡(luò)760以向網(wǎng)絡(luò)760傳遞媒體信息并對來自網(wǎng)絡(luò)760的媒體信息進(jìn)行傳遞(例如，發(fā)送和/或接收)。內(nèi)容傳遞設(shè)備740也可耦合到平臺702和/或顯示器720。
[0090]在各實現(xiàn)中，內(nèi)容服務(wù)設(shè)備730可以包括有線電視盒、個人計算機(jī)、網(wǎng)絡(luò)、電話、啟用因特網(wǎng)的設(shè)備或能夠分發(fā)數(shù)字信息和/或內(nèi)容的電器，以及能夠通過網(wǎng)絡(luò)760或直接在內(nèi)容提供商和平臺702和/或顯示器720之間單方向地或雙向地傳遞內(nèi)容的任何其他類似的設(shè)備。將能理解，內(nèi)容可經(jīng)由網(wǎng)絡(luò)760單向和/或雙向地傳遞到和傳遞自系統(tǒng)700中的各組件中的任一個和內(nèi)容提供者。內(nèi)容的示例可包括任何媒體信息，包括例如視頻、音樂、醫(yī)療和游戲?目息等等。
[0091]內(nèi)容服務(wù)設(shè)備730可以接收內(nèi)容，諸如有線電視節(jié)目，包括媒體信息、數(shù)字信息和/或其他內(nèi)容。內(nèi)容提供者的例子可包括任何有線或衛(wèi)星電視或無線電，或者互聯(lián)網(wǎng)內(nèi)容提供者。所提供的示例不以任何方式限制根據(jù)本發(fā)明的各實現(xiàn)。
[0092]在各實現(xiàn)中，平臺702可以從具有一個或多個導(dǎo)航特征的導(dǎo)航控制器750接收控制信號。控制器750的導(dǎo)航特征可以被用來，例如，與用戶界面722進(jìn)行交互。在各實施例中，導(dǎo)航控制器750可以是指示設(shè)備，該指示設(shè)備可以是計算機(jī)硬件組件(具體地，人機(jī)接口設(shè)備)，可使用戶向計算機(jī)中輸入空間(例如，連續(xù)的和多維)數(shù)據(jù)。許多系統(tǒng)——例如圖形用戶接口(GUI)以及電視機(jī)和監(jiān)視器——允許用戶使用身體姿勢控制并將數(shù)據(jù)提供給計算機(jī)或電視機(jī)。
[0093]控制器750的導(dǎo)航特征的移動可以通過指針、光標(biāo)、焦點環(huán)，或顯示在顯示器上的其他可視指示器，在顯示器(例如，顯示器720)上復(fù)制。例如，在軟件應(yīng)用716的控制下，位于導(dǎo)航控制器750上的導(dǎo)航特征可以被映射到例如用戶界面722上顯示的虛擬導(dǎo)航特征。在各實施例中，控制器750可以不是單獨的組件，而是可以集成到平臺702和/或顯示器720中。然而，本發(fā)明不僅限于在所示出的或此處所描述的上下文中的元件。
[0094]在各實現(xiàn)中，驅(qū)動程序(未示出)可以包括允許用戶立即打開和關(guān)閉平臺702的技術(shù)，類似于電視機(jī)，例如，當(dāng)啟用時，在初始引導(dǎo)之后，按下按鈕。程序邏輯可以允許平臺702甚至在平臺被“關(guān)閉”時向媒體適配器或其他內(nèi)容服務(wù)設(shè)備730或內(nèi)容分發(fā)設(shè)備740流式播放內(nèi)容。另外，芯片組705還可以包括，例如，對于(6.1)環(huán)繞聲音頻和/或高清晰度(7.1)環(huán)繞聲音頻的硬件和/或軟件支持。驅(qū)動器可包括用于集成的圖形平臺的圖形驅(qū)動器。在一些實施例中，圖形驅(qū)動器可包括快速外圍組件互連(PCI)圖形卡。
[0095]在各實現(xiàn)中，可以集成系統(tǒng)600所示出的組件的任何一個或更多。例如，平臺602和內(nèi)容服務(wù)設(shè)備630可被集成，或者平臺602和內(nèi)容傳遞設(shè)備640可被集成，或者平臺602、內(nèi)容服務(wù)設(shè)備630和內(nèi)容傳遞設(shè)備640可被集成。在各實施例中，平臺602和顯示器620可以是集成單元。例如，顯示器620和內(nèi)容服務(wù)設(shè)備630可被集成，或者顯示器620和內(nèi)容傳遞設(shè)備640可被集成。這些示例不限制本發(fā)明。
[0096]在各實施例中，系統(tǒng)600可實現(xiàn)為無線系統(tǒng)、有線系統(tǒng)或兩者的組合。當(dāng)實現(xiàn)為無線系統(tǒng)時，系統(tǒng)600可包括適于在無線共享介質(zhì)上通信的組件和接口，例如一個或多個天線、發(fā)射機(jī)、接收機(jī)、收發(fā)機(jī)、放大器、過濾器、控制邏輯等等。無線共享媒體的一個例子可包括無線頻譜的一些部分，例如RF頻譜等。當(dāng)實現(xiàn)為有線系統(tǒng)時，系統(tǒng)600可以包括適用于通過有線通信介質(zhì)進(jìn)行通信的組件和接口，諸如輸入/輸出(I/O)適配器、將I/O適配器與相應(yīng)的有線通信介質(zhì)連接的物理連接器、網(wǎng)絡(luò)接口卡(NIC)、光盤控制器、視頻控制器、音頻控制器等等。有線通信介質(zhì)的示例可包括，線路、電纜、金屬導(dǎo)線、印刷電路板(PCB)、后板、交換機(jī)結(jié)構(gòu)、半導(dǎo)體材料、雙絞線、同軸電纜、光纖等等。
[0097]平臺602可建立一個或多個邏輯或物理通道以交換信息。該信息可包括媒體信息和控制信息。媒體信息可指代表針對用戶的內(nèi)容的任何數(shù)據(jù)。內(nèi)容的示例可以包括，例如，來自語音談話、視頻會議、流式視頻、電子郵件消息、語音郵件消息、字母數(shù)字符號、圖形、圖像、視頻、文本等等的數(shù)據(jù)。來自語音會話的數(shù)據(jù)可以是，例如，語音信息、靜默時間長度、背景噪聲、舒適噪聲、音調(diào)等等?？刂菩畔⒖梢允侵副硎居糜谧詣踊到y(tǒng)的命令、指令或控制字的任何數(shù)據(jù)。例如，控制信息可用于使媒體信息路由通過系統(tǒng)，或指示節(jié)點以預(yù)定方式處理該媒體信息。然而，各實施例不限于圖6中所示出的或所描述的上下文中的元件。
[0098]如前所述，系統(tǒng)600可表現(xiàn)為不同的物理樣式或形狀因數(shù)。圖8示出其中可體現(xiàn)系統(tǒng)600的小尺寸因數(shù)設(shè)備800的實現(xiàn)。在一些實施例中，例如設(shè)備800可被實現(xiàn)為具有無線能力的移動計算設(shè)備的一部分。移動計算設(shè)備可指具有處理系統(tǒng)以及移動電源或供電(諸如一個或多個電池)的任何設(shè)備。
[0099]如前所述，移動計算設(shè)備的例子可包括個人計算機(jī)(PC)、膝上計算機(jī)、超薄筆記本電腦、平板計算機(jī)、觸摸板、便攜式計算機(jī)、手持式計算機(jī)、掌上計算機(jī)、個人數(shù)字助理(PDA)、蜂窩電話、組合式蜂窩電話/PDA、電視機(jī)、智能設(shè)備(例如智能電話、智能平板計算機(jī)或智能電視機(jī))、移動互聯(lián)網(wǎng)設(shè)備(MID)、發(fā)消息設(shè)備、數(shù)據(jù)通信設(shè)備等。
[0100]移動計算設(shè)備的例子也可包括被配置成由人們佩戴的計算機(jī)，例如手腕式計算機(jī)、手指式計算機(jī)、戒指式計算機(jī)、眼鏡式計算機(jī)、皮帶夾計算機(jī)、腕帶式計算機(jī)、鞋式計算機(jī)、服飾式計算機(jī)以及其它可佩戴計算機(jī)。例如，在各實施例中，移動計算設(shè)備可以實現(xiàn)為能夠執(zhí)行計算機(jī)應(yīng)用程序以及語音通信和/或數(shù)據(jù)通信的智能電話。盡管已經(jīng)以實現(xiàn)為智能電話的移動計算設(shè)備為例描述了一些實施例，但可理解其他實施例也可利用其他無線移動計算設(shè)備來實現(xiàn)。這些實施例不限于這種背景。
[0101]如圖8所示，設(shè)備800可以包括外殼802、顯示器804、輸入/輸出(I/O)設(shè)備806，以及天線808。設(shè)備800還可以包括導(dǎo)航特征812。顯示器804可以包括用于顯示適合于移動計算設(shè)備的信息的任何合適的顯示單元。I/O設(shè)備806可以包括用于向移動計算設(shè)備中輸入信息的任何合適的I/O設(shè)備。I/O設(shè)備806的示例可以包括字母數(shù)字鍵盤、數(shù)字鍵區(qū)、觸摸板、輸入鍵、按鈕、開關(guān)、往復(fù)式開關(guān)、話筒、揚聲器、語音識別設(shè)備以及軟件等等。信息還可以通過話筒(未示出)輸入到設(shè)備800中。這樣的信息可以通過語音識別設(shè)備(未示出)來數(shù)字化。這些實施例不限于這種背景。
[0102]各個實施例可利用硬件部件、軟件部件或兩者的組合來實現(xiàn)。硬件部件的例子可包括處理器、微處理器、電路、電路元件(例如晶體管、電阻器、電容器、電感器等)、集成電路、專用集成電路(ASIC)、可編程邏輯器件(PLD)、數(shù)字信號處理器(DSP)、現(xiàn)場可編程門陣列(FPGA)、邏輯門、寄存器、半導(dǎo)體器件、芯片、微芯片、芯片集等等。軟件的示例可包括軟件組件、程序、應(yīng)用、計算機(jī)程序、應(yīng)用程序、系統(tǒng)程序、機(jī)器程序、操作系統(tǒng)軟件、中間件、固件、軟件模塊、例程、子例程、函數(shù)、方法、程序、軟件接口、應(yīng)用程序接口(API)、指令集、計算代碼、計算機(jī)代碼、代碼段、計算機(jī)代碼段、字、值、符號或它們的任意組合。判斷一個實施例是否使用硬件元件或軟件元件來實現(xiàn)可以根據(jù)任意數(shù)量的因素而不同，如所希望的計算速率、功率級別、耐熱性、處理周期預(yù)算、輸入數(shù)據(jù)速率、輸出數(shù)據(jù)速率、存儲器資源、數(shù)據(jù)總線速度，及其他設(shè)計或性能約束。
[0103]至少一個實施例的一個或多個方面可以由存儲在機(jī)器可讀介質(zhì)上的表征性指令來實現(xiàn)，該指令表示處理器中的各種邏輯，該指令在被機(jī)器讀取時使得該機(jī)器制作用于執(zhí)行本文所述的技術(shù)的邏輯。被稱為“IP核”的這樣的表示可以存儲在有形的機(jī)器可讀介質(zhì)中，并提供給各種客戶或生產(chǎn)設(shè)施，以加載到實際制造邏輯或處理器的制造機(jī)器中。
[0104]盡管參考各種實現(xiàn)描述了此處所闡述的某些特征，但是，此描述不旨在以限制性方式來解釋。因此，對本發(fā)明涉及的所屬【技術(shù)領(lǐng)域】的專業(yè)人員顯而易見的對此處所描述的實現(xiàn)的各種修改，以及其他實現(xiàn)被認(rèn)為在本發(fā)明的精神和范圍內(nèi)。
[0105]下列示例涉及進(jìn)一步的實施例。
[0106]在一個示例中，一種用于視頻譯碼的計算機(jī)實現(xiàn)的方法可以包括提取視頻畫面的感興趣區(qū)域模式，其中至少部分地基于與所述視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)和深度圖，提取所述感興趣區(qū)域模式。可以至少部分地基于所述所提取的感興趣區(qū)域模式，分區(qū)所述視頻畫面，其特征在于，所述經(jīng)分區(qū)的視頻畫面包括一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域?？梢宰g碼所述一個或多個感興趣區(qū)域和所述一個或多個不感興趣區(qū)域。
[0107]在另一個示例中，用于視頻譯碼的計算機(jī)實現(xiàn)的方法還可以包括提取感興趣區(qū)域模式，進(jìn)一步包括:至少部分地基于所述相機(jī)參數(shù)，確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點，確定與所述視頻畫面的一部分相關(guān)聯(lián)的檢查窗口，將位于所述檢查窗口外面的任何區(qū)域單元指定為所述感興趣區(qū)域模式的不感興趣區(qū)域，至少部分地基于所述相機(jī)焦點，確定焦點區(qū)域單元，至少部分地基于所述深度圖，確定所述焦點區(qū)域單元的特征焦點深度值，確定位于所述檢查窗口內(nèi)的單個區(qū)域單元的區(qū)域單元深度值，至少部分地基于所述確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將位于所述檢查窗口內(nèi)的任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域，以及，至少部分地基于所述確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域單元指定為屬于兩個或更多索引類型。所述視頻畫面的所述分區(qū)還可以包括:區(qū)分第一類型的區(qū)域單元和不同于所述第一類型的第二類型的區(qū)域單元，其中所述第一和第二類型的區(qū)域單元基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則，以及視圖級別準(zhǔn)則；以及，至少部分地基于下列準(zhǔn)則中的一個或多個，至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面:應(yīng)用分區(qū)對不應(yīng)用分區(qū)，應(yīng)用不同的區(qū)域單元大小，應(yīng)用不同的檢查窗口大小，以及應(yīng)用同所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較相關(guān)聯(lián)的不同的閾值；以及，其特征在于，在編碼期間，所述視頻畫面的所述分區(qū)包括至少部分地基于所述感興趣區(qū)域模式，將所述視頻畫面拆分為一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分；以及，其中在解碼期間，所述視頻畫面的所述分區(qū)包括從一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分組裝所述視頻畫面。在譯碼期間，通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，譯碼所述一個或多個不感興趣區(qū)域畫面部分，并且其中所述第二標(biāo)準(zhǔn)包括應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第一索引類型的第一子標(biāo)準(zhǔn)和應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二索引類型的第二子標(biāo)準(zhǔn)。所述第一標(biāo)準(zhǔn)、所述第二標(biāo)準(zhǔn)、所述第一子標(biāo)準(zhǔn)和/或所述第二子標(biāo)準(zhǔn)至少部分地基于下列準(zhǔn)則中的一個或多個而不同:不同的譯碼工具、不同的約束，以及不同的譯碼策略；其中所述不同的譯碼工具至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將無損對有損譯碼應(yīng)用到不同的區(qū)域，將整數(shù)運動補償對分?jǐn)?shù)運動補償應(yīng)用到不同的區(qū)域；其中所述不同的約束至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將不同的參考畫面數(shù)量限制應(yīng)用到不同的區(qū)域，將不同的預(yù)測和變換大小應(yīng)用到不同的區(qū)域；并且其中所述不同的譯碼策略至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將用于運動估計的不同的搜索范圍應(yīng)用到不同的區(qū)域，將不同的量化參數(shù)應(yīng)用到不同的區(qū)域。
[0108]在其他示例中，一種用于在計算機(jī)上進(jìn)行視頻譯碼的系統(tǒng)可以包括顯示設(shè)備、一個或多個處理器、一個或多個存儲器存儲、感興趣區(qū)域提取邏輯模塊、畫面感興趣區(qū)域分區(qū)邏輯模塊等等，和/或其組合。顯示設(shè)備可以被配置成呈現(xiàn)視頻數(shù)據(jù)。一個或多個處理器可以通信地耦合到顯示設(shè)備。感興趣區(qū)域提取邏輯模塊可以通信地耦合到一個或多個處理器。感興趣區(qū)域提取邏輯模塊可以被配置成提取視頻畫面的感興趣區(qū)域模式，其中至少部分地基于與所述視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)和深度圖，提取所述感興趣區(qū)域模式。畫面感興趣區(qū)域分區(qū)邏輯模塊可以通信地耦合到感興趣區(qū)域提取邏輯模塊。畫面感興趣區(qū)域分區(qū)邏輯模塊可以被配置成至少部分地基于所述所提取的感興趣區(qū)域模式，分區(qū)所述視頻畫面，其中所述經(jīng)分區(qū)的視頻畫面包括一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域。譯碼器可以通信地耦合到畫面感興趣區(qū)域分區(qū)邏輯模塊。譯碼器可以被配置成譯碼一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域。
[0109]在另一個示例中，一種用于在計算機(jī)上進(jìn)行視頻譯碼的系統(tǒng)，其中感興趣區(qū)域模式邏輯模塊的提取可以進(jìn)一步被配置成:至少部分地基于所述相機(jī)參數(shù)，確定相機(jī)焦點；至少部分地基于所述相機(jī)焦點來確定與所述視頻畫面的一部分相關(guān)聯(lián)的檢查窗口 ；將位于所述檢查窗口外面的任何區(qū)域單元指定為所述感興趣區(qū)域模式的不感興趣的區(qū)域；至少部分地基于所述相機(jī)焦點，確定焦點區(qū)域單元；至少部分地基于所述深度圖來確定所述焦點區(qū)域單元的特征焦點深度值；確定位于所述檢查窗口內(nèi)的單個區(qū)域單元的區(qū)域單元深度值；至少部分地基于所述確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將位于所述檢查窗口內(nèi)的任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域，以及，至少部分地基于所述確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域單元指定為屬于兩個或更多個索引類型。畫面感興趣區(qū)域分區(qū)邏輯模塊可以進(jìn)一步被配置成:區(qū)分第一類型的區(qū)域單元和不同于所述第一類型的第二類型的區(qū)域單元，其中所述第一和第二類型的區(qū)域單元基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則，以及視圖級別準(zhǔn)則；以及，至少部分地基于下列準(zhǔn)則中的一個或多個，至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面:應(yīng)用分區(qū)對不應(yīng)用分區(qū)，應(yīng)用不同的區(qū)域單元大小，應(yīng)用不同的檢查窗口大小，以及應(yīng)用同所述確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較相關(guān)聯(lián)的不同的閾值；以及，在編碼期間，所述視頻畫面的所述分區(qū)包括至少部分地基于所述感興趣區(qū)域模式，將所述視頻畫面拆分為一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分；并且其中在解碼期間，所述視頻畫面的所述分區(qū)包括從一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分組裝所述視頻畫面。在譯碼期間，通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，編碼所述一個或多個不感興趣區(qū)域畫面部分，并且其中所述第二標(biāo)準(zhǔn)包括應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第一索引類型的第一子標(biāo)準(zhǔn)和應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二索引類型的第二子標(biāo)準(zhǔn)。所述第一標(biāo)準(zhǔn)、所述第二標(biāo)準(zhǔn)、所述第一子標(biāo)準(zhǔn)和/或所述第二子標(biāo)準(zhǔn)至少部分地基于下列準(zhǔn)則中的一個或多個而不同:不同的譯碼工具、不同的約束，以及不同的譯碼策略；其特征在于，所述不同的編碼工具至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將無損對有損譯碼應(yīng)用到不同的區(qū)域，將整數(shù)運動補償對分?jǐn)?shù)運動補償應(yīng)用到不同的區(qū)域；其特征在于，所述不同的約束至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將不同的參考畫面數(shù)量限制應(yīng)用到不同的區(qū)域，將不同的預(yù)測和變換大小應(yīng)用到不同的區(qū)域；并且其中所述不同的編碼策略至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將用于運動估計的不同的搜索范圍應(yīng)用到不同的區(qū)域，將不同的量化參數(shù)應(yīng)用到不同的區(qū)域。
[0110]在另一個示例中，至少一個機(jī)器可讀介質(zhì)可以包括多個指令，響應(yīng)于在計算設(shè)備上被執(zhí)行，所述指令導(dǎo)致所述計算設(shè)備執(zhí)行根據(jù)上述示例中任一項所述的方法。
[0111]在更進(jìn)一步的示例中，設(shè)備可以包括用于執(zhí)行根據(jù)上述示例中的任何一個所述的方法的裝置。
[0112]上述示例可以包括特征的特定的組合。然而，這樣的上述示例在這方面不受限制，在各實現(xiàn)中，上述示例可以包括只執(zhí)行這樣的特征的子集，執(zhí)行這樣的特征的不同的順序，執(zhí)行這樣的特征的不同的組合，和/或執(zhí)行顯式地列出的那些特征之外的附加特征。例如，參考示例方法所描述的所有特征可以相對于示例設(shè)備、示例系統(tǒng)，和/或示例物品來實現(xiàn)，反之亦然。
【權(quán)利要求】
1.一種用于視頻譯碼的計算機(jī)實現(xiàn)的方法，包括: 提取視頻畫面的感興趣區(qū)域模式，其中至少部分地基于與所述視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)和深度圖，提取所述感興趣區(qū)域模式； 至少部分地基于所提取的感興趣區(qū)域模式，分區(qū)所述視頻畫面，其中所述經(jīng)分區(qū)的視頻畫面包括一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域；以及譯碼所述一個或多個感興趣區(qū)域以及所述一個或多個不感興趣區(qū)域。
2.如權(quán)利要求1所述的方法，其特征在于，所述預(yù)測單元的所述譯碼包括3D解碼。
3.如權(quán)利要求1所述的方法，其特征在于，在編碼期間，對所述視頻畫面的所述分區(qū)包括將所述視頻畫面拆分為一個或多個感興趣區(qū)域畫面部分以及一個或多個不感興趣區(qū)域畫面部分。
4.如權(quán)利要求1所述的方法，其特征在于，在編碼期間，對所述視頻畫面的所述分區(qū)包括從一個或多個感興趣區(qū)域畫面部分以及一個或多個不感興趣區(qū)域畫面部分組裝所述視頻畫面。
5.如權(quán)利要求1所述的方法，其特征在于，所述感興趣區(qū)域模式的所述提取還包括: 至少部分地基于所述相機(jī)參數(shù)，確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點，確定與所述視頻畫面的一部分相關(guān)聯(lián)的檢查窗口，以及 將位于所述檢查窗口外面的任何區(qū)域單元指定為所述感興趣區(qū)域模式的不感興趣區(qū)域。
6.如權(quán)利要求1所述的方法，其特征在于，所述感興趣區(qū)域模式的所述提取還包括: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點確定焦點區(qū)域單元，至少部分地基于所述深度圖確定焦點區(qū)域單元的特征焦點深度值， 確定個體區(qū)域單元的區(qū)域單元深度值，以及至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域。
7.如權(quán)利要求1所述的方法，其特征在于，所述感興趣區(qū)域模式的所述提取還包括: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點確定焦點區(qū)域單元，至少部分地基于所述深度圖，確定焦點區(qū)域單元的特征焦點深度值， 確定個體區(qū)域單元的區(qū)域單元深度值，至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域，以及 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域區(qū)域單元指定為屬于兩個或更多索引類型。
8.如權(quán)利要求1所述的方法，其特征在于，所述感興趣區(qū)域模式的所述提取還包括: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點，確定與所述視頻畫面的一部分相關(guān)聯(lián)的檢查窗口， 將位于所述檢查窗口外面的任何區(qū)域單元指定為所述感興趣區(qū)域模式的不感興趣的區(qū)域， 至少部分地基于所述相機(jī)焦點確定焦點區(qū)域單元，至少部分地基于所述深度圖確定焦點區(qū)域單元的特征焦點深度值， 確定位于所述檢查窗口內(nèi)的個體區(qū)域單元的區(qū)域單元深度值， 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將位于所述檢查窗口內(nèi)的任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域，以及 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域區(qū)域單元指定為屬于兩個或更多個索引類型。
9.如權(quán)利要求1所述的方法，其特征在于，在譯碼期間，通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，來譯碼所述一個或多個不感興趣區(qū)域畫面部分。
10.如權(quán)利要求1所述的方法，其特征在于，在譯碼期間，通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，來譯碼所述一個或多個不感興趣區(qū)域畫面部分，并且其中所述第二標(biāo)準(zhǔn)包括應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第一索引類型的第一子標(biāo)準(zhǔn)和應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二索引類型的第二子標(biāo)準(zhǔn)；以及 其中所述第一標(biāo)準(zhǔn)、所述第二標(biāo)準(zhǔn)、所述第一子標(biāo)準(zhǔn)和/或所述第二子標(biāo)準(zhǔn)至少部分地基于下列準(zhǔn)則中的一個或多個而不同:不同的譯碼工具、不同的約束，以及不同的譯碼策略；其中所述不同的譯碼工具至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將無損對有損譯碼應(yīng)用到不同的區(qū)域，以及將整數(shù)運動補償對分?jǐn)?shù)運動補償應(yīng)用到不同的區(qū)域；其中所述不同的約束至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將不同的參考畫面數(shù)量限制應(yīng)用到不同的區(qū)域，以及將不同的預(yù)測和變換大小應(yīng)用到不同的區(qū)域；以及，其中所述不同的譯碼策略至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將用于運動估計的不同的搜索范圍應(yīng)用到不同的區(qū)域，以及將不同的量化參數(shù)應(yīng)用到不同的區(qū)域。
11.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括: 區(qū)分第一類型的區(qū)域單元和不同于所述第一類型的第二類型的區(qū)域單元，其中所述第一和第二類型的區(qū)域單元基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則，以及視圖級別準(zhǔn)則；以及 至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面。
12.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括: 區(qū)分第一類型的區(qū)域單元和不同于所述第一類型的第二類型的區(qū)域單元，其中所述第一和第二類型的區(qū)域單元基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則，以及視圖級別準(zhǔn)則；以及 至少部分地基于下列準(zhǔn)則中的一個或多個，至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面:應(yīng)用分區(qū)對不應(yīng)用分區(qū)，應(yīng)用不同的區(qū)域單元大小，應(yīng)用不同的檢查窗口大小，以及應(yīng)用同所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較相關(guān)聯(lián)的不同的閾值。
13.如權(quán)利要求1所述的方法，其特征在于，進(jìn)一步包括: 其中所述感興趣區(qū)域模式的所述提取還包括: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點， 至少部分地基于所述相機(jī)焦點確定與所述視頻畫面的一部分相關(guān)聯(lián)的檢查窗口， 將位于所述檢查窗口外面的任何區(qū)域單元指定為所述感興趣區(qū)域模式的不感興趣區(qū)域， 至少部分地基于所述相機(jī)焦點確定焦點區(qū)域單元， 至少部分地基于所述深度圖確定所述焦點區(qū)域單元的特征焦點深度值， 確定位于所述檢查窗口內(nèi)的個體區(qū)域單元的區(qū)域單元深度值， 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將位于所述檢查窗口內(nèi)的任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域，以及 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域區(qū)域單元指定為屬于兩個或更多個索引類型；其中所述視頻畫面的所述分區(qū)還包括: 區(qū)分第一類型的區(qū)域單元和不同于所述第一類型的第二類型的區(qū)域單元，其中所述第一和第二類型的區(qū)域單元基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則，以及視圖級別準(zhǔn)則， 至少部分地基于下列準(zhǔn)則中的一個或多個，至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面:應(yīng)用分區(qū)對不應(yīng)用分區(qū)，應(yīng)用不同的區(qū)域單元大小，應(yīng)用不同的檢查窗口大小，以及應(yīng)用同所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較相關(guān)聯(lián)的不同的閾值，以及 其中在編碼期間，所述視頻畫面的所述分區(qū)包括至少部分地基于所述感興趣區(qū)域模式，將所述視頻畫面拆分為一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分；以及其中在解碼期間，所述視頻畫面的所述分區(qū)包括從一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分組裝所述視頻畫面； 其中在譯碼期間，通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，來譯碼所述一個或多個不感興趣區(qū)域畫面部分，以及，其中所述第二標(biāo)準(zhǔn)包括應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第一索引類型的第一子標(biāo)準(zhǔn)和應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二索引類型的第二子標(biāo)準(zhǔn)；其中所述第一標(biāo)準(zhǔn)、所述第二標(biāo)準(zhǔn)、所述第一子標(biāo)準(zhǔn)和/或所述第二子標(biāo)準(zhǔn)至少部分地基于下列準(zhǔn)則中的一個或多個而不同:不同的譯碼工具、不同的約束，以及不同的譯碼策略；其中所述不同的譯碼工具至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將無損對有損譯碼應(yīng)用到不同的區(qū)域，以及將整數(shù)運動補償對分?jǐn)?shù)運動補償應(yīng)用到不同的區(qū)域；其中所述不同的約束至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將不同的參考畫面數(shù)量限制應(yīng)用到不同的區(qū)域，以及將不同的預(yù)測和變換大小應(yīng)用到不同的區(qū)域；以及，其中所述不同的譯碼策略至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將用于運動估計的不同的搜索范圍應(yīng)用到不同的區(qū)域，以及將不同的量化參數(shù)應(yīng)用到不同的區(qū)域。
14.一種用于在計算機(jī)上進(jìn)行視頻譯碼的系統(tǒng)，包括: 被配置成呈現(xiàn)視頻數(shù)據(jù)的顯示設(shè)備； 通信地耦合到所述顯示設(shè)備的一個或多個處理器； 通信地耦合到所述一個或多個處理器的一個或多個存儲器存儲； 感興趣區(qū)域提取邏輯模塊，其通信地耦合到所述一個或多個處理器并被配置成提取視頻畫面的感興趣區(qū)域模式，其中至少部分地基于與所述視頻畫面相關(guān)聯(lián)的一個或多個相機(jī)參數(shù)和深度圖，提取所述感興趣區(qū)域模式； 畫面感興趣區(qū)域分區(qū)邏輯模塊，其通信地耦合到所述感興趣區(qū)域提取邏輯模塊并被配置成至少部分地基于所提取的感興趣區(qū)域模式來分區(qū)視頻畫面，其中所述經(jīng)分區(qū)的視頻畫面包括一個或多個感興趣區(qū)域和一個或多個不感興趣區(qū)域；以及 譯碼器，其通信地耦合到所述畫面感興趣區(qū)域分區(qū)邏輯模塊并被配置成譯碼所述一個或多個感興趣區(qū)域和所述一個或多個不感興趣區(qū)域。
15.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述譯碼器包括3D解碼器。
16.如權(quán)利要求14所述的系統(tǒng)，其特征在于，在編碼期間，對所述視頻畫面的所述分區(qū)包括將所述視頻畫面拆分為一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分。
17.如權(quán)利要求14所述的系統(tǒng)，其特征在于，在編碼期間，對所述視頻畫面的所述分區(qū)包括從一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分組裝所述視頻畫面。
18.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述感興趣區(qū)域提取邏輯模塊進(jìn)一步被配置成: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點，確定與所述視頻畫面的一部分相關(guān)聯(lián)的檢查窗口，以及 將位于所述檢查窗口外面的任何區(qū)域單元指定為所述感興趣區(qū)域模式的不感興趣區(qū)域。
19.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述感興趣區(qū)域提取邏輯模塊進(jìn)一步被配置成: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點確定焦點區(qū)域單元，至少部分地基于所述深度圖，確定焦點區(qū)域單元的特征焦點深度值， 確定個體區(qū)域單元的區(qū)域單元深度值，至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域。
20.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述感興趣區(qū)域提取邏輯模塊進(jìn)一步被配置成: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點確定焦點區(qū)域單元，至少部分地基于所述深度圖確定焦點區(qū)域單元的特征焦點深度值， 確定個體區(qū)域單元的區(qū)域單元深度值，至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域，以及 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域區(qū)域單元指定為屬于兩個或更多個索引類型。
21.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述感興趣區(qū)域提取邏輯模塊進(jìn)一步被配置成: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點，至少部分地基于所述相機(jī)焦點確定與所述視頻畫面的一部分相關(guān)聯(lián)的檢查窗口， 將位于所述檢查窗口外面的任何區(qū)域單元指定為所述感興趣區(qū)域模式的不感興趣區(qū)域， 至少部分地基于所述相機(jī)焦點確定焦點區(qū)域單元，至少部分地基于所述深度圖確定焦點區(qū)域單元的特征焦點深度值， 確定位于所述檢查窗口內(nèi)的個體區(qū)域單元的區(qū)域單元深度值， 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將位于所述檢查窗口內(nèi)的任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域，以及 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域區(qū)域單元指定為屬于兩個或更多個索引類型。
22.如權(quán)利要求14所述的系統(tǒng)，其特征在于，在譯碼期間，通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，來譯碼所述一個或多個不感興趣區(qū)域畫面部分。
23.如權(quán)利要求14所述的系統(tǒng)，其特征在于，在譯碼期間，通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，來譯碼所述一個或多個不感興趣區(qū)域畫面部分，并且其中所述第二標(biāo)準(zhǔn)包括應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第一索引類型的第一子標(biāo)準(zhǔn)和應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二索引類型的第二子標(biāo)準(zhǔn)；以及 其中所述第一標(biāo)準(zhǔn)、所述第二標(biāo)準(zhǔn)、所述第一子標(biāo)準(zhǔn)和/或所述第二子標(biāo)準(zhǔn)至少部分地基于下列準(zhǔn)則中的一個或多個而不同:不同的譯碼工具、不同的約束，以及不同的譯碼策略；其中所述不同的編碼工具至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將無損對有損譯碼應(yīng)用到不同的區(qū)域，以及將整數(shù)運動補償對分?jǐn)?shù)運動補償應(yīng)用到不同的區(qū)域；其中所述不同的約束至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將不同的參考畫面數(shù)量限制應(yīng)用到不同的區(qū)域，以及將不同的預(yù)測和變換大小應(yīng)用到不同的區(qū)域；并且其中所述不同的譯碼策略至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將用于運動估計的不同的搜索范圍應(yīng)用到不同的區(qū)域，以及將不同的量化參數(shù)應(yīng)用到不同的區(qū)域。
24.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述畫面感興趣區(qū)域分區(qū)邏輯模塊進(jìn)一步被配置成: 區(qū)分第一類型的區(qū)域單元和不同于所述第一類型的第二類型的區(qū)域單元，其中所述第一和第二類型的區(qū)域單元基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則，以及視圖級別準(zhǔn)則；以及 至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面。
25.如權(quán)利要求14所述的系統(tǒng)，其特征在于，所述畫面感興趣區(qū)域分區(qū)邏輯模塊進(jìn)一步被配置成: 區(qū)分第一類型的區(qū)域單元和不同于所述第一類型的第二類型的區(qū)域單元，其中所述第一和第二類型的區(qū)域單元基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則，以及視圖級別準(zhǔn)則；以及 至少部分地基于下列準(zhǔn)則中的一個或多個，至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面:應(yīng)用分區(qū)對不應(yīng)用分區(qū)，應(yīng)用不同的區(qū)域單元大小，應(yīng)用不同的檢查窗口大小，以及應(yīng)用同所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較相關(guān)聯(lián)的不同的閾值。
26.如權(quán)利要求14所述的系統(tǒng)，其特征在于，進(jìn)一步包括: 其中所述感興趣區(qū)域模式邏輯模塊的所述提取進(jìn)一步被配置成: 至少部分地基于所述相機(jī)參數(shù)確定相機(jī)焦點， 至少部分地基于所述相機(jī)焦點確定與所述視頻畫面的一部分相關(guān)聯(lián)的檢查窗口， 將位于所述檢查窗口外面的任何區(qū)域單元指定為所述感興趣區(qū)域模式的不感興趣區(qū)域， 至少部分地基于所述相機(jī)焦點確定焦點區(qū)域單元， 至少部分地基于所述深度圖確定所述焦點區(qū)域單元的特征焦點深度值， 確定位于所述檢查窗口內(nèi)的個體區(qū)域單元的區(qū)域單元深度值， 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的比較，將位于所述檢查窗口內(nèi)的任何區(qū)域單元指定為所述感興趣區(qū)域模式的感興趣區(qū)域或不感興趣區(qū)域，以及 至少部分地基于所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較，進(jìn)一步將所述感興趣區(qū)域模式的感興趣區(qū)域區(qū)域單元指定為屬于兩個或更多個索引類型； 其中所述畫面感興趣區(qū)域分區(qū)邏輯模塊進(jìn)一步被配置成: 區(qū)分第一類型的區(qū)域單元和不同于所述第一類型的第二類型的區(qū)域單元，其中所述第一和第二類型的區(qū)域單元基于下列準(zhǔn)則中的一個或多個而不同:切片級別準(zhǔn)則、畫面級別準(zhǔn)則，以及視圖級別準(zhǔn)則， 至少部分地基于下列準(zhǔn)則中的一個或多個，至少部分地基于區(qū)域單元的所述類型，選擇性地分區(qū)所述視頻畫面:應(yīng)用分區(qū)對不應(yīng)用分區(qū)，應(yīng)用不同的區(qū)域單元大小，應(yīng)用不同的檢查窗口大小，以及應(yīng)用同所確定的區(qū)域單元深度值與所述特征焦點深度值的所述比較相關(guān)聯(lián)的不同的閾值，以及，其中在編碼期間，所述視頻畫面的所述分區(qū)包括至少部分地基于所述感興趣區(qū)域模式，將所述視頻畫面拆分為一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分；并且其中在解碼期間，所述視頻畫面的所述分區(qū)包括從一個或多個感興趣區(qū)域畫面部分和一個或多個不感興趣區(qū)域畫面部分組裝所述視頻畫向； 其中在譯碼期間，通過與應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二標(biāo)準(zhǔn)不同的第一標(biāo)準(zhǔn)，來譯碼所述一個或多個不感興趣區(qū)域畫面部分，并且其中所述第二標(biāo)準(zhǔn)包括應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第一索引類型的第一子標(biāo)準(zhǔn)和應(yīng)用于所述一個或多個感興趣區(qū)域畫面部分的第二索引類型的第二子標(biāo)準(zhǔn)；并且 其中所述第一標(biāo)準(zhǔn)、所述第二標(biāo)準(zhǔn)、所述第一子標(biāo)準(zhǔn)和/或所述第二子標(biāo)準(zhǔn)至少部分地基于下列準(zhǔn)則中的一個或多個而不同:不同的譯碼工具、不同的約束，以及不同的譯碼策略；其中所述不同的編碼工具至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將無損對有損譯碼應(yīng)用到不同的區(qū)域，將整數(shù)運動補償對分?jǐn)?shù)運動補償應(yīng)用到不同的區(qū)域；其中所述不同的約束至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將不同的參考畫面數(shù)量限制應(yīng)用到不同的區(qū)域，以及將不同的預(yù)測和變換大小應(yīng)用到不同的區(qū)域；并且其中所述不同的編碼策略至少部分地基于下列準(zhǔn)則中的一個或多個而不同:將用于運動估計的不同的搜索范圍應(yīng)用到不同的區(qū)域，以及將不同的量化參數(shù)應(yīng)用到不同的區(qū)域。
27.至少一個機(jī)器可讀介質(zhì)，包括: 多個指令，響應(yīng)于在計算設(shè)備上執(zhí)行，所述多個指令導(dǎo)致所述計算設(shè)備執(zhí)行如權(quán)利要求1-13中的任一項所述的方法。
28.—種設(shè)備,包括: 用于執(zhí)行如權(quán)利要求1-13中的任一項所述的方法的裝置。
【文檔編號】H04N13/00GK104335588SQ201280073710
【公開日】2015年2月4日 申請日期:2012年7月4日 優(yōu)先權(quán)日:2012年7月4日
【發(fā)明者】張文豪, 邱怡仁, 徐理東, 韓鈺, 鄧智玭, 蔡曉霞 申請人:英特爾公司