專利名稱：一種確定多視點視頻編碼最佳模式進行編碼的方法
技術(shù)領(lǐng)域：
本發(fā)明涉及立體視頻處理與通訊領(lǐng)域，具體涉及確定多視點視頻編碼最佳模式進行編碼的方法。
背景技術(shù)：
立體視頻以其更豐富的內(nèi)容，更真實的視覺體驗，正不斷在人們的日常生活中得以應(yīng)用，但是由于立體視頻含有比普通視頻更多的信息量，基本表現(xiàn)為立體視頻通常都含有兩路或以上的視頻序列，因而占用更多的存儲及傳輸空間。近年來，隨著各種立體視頻技術(shù)的發(fā)展，人們已不滿足于簡單的雙目視頻帶來的立體感受，對觀看立體視頻的自由度的需求也日益增強，相應(yīng)的應(yīng)用也日益廣泛，例如，自由視點視頻，3D電視等，這些應(yīng)用的關(guān)鍵技術(shù)就是多視點視頻。多視點視頻包含多個位置不同的攝像機同時拍攝的多路視頻序列，由于攝像機數(shù)目的增加，多視點視頻序列包含的信息量較之普通立體視頻更大，因此使它的進一步應(yīng)用收到了極大的限制，例如廣播，流媒體服務(wù)等。鑒于此，如何有效地壓縮多視點視頻序列而又能保證它的質(zhì)量成為亟待解決的難題。多視點視頻編碼(multiview video coding)技術(shù)正是用來解決這一難題，而且也有了一定的發(fā)展，多視點視頻編碼不僅具有類似普通視頻的時域冗余性，同時由于其拍攝相機之間通常只有極小的的固定位移，到時其拍攝出來的多路視頻序列之間也具有很強的空間相關(guān)性。在視頻編碼過程中除了利用運動估計降低時域冗余，同時引入視點間的視差估計來降低空間冗余，但是這樣卻帶來了極大地運算復(fù)雜度，雖然壓縮效率提高，但編碼時間也過長，限制了多視點編碼的應(yīng)用。為了降低多視點視頻序列的編碼復(fù)雜程度，目前已經(jīng)有很多相關(guān)的研究，通?？梢栽谝韵氯齻€方面做優(yōu)化工作，第一，構(gòu)造合適的參考幀結(jié)構(gòu)，提高編碼效率；第二，在基于塊匹配的模式?jīng)Q策方面，通過準(zhǔn)確的預(yù)測當(dāng)前塊的模式進而降低運算復(fù)雜度；第三，更優(yōu)化的塊匹配算法，通過準(zhǔn)確的預(yù)測運動或視差向量，減小搜索范圍以降低運算量。以上三個方面，對于視差結(jié)構(gòu)，分層的B幀預(yù)測結(jié)構(gòu)(HBP)已經(jīng)得到廣泛的應(yīng)用， 多視點視頻編碼平臺JMVC中采用的就是這種預(yù)測結(jié)構(gòu)。多視點編碼方案中采用多種編碼模式，以權(quán)衡編碼復(fù)雜度和壓縮效率兩方面的要求，在多視點編碼方案中定義了 8中幀間預(yù)測模式(SKIP，Inter 16 X 16，Inter 16 X 8，Inter 8 X 16，Inter 8X8，Inter 8 X 4, Inter 4 X 8，和 Inter 4X4)，9 種幀內(nèi)編碼模式antra 4 X 4, Intra 8X8，和四種htra 16 X 16)，編碼中依次計算各種編碼模式的率失真代價(rate-distortion cost (RDcost))，選擇最小的率失真代價(RDcost)對應(yīng)的編碼模式作為最佳的編碼模式。這種方式能夠最大程度的提高編碼效率，但運算復(fù)雜度極高，限制了多視點視頻編碼在實際應(yīng)用中的發(fā)展。為了在不降低編碼效率的同時盡量的降低編碼復(fù)雜度，相關(guān)研究者已經(jīng)提出模式預(yù)測的方法，即在計算各種可能的編碼模式的率失真代價之前，自適應(yīng)的選擇當(dāng)前編碼塊最可能的最佳編碼模式。這就需要對編碼模式的準(zhǔn)確預(yù)測，但總的來說，由于真實場景的復(fù)雜性，無論是簡單的基于時域相關(guān)性，空間相關(guān)性，視點間相關(guān)性，或者綜合的考慮時空相關(guān)性，都不能得到一個對場景變化具有魯棒性的模式預(yù)測方案。同時對于視頻中各種對象交界區(qū)域，模式的選擇更為困難。因此，得到的模式預(yù)測精度也極其有限，在一定程度上仍然未滿足進一步降低多視點編碼的運算量的需求，如何得到更準(zhǔn)確地預(yù)測編碼中模式的選擇范圍是一個亟待解決的問題。對于視差估計，采用基于塊匹配的算法，通常在較大的搜索區(qū)域可以得到更準(zhǔn)確的匹配結(jié)果，但是對于視差較小的區(qū)域，過大的搜索區(qū)域則會增加運算復(fù)雜度，如何自適應(yīng)的調(diào)整搜索區(qū)域，使得在保證視差估計精度的同時盡量降低運算復(fù)雜度成為多視點編碼中另一個關(guān)鍵優(yōu)化方向。

發(fā)明內(nèi)容
為了保證編碼效率的同時降低編碼復(fù)雜度，本發(fā)明提供了一種確定多視點視頻編碼最佳模式進行編碼的方法。確定多視點視頻編碼最佳模式進行編碼的方法，包括如下步驟 Al、根據(jù)編碼復(fù)雜程度對各種多視點編碼模式設(shè)置不同的復(fù)雜度值；
A2、以參考宏塊的復(fù)雜度值根據(jù)同一視點時域相關(guān)性計算當(dāng)前宏塊的編碼模式的復(fù)雜度值的第一數(shù)值，該復(fù)雜度值作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的的第一上限值；
A3、以參考宏塊的復(fù)雜度值根據(jù)視點間相關(guān)性計算當(dāng)前宏塊的編碼模式的復(fù)雜度值的第二數(shù)值，該復(fù)雜度值作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的的第二上限值；
A4、以參考宏塊的復(fù)雜度值根據(jù)當(dāng)前幀的幀內(nèi)相關(guān)性計算當(dāng)前宏塊的編碼模式的復(fù)雜度值的第三數(shù)值，該復(fù)雜度值作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的的第三上限值；
A5、若第一上限值與第二上限值差的絕對值小于閾值，則根據(jù)第一上限值、第二上限值與第三上限值之和確定當(dāng)前宏塊的編碼模式的復(fù)雜度值，作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度值的上限值；若第一上限值與第二上限值差的絕對值大于閾值，且第一上限值與第三上限制差的絕對值小于第二上限值與第三上限值差的絕對值，則根據(jù)第一上限值和第三上限值之和確定當(dāng)前宏塊的編碼模式的復(fù)雜度值，作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的上限值；若第一上限值與第二上限值差的絕對值大于閾值，且第一上限值與第三上限值差的絕對值大于第二上限值與第三上限值差的絕對值，則根據(jù)第二上限值與第三上限值之和確定當(dāng)前宏塊的編碼模式的復(fù)雜度值，作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的上限值；
A6、在復(fù)雜度值小于步驟A5確定的上限值的所有編碼模式中，選擇率失真率最小的編碼模式對當(dāng)前宏塊進行編碼。優(yōu)選地，所述步驟A5中，若第一上限值與第二上限值差的絕對值小于閾值，則根據(jù)第一上限值、第二上限值與第三上限值之和的三分之一作為當(dāng)前宏塊的編碼模式的復(fù)雜度值，即當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的上限值。優(yōu)選地，所述步驟A5中，若第一上限值與第二上限值差的絕對值大于閾值，且第一上限值與第三上限制差的絕對值小于第二上限值與第三上限值差的絕對值，則根據(jù)第一上限值和第三上限值之和的二分之一作為當(dāng)前宏塊的編碼模式的復(fù)雜度值，即當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的上限值。優(yōu)選地，所述步驟Α5中，若第一上限值與第二上限值差的絕對值大于閾值，且第一上限值與第三上限值差的絕對值大于第二上限值與第三上限值差的絕對值，則根據(jù)第二上限值與第三上限值之和的二分之一作為當(dāng)前宏塊的編碼模式的復(fù)雜度值，即當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的上限值。優(yōu)選地，第一數(shù)值ma通過如下算法得到
權(quán)利要求
1.確定多視點視頻編碼最佳模式進行編碼的方法，其特征是包括如下步驟Al、根據(jù)編碼復(fù)雜程度對各種多視點編碼模式設(shè)置不同的復(fù)雜度值；A2、以參考宏塊的復(fù)雜度值根據(jù)同一視點時域相關(guān)性計算當(dāng)前宏塊的編碼模式的復(fù)雜度值的第一數(shù)值，該復(fù)雜度值作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的的第一上限值；A3、以參考宏塊的復(fù)雜度值根據(jù)視點間相關(guān)性計算當(dāng)前宏塊的編碼模式的復(fù)雜度值的第二數(shù)值，該復(fù)雜度值作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的的第二上限值；A4、以參考宏塊的復(fù)雜度值根據(jù)當(dāng)前幀的幀內(nèi)相關(guān)性計算當(dāng)前宏塊的編碼模式的復(fù)雜度值的第三數(shù)值，該復(fù)雜度值作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的第三上限值；A5、若第一上限值與第二上限值差的絕對值小于閾值，則根據(jù)第一上限值、第二上限值與第三上限值之和確定當(dāng)前宏塊的編碼模式的復(fù)雜度值，作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的上限值；若第一上限值與第二上限值差的絕對值大于閾值，且第一上限值與第三上限制差的絕對值小于第二上限值與第三上限值差的絕對值，則根據(jù)第一上限值和第三上限值之和確定當(dāng)前宏塊的編碼模式的復(fù)雜度值，作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的上限值；若第一上限值與第二上限值差的絕對值大于閾值，且第一上限值與第三上限值差的絕對值大于第二上限值與第三上限值差的絕對值，則根據(jù)第二上限值與第三上限值之和確定當(dāng)前宏塊的編碼模式的復(fù)雜度值，作為當(dāng)前宏塊待選取編碼模式對應(yīng)復(fù)雜度的上限值；A6、在復(fù)雜度值小于步驟A5確定的上限值的所有編碼模式中，選擇率失真率最小的編碼模式對當(dāng)前宏塊進行編碼。
2.如權(quán)利要求1所述的確定多視點視頻編碼最佳模式進行編碼的方法，其特征是所述步驟A5中，若第一上限值與第二上限值差的絕對值小于閾值，則根據(jù)第一上限值、第二上限值與第三上限值之和的三分之一作為當(dāng)前宏塊待選擇編碼模式的復(fù)雜度值的上限值。
3.如權(quán)利要求1所述的確定多視點視頻編碼最佳模式進行編碼的方法，其特征是所述步驟A5中，若第一上限值與第二上限值差的絕對值大于閾值，且第一上限值與第三上限制差的絕對值小于第二上限值與第三上限值差的絕對值，則根據(jù)第一上限值和第三上限值之和的二分之一作為當(dāng)前宏塊待選擇編碼模式的復(fù)雜度值的上限值。
4.如權(quán)利要求1所述的確定多視點視頻編碼最佳模式進行編碼的方法，其特征是所述步驟A5中，若第一上限值與第二上限值差的絕對值大于閾值，且第一上限值與第三上限值差的絕對值大于第二上限值與第三上限值差的絕對值，則根據(jù)第二上限值與第三上限值之和的二分之一作為當(dāng)前宏塊待選擇編碼模式的復(fù)雜度值的上限值。
5.如權(quán)利要求1所述的確定多視點視頻編碼最佳模式進行編碼的方法，其特征是第一數(shù)值ma通過如下算法得到
6.如權(quán)利要求1所述的確定多視點視頻編碼最佳模式進行編碼的方法，其特征是所述第二數(shù)值mb通過以下算法得到
7.如權(quán)利要求1所述的確定多視點視頻編碼最佳模式進行編碼的方法，其特征是所述第三數(shù)值mc通過以下算法得到
8.如權(quán)利要求1所述的確定多視點視頻編碼最佳模式進行編碼的方法，其特征是若經(jīng)過步驟A5確定的當(dāng)前宏塊待選擇編碼模式的復(fù)雜度值的上限值與當(dāng)前宏塊的右側(cè)相鄰宏塊的復(fù)雜度值的上限值之差的絕對值大于設(shè)定值，則將當(dāng)前宏塊待選擇編碼模式的復(fù)雜度值上限值設(shè)置為當(dāng)前宏塊待選擇編碼模式的復(fù)雜度值的上限值與右側(cè)相鄰宏塊待選擇編碼模式的復(fù)雜度值上限值之和的一半。
9.如權(quán)利要求1所述的確定多視點視頻編碼最佳模式進行編碼的方法，其特征是通過如下算法得到當(dāng)前宏塊對應(yīng)的搜索區(qū)域SR
全文摘要
本發(fā)明公開了一種確定多視點視頻編碼最佳模式進行編碼的方法，包括根據(jù)編碼復(fù)雜程度為各種編碼模式設(shè)置不同的復(fù)雜度值；根據(jù)同一視點時域相關(guān)性，視點間相關(guān)性，幀內(nèi)相關(guān)性，分別計算當(dāng)前宏塊的編碼復(fù)雜度值；根據(jù)上述三個計算結(jié)果采用模態(tài)切換的方法確定當(dāng)前宏塊可選擇的編碼模式集合；選擇其中率失真代價最小的編碼模式作為當(dāng)前宏塊編碼應(yīng)采用的編碼模式。本發(fā)明在不降低編碼效率的基礎(chǔ)上，有效地降低多視點視頻編碼復(fù)雜度。
文檔編號H04N7/26GK102572439SQ20121006674
公開日2012年7月11日 申請日期2012年3月14日 優(yōu)先權(quán)日2012年3月14日
發(fā)明者張永兵, 戴瓊海, 杜成立, 王好謙 申請人:清華大學(xué)深圳研究生院