專利名稱：：一種柱面全景視頻編碼的塊尺寸計算方法和傳輸方法
技術(shù)領(lǐng)域：
：本發(fā)明涉及視頻和圖像編解碼領(lǐng)域，特別涉及柱面全景視頻編碼的塊尺寸計算方法和基于分塊的柱面全景視頻編碼的傳輸技術(shù)。
背景技術(shù)：
：全景視頻是一種新興的媒體，和傳統(tǒng)的視頻相比，具有視野大，分辨率高，數(shù)據(jù)量大等特點。利用全景視頻，觀察者視點不變，改變觀察方向能夠觀察到周圍的全部場景，而普通的二維視頻只反應(yīng)了全景視頻的某個局部。柱面全景視頻是一種常見的全景視頻，它相當(dāng)于一個虛擬的攝像機，把空間中的三維物體投影到柱面上。柱面全景視頻的生成可以利用多攝像頭或者單攝像頭采集系統(tǒng)采集而成。由于投影表面是柱面，所以上下方向有一些盲點。由于全景視頻的視野范圍是普通視頻的5~6倍，在給用戶提供相同的視覺質(zhì)量的情況下，全景視頻的數(shù)據(jù)量是普通視頻的5~6倍。如果按照傳統(tǒng)的視頻傳輸方案，全景視頻在網(wǎng)絡(luò)環(huán)境下的使用變得困難重重。但是，由于在同一時刻，用戶所需要看到的內(nèi)容只是全景視頻的某一部分，所以分塊編碼與傳輸成為了全景視頻網(wǎng)絡(luò)傳輸?shù)某Ｒ姺桨浮Ｔ谌耙曨l的分塊編碼中，分塊的尺寸對于全景視頻的編碼效率以及傳輸區(qū)域有著重要的影響，而這兩項因素直接決定著需要傳輸?shù)臄?shù)據(jù)量。如果編碼塊尺寸小，則傳輸區(qū)域較小，但是編碼效率會較低；如果編碼塊尺寸大，則編碼效率4交高，但是傳輸區(qū)域也較大。所以在相同的視覺質(zhì)量下，不同的編碼塊尺寸，需要傳輸?shù)臄?shù)據(jù)量是不一樣的。但是現(xiàn)在國內(nèi)外的一些系統(tǒng)中，基本上沒有考慮分塊的大小，塊大d、一般是按照經(jīng)驗決定的，這就導(dǎo)致了傳輸數(shù)據(jù)量的增加。
發(fā)明內(nèi)容本發(fā)明的目的是為柱面全景視頻編碼塊尺寸的選擇提供一種快速有效的計算方法，使得在局部視覺質(zhì)量相同的情況下，所需要傳輸?shù)臄?shù)據(jù)量最小。為了實現(xiàn)上述目的，本發(fā)明提供了一種柱面全景視頻編碼塊尺寸計算方法，利用編碼全景視頻的寬度，涉及的全景視頻區(qū)域?qū)挾?，以及?dāng)前視頻的影響因子等信息計算得到最優(yōu)編碼塊尺寸。包含如下步驟柱面全景視頻不進行分塊直接預(yù)編碼，得到的全景視頻編碼的碼率柱面全景視頻按照任選的一個塊尺寸a進行分塊預(yù)編碼，得到在塊尺寸a下的編碼碼率i。；根據(jù)公式<formula>formulaseeoriginaldocumentpage4</formula>計算碼率i。相比于碼率i。的增量％;根據(jù)公式<formula>formulaseeoriginaldocumentpage4</formula>計算該視頻的影響因子C，其中『表示該視頻的寬度；根據(jù)公式<formula>formulaseeoriginaldocumentpage4</formula>計算該視頻的最優(yōu)編碼塊尺寸~一其中M是目標(biāo)區(qū)域?qū)挾??；诖藟K尺寸計算方法，本發(fā)明還提供了一種柱面全景視頻編碼傳輸方法，包括如下步驟根據(jù)上述方法計算而得的塊尺寸e對該視頻進行分塊；分塊后，對每個塊的序列獨立進行編碼；選擇所需的編碼后的數(shù)據(jù)進行傳輸。通過本發(fā)明提供的柱面全景視頻編碼塊尺寸計算方法，能夠得到一個使全景視頻的壓縮效率較高且傳輸區(qū)域較恰當(dāng)?shù)膲K尺寸。從而使需要傳輸?shù)臄?shù)據(jù)量最小。以下，結(jié)合附圖來詳細(xì)說明本發(fā)明的實施例，其中圖1是柱面全景視頻分塊示意圖。圖2是％與編碼塊數(shù)目和《a與編碼塊尺寸的關(guān)系圖。圖3是柱面全景視頻最優(yōu)編碼塊尺寸計算方法的操作流圖。圖4是柱面全景視頻分塊壓縮和傳輸示意圖。具體實施方式局部視圖視覺質(zhì)量是由全景視頻原始編碼質(zhì)量確定的。在編碼的過程中，用量化參數(shù)(g尸)來控制全景視頻編碼的質(zhì)量。需要在g尸一定的條件下，計算分塊尺寸"使傳輸?shù)臄?shù)據(jù)量最小，即使傳輸碼率r。最小的分塊尺寸a。所以首先計算傳輸碼率r。與分塊尺寸a的函數(shù)關(guān)系。設(shè)目標(biāo)區(qū)域的寬度為M個宏塊，分塊大小為"個宏塊，如圖l所示。因為目標(biāo)區(qū)域落在全景視頻中的位置會發(fā)生變化，從而相關(guān)分塊的個數(shù)也會隨之變化。一種情況是目標(biāo)區(qū)域的右邊界在a'的范圍中，相關(guān)分塊個數(shù)為W',另一種情況是目標(biāo)區(qū)域的右邊界在a"的范圍中，相關(guān)分塊個數(shù)為W"。則+1公式1令目標(biāo)區(qū)域落在a'范圍中的概率是尸'，目標(biāo)區(qū)域落在a〃范圍中的概率是戶〃。從而，當(dāng)分塊大小為"時，相關(guān)區(qū)域?qū)挾取骸５钠谕悼梢杂上旅娴墓接嬎?lt;formula>formulaseeoriginaldocumentpage5</formula>公式2傳輸碼率為所有需要傳輸?shù)南嚓P(guān)分塊的碼率之和，用如下公式計算。<formula>formulaseeoriginaldocumentpage5</formula>其中，r。表示分塊尺寸為a時的傳輸碼率，凡表示分塊尺寸為a時全景視頻的編碼碼率，也就是所有分塊編碼的碼率之和，7V。表示全景視頻分塊尺寸為a時包含目標(biāo)區(qū)域的宏塊的數(shù)目，iV表示全景視頻宏塊總數(shù)，『。表示全景視頻分塊尺寸為a時的包含目標(biāo)區(qū)域的宏塊的寬度之和，『表示全景視頻的寬度。為了計算得到在原始編碼質(zhì)量一定的情況下，傳輸碼率最小的最優(yōu)編碼塊尺寸a^，最直接的方法就是利用上述公式通過列舉方式計算得到最優(yōu)編碼尺寸。具體實施方式為首先對每一種可能的分塊尺寸都進行編碼，得到全景視頻編碼碼率A,然后按照公式2計算出相關(guān)分塊的寬度『，再然后按照公式3計算出傳輸碼率r。，最后通過比較不同的分塊尺寸的傳輸碼率，得到傳輸碼率最小的分塊尺寸就是最優(yōu)編碼尺寸。例如表2所示的森林、村莊、橋梁和會堂四個序列的列舉計算結(jié)果。對全景視頻采用每一種可能的分塊尺寸進行編碼，經(jīng)過比較找到最優(yōu)編碼塊，這樣的方法在實際應(yīng)用中是不實用的。本發(fā)明提出一種基于反比模型的快速的最優(yōu)編碼塊尺寸選擇方法。首先定義&為i。和&的比值。;i公式4其中i。為編碼塊尺寸為a時的全景視頻編碼碼率，i。為全景視頻不分塊時的編碼碼率。根據(jù)全景視頻編碼塊大小與編碼效率之間的關(guān)系，a。始終是大于等于1的一個實數(shù)。由公式3，公式4可以得到『『"『《"『、對于同樣的編碼條件和全景視頻來說，不同的編碼塊尺寸a，i。和『是相同的，所以定義尸。=^.『。公式6只要計算令尸。最小的編碼塊尺寸，即得最優(yōu)編碼塊尺寸。進一步，定義:^A^a一;l.公式7表l列出了橋梁序列在不同的編碼塊尺寸下，不同的化，對于每個編碼塊尺寸，應(yīng)用了4個不同的量化參數(shù)(QP)進行編碼。表l橋梁序列化與編碼塊尺寸關(guān)系<table>tableseeoriginaldocumentpage7</column></row><table>整理上表的數(shù)據(jù)，w。與編碼塊數(shù)目以及編碼塊尺寸之間的關(guān)系如圖2a所示。w。與編碼塊數(shù)目之間呈正比關(guān)系，由于編碼塊數(shù)目與編碼塊尺寸之間呈反比關(guān)系，所以w。與編碼塊尺寸之間呈反比關(guān)系，如圖2b所示。由于w。與編碼塊尺寸呈反比關(guān)系，本發(fā)明在二者之間建立一個模型，描述二者之間關(guān)系。<formula>formulaseeoriginaldocumentpage7</formula>公式8對于同一個視頻C是常數(shù)，當(dāng)全景視頻分塊編碼時，這時候化=0，符合我們對于w。的定義。由公式8可以得到C的計算公式<formula>formulaseeoriginaldocumentpage7</formula>公式11由此，對視頻通過任意一個編碼塊尺寸a進行編碼，計算出o;。，則可以計算常數(shù)C。由公式6,7,8計算得到:<formula>formulaseeoriginaldocumentpage8</formula>計算尸。對"的導(dǎo)數(shù)為o的點，即為《的極值點，此時a的取值即為最優(yōu)編碼塊尺寸。<formula>formulaseeoriginaldocumentpage8</formula>公式10據(jù)此可以計算出最優(yōu)編碼塊尺寸l。根據(jù)上述分析，依據(jù)全景視頻的寬度，目標(biāo)區(qū)域?qū)挾鹊刃畔⒂嬎憔幋a塊尺寸。如附圖3所示該計算方法具體實施方式如下首先，對待編碼的柱面全景視頻不進行分塊，整體進行預(yù)編碼，得到的全景視頻編碼的碼率i。。然后，為待編碼的柱面全景視頻任意選擇一個塊尺寸a,按照此塊尺寸給全景視頻進行分塊預(yù)編碼，得到在塊尺寸a下的編碼碼率i。。再根據(jù)公式<formula>formulaseeoriginaldocumentpage8</formula>.計算預(yù)編碼碼率凡相比于碼率i。的增量w。。再然后，根據(jù)公式<formula>formulaseeoriginaldocumentpage8</formula>計算當(dāng)前柱面全景視頻的影響因子C,其中ff表示全景視頻的寬度。最后，根據(jù)公式<formula>formulaseeoriginaldocumentpage8</formula>計算柱面全景視頻的最優(yōu)編碼塊尺寸e，其中M是目標(biāo)區(qū)域?qū)挾取８鶕?jù)上述柱面全景視頻編碼的塊尺寸計算方法，本發(fā)明提供的柱面全景視頻的傳輸方法，如圖4所示，具體步驟如下首先根據(jù)上述柱面全景視頻編碼的塊尺寸計算方法計算而得的塊尺寸對全景視頻進行分塊。然后依據(jù)以上分塊，對每個塊的序列獨立進行編碼。再然后選擇所需要的編碼后的數(shù)據(jù)進行傳輸。在此可以根據(jù)用戶當(dāng)前的視角選擇數(shù)據(jù)。傳輸媒介可以是因特網(wǎng)、無線網(wǎng)絡(luò)、局域網(wǎng)、光學(xué)網(wǎng)絡(luò)、其它合適的傳輸媒介、或者這些傳輸媒介的適當(dāng)組合。最后解碼端接收到數(shù)據(jù)之后，對這些塊序列進行獨立的解碼和投影變換，得到所需圖像。表2編碼塊尺寸與傳輸碼率對應(yīng)關(guān)系<table>tableseeoriginaldocumentpage9</column></row><table><table>tableseeoriginaldocumentpage10</column></row><table>表2說明了柱面全景視頻圖像傳輸中編碼塊尺寸對實際傳輸碼率的影響，其以分辨率為1920x352的4個圖像序列在量化參數(shù)g尸-28，目標(biāo)區(qū)域M-20的條件下傳輸為例進行說明。對于以森林、村莊、橋梁和會堂為目標(biāo)圖像，以不同塊尺寸分別進行編碼傳輸試驗，從每個塊尺寸對應(yīng)的碼率可以觀察到不同圖像各自的最優(yōu)分塊尺寸。例如，當(dāng)目標(biāo)圖像是森林時，塊尺寸等于2時，碼率為194.89，此值是所有不同塊尺寸編碼碼率的最小值。釆用本發(fā)明方法計算的塊尺寸也是2，與列舉試驗的最優(yōu)值一致。表3不同g尸時列舉計算最優(yōu)結(jié)果與本發(fā)明方法結(jié)果比較表<table>tableseeoriginaldocumentpage10</column></row><table>表3說明了在不同的量化參數(shù)Q尸下分別以森林、村莊、橋梁和會堂為目標(biāo)圖像的4個序列利用實際列舉塊尺寸編碼試驗得到的最有效率塊尺寸與用本發(fā)明公式得到的最優(yōu)塊尺寸比較結(jié)果。經(jīng)分析以上表格得知，經(jīng)列舉方法計算而得最有效率分塊尺寸，和利用本發(fā)明計算得到的分塊尺寸基本一致，只有表4中帶星號的是不完全一致的，但二者也非常接近。應(yīng)該注意到并理解，在不脫離后附的權(quán)利要求所要求的本發(fā)明的精神和范圍的情況下，能夠?qū)ι鲜鲈敿?xì)描述的本發(fā)明做出各種修改和改進。因此，要求保護的技術(shù)方案的范圍不受所給出的任何特定示范教導(dǎo)的限制。權(quán)利要求1.一種柱面全景視頻編碼的塊尺寸計算方法，包括下列步驟柱面全景視頻不進行分塊直接預(yù)編碼，得到的全景視頻編碼的碼率R0；該視頻按照任選的一個塊尺寸a進行分塊預(yù)編碼，得到在塊尺寸a下的編碼碼率Ra；根據(jù)公式ωa＝(Ra-R0)/R0，計算所述碼率Ra相比于所述碼率R0的增量ωa；根據(jù)公式C＝ωa·a·W/(W-a)，計算該視頻的影響因子C，其中W表示全景視頻的寬度；根據(jù)公式<math-cwu><![CDATA[<math><mrow><msub><mi>a</mi><mi>me</mi></msub><mo>=</mo><mo>[</mo><msqrt><mi>CM</mi><mo>/</mo><mrow><mo>(</mo><mn>1</mn><mo>-</mo><mfrac><mi>C</mi><mi>W</mi></mfrac><mo>)</mo></mrow></msqrt><mo>]</mo><mo>,</mo></mrow></math>]]></math-cwu><!--imgid="icf0001"file="A2007101754430002C1.gif"wi="192"he="38"img-content="drawing"img-format="tif"/-->計算該視頻的最優(yōu)編碼塊尺寸ame，其中M是目標(biāo)區(qū)域?qū)挾取?.—種柱面全景^L頻編碼傳輸方法，包括下列步驟根據(jù)如權(quán)利要求1所述的方法計算而得的塊尺寸e對所述全景視頻進行分塊；所述分塊之后，對每個塊的序列獨立進行編碼；選擇所需的編碼后數(shù)據(jù)進行傳輸。3.如權(quán)利要求2所述的方法，其特征在于所述數(shù)據(jù)傳輸后，解碼端接收該數(shù)據(jù)，并對所述塊序列進行獨立的解碼和投影變換。4.如權(quán)利要求2所述的方法，其特征在于所述所需的編碼后的數(shù)據(jù)根據(jù)用戶視角選擇。全文摘要本發(fā)明提供一種柱面全景視頻編碼的塊尺寸計算方法和傳輸方法，包括柱面全景視頻不進行分塊直接預(yù)編碼，得到的全景視頻編碼的一個碼率；該視頻按照任選的一個塊尺寸進行分塊預(yù)編碼，得到在該塊尺寸下的編碼碼率；計算以上兩個碼率的增量；根據(jù)此增量計算該視頻的影響因子；最后根據(jù)此因子計算該視頻的最優(yōu)編碼塊尺寸。本發(fā)明根據(jù)上述方法計算的塊尺寸又提供了一種全景視頻進行分塊編碼傳輸?shù)姆椒?。本發(fā)明通過兩次預(yù)編碼，可以計算出最優(yōu)的編碼塊尺寸，使用此最優(yōu)塊尺寸進行柱面全景視頻編碼，能夠在用戶視覺質(zhì)量相同的情況下傳輸數(shù)據(jù)量最低。文檔編號G03B37/00GK101127911SQ20071017544公開日2008年2月20日申請日期2007年9月29日優(yōu)先權(quán)日2007年9月29日發(fā)明者鋒代,張冬明,張勇東申請人:中國科學(xué)院計算技術(shù)研究所