專利名稱：利用有限可變比特率控制的感興趣區(qū)域編碼方法與系統(tǒng)的制作方法
技術(shù)領(lǐng)域：
本發(fā)明有關(guān)于一種感興趣區(qū)域編碼方法及系統(tǒng)，且特別有關(guān)于一種利用有限可變 比特率控制的感興趣區(qū)域(Regions Of Interest, R0I)編碼方法與系統(tǒng)。
背景技術(shù)：
由于視頻監(jiān)控的需求與日俱增，使得視頻編碼在視頻處理的領(lǐng)域顯得愈來愈重 要。在視頻處理中，畫面中的特定范圍稱作感興趣的區(qū)域(以下簡稱為R0I)。傳統(tǒng)的視頻 編碼技術(shù)是將畫面中的所有宏區(qū)塊(Macroblocks)的優(yōu)先權(quán)都視為相同，如此一來，畫面 中較重要的宏區(qū)塊可能無法清楚呈現(xiàn)。舉例來說，在視頻監(jiān)控處理中，R0I通常指臉部區(qū)域，在沒有經(jīng)過特別處理的情況 下，為了能使視頻在呈現(xiàn)時不致有延遲，畫面中的臉部區(qū)域與其它運動區(qū)域?qū)⒉粫貏e清 晰。若欲提供高分辨率的畫面，將可能產(chǎn)生多余硬件或軟件成本。此外，除了臉部區(qū)域外，部分運動區(qū)域中的宏區(qū)域也可能需要以較高的分辨率來 呈現(xiàn)，例如，人的肢體動作或移動中的車輛。在一個固定背景的監(jiān)控環(huán)境中和有限的比特率(Bitrate)(傳輸頻寬)的條件下， 為了提高運動區(qū)域和R0I的圖像品質(zhì)，一個設(shè)計良好的且創(chuàng)新的視頻編碼方法是有其必要 的。

發(fā)明內(nèi)容
提供一種利用有限可變比特率控制的感興趣區(qū)域編碼方法及系統(tǒng)，可以在有限的 比特率下，提高運動區(qū)域和人眼感興趣區(qū)域的圖像畫面品質(zhì)，并通過舍棄較多背景圖像的 高頻系數(shù)信息，而節(jié)省編碼比特率。相較于以傳統(tǒng)比特率_失真模型為基礎(chǔ)的固定比特率 控制(CBR)的R0I編碼，有限可變比特率控制演算法搭配一種快速區(qū)塊決策機制，其編解碼 復雜度更低，更適合用于即時監(jiān)控編碼系統(tǒng)?！N利用有限可變比特率控制的感興趣區(qū)域編碼方法的實施例。此方法可載入計 算機裝置而執(zhí)行，并且包括根據(jù)感興趣區(qū)域的輪廓在視頻畫面中的位置，將該視頻畫面的 多個宏區(qū)塊分成至少一個感興趣宏區(qū)塊、至少一個輪廓延伸宏區(qū)塊以及至少一個背景宏區(qū) 塊；并給予感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊不同的編碼優(yōu)先權(quán)，由此產(chǎn)生第 一 R0I映射表；根據(jù)目標比特率、視頻畫面的大小以及畫面更新率，決定視頻畫面的感興趣 宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊的一組量化參數(shù)的初始值；根據(jù)該組量化參數(shù)對 視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景區(qū)塊進行編碼；以及動態(tài)地調(diào)整視頻 畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景區(qū)塊的該組量化參數(shù)。一種利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)的實施例，其包括區(qū)塊決策 模塊，用以根據(jù)感興趣區(qū)域的輪廓在視頻畫面中的位置，將該視頻畫面的多個宏區(qū)塊分成 至少一個感興趣宏區(qū)塊、至少一個輪廓延伸宏區(qū)塊以及至少一個背景宏區(qū)塊，并給予感興 趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊不同的編碼優(yōu)先權(quán)，由此產(chǎn)生第一 R0I映射表；量化參數(shù)初始化模塊，用以根據(jù)目標比特率、視頻畫面的大小以及畫面更新率，決定視頻畫 面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊的一組量化參數(shù)的初始值；有限可變 比特率控制演模塊，用以根據(jù)該組量化參數(shù)對視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊 以及背景區(qū)塊進行編碼；以及參數(shù)更新模塊，用以動態(tài)地調(diào)整視頻畫面的感興趣宏區(qū)塊、輪 廓延伸宏區(qū)塊以及背景區(qū)塊的該組量化參數(shù)。一種計算機可記錄介質(zhì)的實施例，用以存儲計算機程序，上述計算機程序包括多 個程序碼片段，其用以載入至計算機系統(tǒng)中并且使得上述計算機系統(tǒng)執(zhí)行一種利用有限可 變比特率控制的感興趣區(qū)域編碼方法，其步驟包括根據(jù)感興趣區(qū)域的輪廓在視頻畫面中的 位置，將該視頻畫面的多個宏區(qū)塊分成至少一個感興趣宏區(qū)塊、至少一個輪廓延伸宏區(qū)塊 以及至少一個背景宏區(qū)塊；并給予感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊不同的 編碼優(yōu)先權(quán)，由此產(chǎn)生第一 R0I映射表；根據(jù)目標比特率、視頻畫面的大小以及畫面更新 率，決定視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊的一組量化參數(shù)的初 始值；根據(jù)該組量化參數(shù)對該視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景區(qū)塊進 行編碼；以及動態(tài)地調(diào)整視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景區(qū)塊的該組 量化參數(shù)。


圖1顯示一利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)的架構(gòu)實施例示意 圖。圖2A顯示本發(fā)明一實施例的產(chǎn)生具有不同的編碼優(yōu)先權(quán)的R0I映射表的步驟流 程圖。圖2B顯示一實施例的視頻畫面索引值的示意圖。圖2C顯示一實施例的位置矩陣的示意圖。圖3顯示一實施例的動態(tài)地調(diào)整量化參數(shù)組的步驟流程圖。圖4顯示一實施例的決定量化參數(shù)組的初始值的步驟流程圖。圖5顯示在不同復雜度下的比特率_失真模型的示意圖。圖6顯示利用不同編碼方法所得的實驗數(shù)據(jù)的比較示意圖。圖7A 7E顯示利用依據(jù)實施例技術(shù)的方法所得的解碼結(jié)果的示意圖。主要元件符號說明10 區(qū)塊決策模塊11 R0I映射表12 量化參數(shù)決策模塊13 量化參數(shù)級距14 量化參數(shù)初始化模塊15 量化參數(shù)的初始值16 有限可變比特率控制演算模塊17 剩余預算比特率18 參數(shù)更新模塊100 感興趣區(qū)域編碼系統(tǒng)
6
S201. . S212 流程步驟S301. S315 流程步驟S401. . S409 流程步驟
具體實施例方式下文特舉實施例詳細說明之，并配合所附圖式圖1至圖7，做詳細的說明，并提供 不同的實施例來說明依據(jù)本發(fā)明技術(shù)特征的不同實施方式。其中，實施例中的各元件的配 置為說明之用，并非用以限制可實施方式。且實施例中圖式標號的部分重復，是為了簡化說 明，并非意指不同實施例之間的關(guān)聯(lián)性。以下系用利用H. 264多個運動優(yōu)先權(quán)區(qū)域(multiple moving priority regions) 特性的感興趣區(qū)域(R0I)作為實施范例進行說明。揭露一利用有限可變比特率控制的感興趣區(qū)域編碼方法與系統(tǒng)實施例，包含一單 數(shù)固定R0I/多個移動R0I的區(qū)塊決策機制，以及一以R0I為基礎(chǔ)的有限可變比特率控制演 算法。本范例方法與系統(tǒng)利用標準物件追蹤的演算法自動檢測運動區(qū)域，或者以使用者自 定義的方式?jīng)Q定監(jiān)控畫面中的R0I以提高區(qū)域中的圖像品質(zhì)(即，圖像信號噪聲比(Peak Signal to Noise Ratios，PSNR))。因此，在維護監(jiān)控消息品質(zhì)的同時，能夠顧及壓縮效能 和編碼速度，更可兼顧相容性，其技術(shù)將符合國際視頻標準規(guī)范(例如，H. 264/先進視頻編 碼(Advanced Video Coding, AVC)等)。圖1顯示一利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)實施例的架構(gòu)示意 圖。如圖1所示，此實施例中的感興趣區(qū)域編碼系統(tǒng)100包括區(qū)塊決策模塊10、量 化參數(shù)(Quantification Parameter, QP) (QP-delta)決策模塊 12、量化參數(shù)初始化(QP Initialization)模塊14、有限可變比特率控制演算模塊16以及參數(shù)更新模塊18，但不限 定于此。在此實施例中，可利用習知物體切割/追蹤(object segmentation/tracking)或 使用者自定義(user define)方式描繪出欲追蹤物體的區(qū)域/輪廓(blob/contour)。舉例 而言，欲追蹤物體可視為此實施例中的感興趣區(qū)域(R0I)，但不限定于此。區(qū)塊決策模塊10用以根據(jù)感興趣區(qū)域的輪廓在視頻畫面中的位置，將視頻畫面 的多個宏區(qū)塊分成至少一個感興趣宏區(qū)塊、至少一個輪廓延伸宏區(qū)塊以及至少一個背景 宏區(qū)塊，并給予該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊不同的編碼優(yōu)先權(quán) (失真程度)，由此產(chǎn)生R0I映射表(Mapping Table) 11。舉例而言，視頻畫面的宏區(qū)塊可 根據(jù)其編碼優(yōu)先權(quán)(失真程度)區(qū)分成三大類，第1類為R0I本身，第2類為R0I區(qū)域延伸 部份(ROI-contour extension)，第3類為背景(Background)。換言之，感興趣宏區(qū)塊屬于 第1類、輪廓延伸宏區(qū)塊屬于第2類，而背景宏區(qū)塊屬于第3類。區(qū)塊決策模塊10的詳細 動作，將于后續(xù)配合圖2A中再詳細說明。量化參數(shù)決策模塊12決定出一組最適當?shù)牧炕瘏?shù)級距{Dl，D2} 13，其中D1和 D2值分別代表三大類區(qū)塊的量化參數(shù){QP_R0I，QP_R0I+D1，QP_R0I+D2}之間的差距/級距。 在此實施例中，QP_R0I為感興趣宏區(qū)塊的量化參數(shù)，QP_R0I+D1為輪廓延伸宏區(qū)塊的量化 參數(shù)，而QP_R0I+D2為背景宏區(qū)塊的量化參數(shù)。
量化參數(shù)初始化模塊14，用以根據(jù)目標比特率、視頻畫面的大小以及畫面更新率， 決定感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊的量化參數(shù){QP_R0I，QP_R0I+D1, QP_ R0I+D2}的初始值15。舉例而言，量化參數(shù)初始化模塊14用以根據(jù)目標比特率、視頻畫面 的大小以及畫面更新率，決定出感興趣宏區(qū)塊的量化參數(shù)QP_R0I的初始值15，再配合量化 參數(shù)決策模塊12所決定出量化參數(shù)級距{Dl，D2} 13得出輪廓延伸宏區(qū)塊以及背景宏區(qū)塊 的量化參數(shù){QP_R0I+D1，QP_R0I+D2}的初始值。量化參數(shù)初始化模塊14的詳細動作，將于 后續(xù)配合圖4中再詳細說明。有限可變比特率控制演算模塊16，用以根據(jù)量化參數(shù){QP_R0I+D1，QP_R0I+D2}對 視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景區(qū)塊進行編碼。為了進一步控制編碼 比特率，參數(shù)更新模塊18用以根據(jù)目前的剩余預算比特率(Residual Bits) 17，調(diào)整在畫 面層上的量化參數(shù){QP_R0I，QP_R0I+D1，QP_R0I+D2}，避免編碼緩沖區(qū)溢位或空載。參數(shù)更 新模塊18的詳細動作，將于后續(xù)配合圖3中再詳細說明。單數(shù)固定/多個移動R0I的區(qū)塊決策機制在已知一追蹤物體/感興趣區(qū)域的位置(P0SX，P0SY)、寬(Wd)和高(Ht)后，根據(jù) 該物體的宏區(qū)塊的編碼優(yōu)先權(quán)，將其宏區(qū)塊區(qū)分成三大類，包括上文所述的第1類(R0I本 身)、第2類(R0I區(qū)域延伸部份)與第3類為(背景)。本實施例的區(qū)塊決策機制中，可進一步考量以下三個問題(1)在所給定至少一個物體/感興趣區(qū)域的輪廓的位置和大小信息，如何有效率、 快速地決定出各個宏區(qū)塊的編碼優(yōu)先權(quán)(失真程度)；(2)考量數(shù)個被追蹤的物體/感興趣區(qū)域其彼此間可能重迭的情況；以及(3)在各種物體追蹤/感興趣區(qū)域的演算法中，當外界光源改變時，可能會造成追 蹤失敗的情況。例如，物體輪廓的追蹤框暫時消失，可能會影響到區(qū)塊決策的結(jié)果。圖2A顯示產(chǎn)生具有不同的編碼優(yōu)先權(quán)的R0I映射表的實施例步驟流程圖。首先，設(shè)定所有宏區(qū)塊的編碼優(yōu)先權(quán)(失真程度)為3 (步驟S201)，也就是宏區(qū)塊 的品質(zhì)為背景圖像的品質(zhì)，其失真程度為最高。接著判斷在視頻畫面中是否檢測到任何物 體/感興趣區(qū)域所包含的區(qū)域/輪廓(blob)(步驟S202)。若在視頻畫面中檢測不到任何 物體/感興趣區(qū)域時，利用計數(shù)器判斷在視頻畫面中未檢測到任何物體/感興趣區(qū)域的連 續(xù)時間是否小于一臨界值(例如，10毫秒)(步驟S203)。若小于該臨界值，表示該視頻畫 面中并非沒有物體/感興趣區(qū)域，而僅是尚未或無法追蹤到物體/感興趣區(qū)域，則使用先前 產(chǎn)生的R0I映射表，將該計數(shù)器增加一位移時間(例如，1毫秒)(步驟S204)，然后回到步 驟S21。若未小于該臨界值，表示在該視頻畫面中的確不包含任何物體/感興趣區(qū)域，則設(shè) 定該區(qū)域中的所有宏區(qū)塊的編碼優(yōu)先權(quán)(失真程度)為3，并且將該計數(shù)器重設(shè)為0(步驟 S205)，然后回到步驟S201。如果檢測到物體/感興趣區(qū)域的區(qū)域/輪廓時，則在所給定的物體/感興趣區(qū)域 的區(qū)域/輪廓的位置和大小(寬w與高h)，找出在該視頻畫面中所有屬于該物體/感興趣 區(qū)域的宏區(qū)塊((X，y) (x+w，y+h)之間)的索引值，并設(shè)定該區(qū)域/輪廓/中屬于感興 趣宏區(qū)塊的編碼優(yōu)先權(quán)(失真程度)為1(步驟S206)。接下來，使用矩陣(例如，位置矩 陣(Position Matrix))來確認該區(qū)域/輪廓中的其它宏區(qū)塊(即周圍的宏區(qū)塊)的優(yōu)先 權(quán)(失真程度)(步驟S207)，其中該矩陣的中心元素(Cell)代表屬于該物體/感興趣區(qū)域的宏區(qū)塊，而周圍的8個元素則屬于該物體/感興趣區(qū)域的輪廓延伸(Contour Extension) 區(qū)域，即輪廓延伸宏區(qū)塊(其它宏區(qū)塊)。參考圖2B，其顯示視頻畫面中的宏區(qū)塊對應的索引值。參考圖2C，該3x3矩陣中 的索引值對應于圖2B的索引表，其中i所在的宏區(qū)塊即表示R0I，也就是編碼優(yōu)先權(quán)(失真 程度)為1的宏區(qū)塊，而i周圍的8個宏區(qū)塊即表示物體的輪廓延伸區(qū)域。接下來，檢查輪廓延伸區(qū)域中的宏區(qū)塊的編碼優(yōu)先權(quán)(失真程度)是否已經(jīng)被標 示為1(代表屬于其它物體區(qū)域/感興趣區(qū)域的中心元素)。(步驟S208)。若宏區(qū)塊的編 碼優(yōu)先權(quán)(失真程度)尚未被標示為1，則表示該宏區(qū)塊的確是屬于輪廓延伸區(qū)域，故將該 宏區(qū)塊標示為2 (步驟S209)。判斷該物體/感興趣區(qū)域的所有區(qū)域是否已經(jīng)完成檢測(步 驟S210)，若該物體/感興趣區(qū)域中仍有區(qū)域尚未檢測，則重復步驟S206 209，直到檢查 完該物體的所有的區(qū)域。若物體/感興趣區(qū)域的所有區(qū)域都已完成檢測，則接著判斷該視 頻畫面中的所有物體/感興趣區(qū)域是否都已完成檢測(步驟S211)。若該視頻畫面中仍有 物體/感興趣區(qū)域需要檢測，則重復步驟S201 210，直到檢查完該視頻畫面中的所有物體 /感興趣區(qū)域。若該視頻畫面中的所有物體/感興趣區(qū)域都已完成檢測，則產(chǎn)生新的R0I映 射表(步驟S212)。要注意的是，此時編碼優(yōu)先權(quán)(失真程度)被設(shè)定為3的所有宏區(qū)塊， 即屬于背景區(qū)塊。以R0I為基礎(chǔ)的H. 264有限可變比特率控制演算法得到各個宏區(qū)塊的編碼優(yōu)先權(quán)(失真程度)后，直接給予ROI、R0I區(qū)域延伸部份 與背景這三個區(qū)域不同的量化參數(shù)，其集合為{01，02，03}，其中01<02<03。這是因為 在比特率_失真_量化(Bitrate-Distortion-Quantif ication)模型下，一般而言，失真程 度愈高，所使用的量化參數(shù)也會愈大。雖然相關(guān)的物體追蹤演算法很多，但是不失一般性， 只要能夠得到物體的區(qū)域位置和大小，就能適用本發(fā)明實施例的有限可變比特率控制演算 法。該有限可變比特率控制演算法更可提供下列操作(1)選擇量化參數(shù){Ql，Q2，Q3}。舉例而言，Q1 為 QP_R0I，Q2 為 QP_R0I+D1，而 Q3 為QP_R0I+D2。該選擇操作包括以下二種可能的情況(i)Ql、Q2與Q3間的差距小，雖然可 以避免相鄰宏區(qū)塊的PSNR值差距太大而產(chǎn)生區(qū)塊效應，但卻不符合R0I視頻編碼系統(tǒng)的期 待，以及可能產(chǎn)生較高的編碼比特率。(ii)Ql、Q2與Q3間的差距大，可以提高感興趣區(qū)域 的PSNR值，并且通過舍棄較多背景區(qū)域的高頻系數(shù)的特性來節(jié)省比特率，但缺點是可能會 造成運動估測(Motion Estimation)時的困擾。故本發(fā)明的研究重點在于取得一組適當?shù)?量化參數(shù){Q1，Q2，Q3}。(2)動態(tài)調(diào)整量化參數(shù)組。圖3顯示一實施例的動態(tài)調(diào)整量化參數(shù)組的步驟流程 圖。在此演算法中，由于量化參數(shù)組在整個視頻畫面都是固定的，當不同畫面的復雜度不 一樣，得到壓縮后的比特率也就會不同，這屬于“可變比特率壓縮編碼”(Variable Bitrate Coding)的研究范疇。如果想要讓編碼后的比特率更接近一個固定的目標比特率(Target Budget Bit，或稱預算比特率)，避免編碼緩沖區(qū)溢位(overflow)或空載(underflow)，應 該要動態(tài)調(diào)整量化參數(shù){Q1，Q2，Q3}的值。以下說明參數(shù)更新模塊18動態(tài)地調(diào)整量化參數(shù) 的實施流程。參考圖3，首先判斷視頻畫面中是否檢測到任何物體/感興趣區(qū)域(步驟S301)。 若未檢測到任何物體/感興趣區(qū)域，則將一組均勻的量化參數(shù){40，40，40}(預設(shè)量化參數(shù)
9組)指定給視頻畫面中的宏區(qū)塊(步驟S302)。若檢測到物體/感興趣區(qū)域，則計算緩沖區(qū) 的使用率(Buffer Fullness)(步驟S303)，然后判斷使用率是否大于預設(shè)值(例如，0)(步 驟S304)。舉例而言，所計算的緩沖區(qū)的使用率為有限可變比特率控制演算模塊16的緩沖 區(qū)的使用率，但不限定于此。若使用率不大于該預設(shè)值，則將量化參數(shù){35，40，50}指定給視頻畫面中的宏 區(qū)塊(步驟S305)。若使用率大于該預設(shè)值，則根據(jù)有限可變比特率控制演算模塊16的 編碼比特率(Encoded)和目標比特率(Target)間的關(guān)系來調(diào)整QP_R0I值，同時令D = (Encoded-Target)/Target (步驟S306)。舉例而言，D值可視為前述的剩余預算比特率17， 但不限定于此。判斷D是否小于-0. 5 (步驟S307)。若D小于-0. 5，則令感興趣區(qū)塊的量化參數(shù) 值減4 (QP腿=QPeoi-4)(步驟S308)。若D不小于-0. 5，則判斷D是否在-0. 5 -0. 2之間 (-0. 5 < D < -0. 2)(步驟S309)。若D在-0. 5 -0. 2之間，則令感興趣區(qū)塊的量化參數(shù) 值減2 (QP腿=QPeoi-2)(步驟S310)。若D不在-0. 5 -0. 2之間，則判斷D是否在0. 2 0. 5 之間(0. 2 < D < 0. 5)(步驟 S311)。若D在0. 2 0. 5之間，則令感興趣區(qū)域的量化參數(shù)值加2 (QPE0I = QPE0I+2)(步 驟S312)。若D不在0.2 0.5之間，則判斷D是否在大于0.5 (D> 0.5)(步驟S313)。若 D大于0.5，則令感興趣區(qū)域的量化參數(shù)值加4 (QPkqi = QPK0I+4)(步驟S314)。若D不大于 0.5，則不更動感興趣區(qū)塊的量化參數(shù)值(步驟S315)。換言之，在本實施例中，當D值為負 時，參數(shù)更新模塊18則會調(diào)高，并且當D值為正時，參數(shù)更新模塊18則會調(diào)低QPkq。(3)決定量化參數(shù)的初始值。圖4顯示本發(fā)明實施例的決定量化參數(shù)的初始值的 步驟流程圖。一開始選擇一組適當?shù)牧炕瘏?shù){QP_R0I，QP_R0I+D1，QP_R0I+D2}能夠避免 冗余的動態(tài)調(diào)整量化參數(shù)的過程，讓編碼后的比特率能夠很快地逼近目標比特率。以下說 明量化參數(shù)初始化模塊14決定量化參數(shù){QP_R0I，QP_R0I+D1，QP_R0I+D2}的初始值的實施 流程。參考圖4，定義bpp = T/(F*h*w)，其中bpp表示視頻畫面中每個像素分配到的 比特數(shù)，F(xiàn)代表視頻畫面的畫面更新率，而h與w的乘積代表該視頻畫面的大小(步驟 S401)，接著判斷視頻畫面的分辨率(步驟S402)。若視頻畫面利用QCIF(Quarter Common Intermediate Format)圖像格式來處理可得到L1 = 0. 1、L2 = 0. 3與L3 = 0. 6，若視頻畫 面利用CIF (Common Intermediate Format)圖像格式來處理可得到L1 = 0. 2、L2 = 0. 6與 L3 = 1. 2，而若視頻畫面利用其它圖像格式來處理可得到L1 = 0. 6、L2 = 1. 2與L3 = 2. 4。 因此，可取得一組分辨率參數(shù){Ll，L2，L3}。判斷bpp是否小于Ll (bpp < Ll)(步驟S403)。若bpp小于L1，則可取得一組量化 參數(shù){35，40，50}(步驟S404)。若bpp不小于L1，則判斷bpp是否小于L2 (bpp < L2)(步 驟S405)。若bpp小于L2，則可取得一組量化參數(shù){25，30,40}(步驟S406)。若bpp不小 于L2，則判斷bpp是否小于L3 (bpp < L2)(步驟S407)。若bpp小于L3，則可取得一組量化 參數(shù){20，25，35}(步驟S408)。若bpp不小于L3，則取得一組量化參數(shù){10，15，25}(步驟 S409)。在此實施例中，量化參數(shù)初始化模塊14所決定出的量化參數(shù)的初始值與bpp具有 反比關(guān)系。舉例而言，當bpp值愈大，量化參數(shù)值愈小，反之量化參數(shù)值愈大。就選擇一組量化參數(shù)的操作來看，本發(fā)明通過離線(Off-line)編碼的方式，用不同的量化參數(shù)對不同的標準圖像序列進行壓縮，最后描繪出在不同的復雜度下失真程度與 量化參數(shù)(Distortion-QP)間的關(guān)系。在人類視覺模型中，一般認為圖像品質(zhì)大于30分貝 (dB)以上，是人眼最低可接受的畫面品質(zhì)，大于40dB以上即表示為極佳的圖像品質(zhì)，非訓 練有素的眼睛，難以分辨與原圖的差異?；诖擞^念，預期監(jiān)控圖像中的背景部份應至少達 30dB，而感興趣區(qū)域(R0I)則應至少達40dB以上，不失一般性，R0I輪廓延伸區(qū)域應該介于 34-36dB。以圖5為例，在低復雜度的影片中，此時相對應的量化參數(shù)值組合應該是{25，30， 40}。在經(jīng)過多次的實驗后，在不同的比特率下，各區(qū)域的量化參數(shù)差距應該是{QP_R0I，QP_ R0I+D1，QP_R0I+D2}，其中0 < Dl < D2，且D1和D2的最佳實施例為5與15 (實施上可為 4 6與14 16)。如此即符合在H. 264編解碼中，最大相鄰區(qū)塊的量化參數(shù)差為[-25， 26]的限制。值得注意的是，由于H. 264的量化參數(shù)受限在[1，51]之間，因此量化參數(shù)值應 落在[1,36]之間。就動態(tài)調(diào)整量化參數(shù)組的操作來看，本發(fā)明不斷地根據(jù)編碼比特率(Encoded)和 目標比特率(Target)間的關(guān)系來調(diào)整量化參數(shù)值。令D= (Encoded-Target)/Target，當 D值為負數(shù)時，代表前一張畫面的編碼比特率大于目標比特率，則調(diào)高量化參數(shù)值，反之則 降低量化參數(shù)值。此外，必須考慮以下二種特殊情況(1)當沒有任何物件/感興趣區(qū)域被檢測到時，則將一組均勻的量化參數(shù){40，40， 40}直接指定給所有的宏區(qū)塊；以及(2)當編碼端(例如，有限可變比特率控制演算模塊16)的緩沖區(qū)發(fā)生溢位時，則 將一組最大的量化參數(shù){35，40，50}直接指定給所有的宏區(qū)塊。就決定量化參數(shù)組的初始值的操作來看，本發(fā)明根據(jù)目標比特率、畫面大小和畫 面更新速率，計算出一組合適的初始量化參數(shù)，如此能夠減少冗余的動態(tài)調(diào)整量化參數(shù)的 過程，以讓編碼后的比特率能夠很快地逼近目標比特率。基本概念是判斷每個像素分配到 的比特數(shù)(bpp)，當bpp值愈大，代表可運用的預算比特愈多，因此可以降低量化參數(shù)值，反 之則提高量化參數(shù)值。從圖6的實驗數(shù)據(jù)來看可以觀察得到以下結(jié)論(1) JM13. 2,Sun和Sivanantharasa的演算法所得到的各區(qū)域的PSNR值間的差距 并不大，在一些情況下，R0I區(qū)域的PSNR值甚至低于非感興趣區(qū)域的PSNR值。而在本發(fā)明 所提出的方法中，感興趣區(qū)域的品質(zhì)則一致比非感興趣區(qū)域的品質(zhì)較佳；(2)所提出的“利用有限可變比特率控制”能夠有效控制輸出比特率在特定的預 算比特率范圍內(nèi)，誤差值在[-3.6,3. 8]之間，和JM([-4. 1,3. 88]), Sun ([-2. 3,3. 3])與 Sivanantharasa([-2. 5,3. 2])產(chǎn)生的結(jié)果相距不遠；(3)比較在比特率控制上的計算時間，在本發(fā)明所提出的方法中，單張畫面所需的 時間約為0.4毫秒(ms)，均較JM(6-9ms)、Sun(9-12ms)與Sivan (6_llms)所需的時間短少 甚多；以及(4)參考圖7A 7E，圖7A為走廊的原始圖像，圖7B為經(jīng)過R0I編碼后的走廊圖 像，其中框起來的區(qū)域為非感興趣(Non-ROI)區(qū)域，圖7C為工頭的原始圖像，圖7D為經(jīng)過 R0I編碼后的工頭圖像，其中框起來的區(qū)域為非感興趣(Non-ROI)區(qū)域，而圖7E為經(jīng)過R0I 編碼后的工頭圖像，其中框起來的區(qū)域為感興趣區(qū)域。由上可知，本發(fā)明所提出來的方法在感興趣區(qū)域(移動中的人和工頭(Foreman))所得到的圖像品質(zhì)均較非感興趣區(qū)域為佳。依據(jù)一實施例還揭露了一種計算機可記錄介質(zhì)，用以存儲計算機程序，上述計算 機程序包括多個程序碼片段，其用以載入至計算機系統(tǒng)中并且使得上述計算機系統(tǒng)執(zhí)行一 種利用有限可變比特率控制的感興趣區(qū)域編碼方法，包括根據(jù)感興趣區(qū)域的輪廓在視頻畫 面中的位置，將該視頻畫面的多個宏區(qū)塊分成至少一個感興趣宏區(qū)塊、至少一個輪廓延伸 宏區(qū)塊以及至少一個背景宏區(qū)塊；并給予感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊 不同的編碼優(yōu)先權(quán)，由此產(chǎn)生第一 R0I映射表；根據(jù)目標比特率、視頻畫面的大小以及畫面 更新率，決定視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景宏區(qū)塊的一組量化參數(shù) 的初始值；根據(jù)該組量化參數(shù)對視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景區(qū)塊 進行編碼；以及動態(tài)地調(diào)整視頻畫面的感興趣宏區(qū)塊、輪廓延伸宏區(qū)塊以及背景區(qū)塊的該 組量化參數(shù)。執(zhí)行此方法的步驟的詳細流程系如同之前所述，在此不再累述。上述方法可以通過程序碼存在。當程序碼被機器載入且執(zhí)行時，機器變成用以實 行本發(fā)明的裝置或計算機程序產(chǎn)品。依據(jù)所揭露實施例技術(shù)的方法，或特定型態(tài)或其部份，可以以程序碼的型態(tài)存在。 程序碼可以包含于實體介質(zhì)，如軟盤、光盤片、硬盤、或是任何其他機器可讀取(如計算機 可讀取)存儲介質(zhì)，其中，當程序碼被機器如計算機載入且執(zhí)行時，此機器變成用以參與實 施的裝置。程序碼也可以通過一些傳送介質(zhì)，如電線或電纜、光纖、或是任何傳輸型態(tài)進行 傳送，其中，當程序碼被機器如計算機接收、載入且執(zhí)行時，此機器變成用以參與本發(fā)明的 裝置。當在一般用途處理單元實施時，程序碼結(jié)合處理單元提供一操作類似于應用特定邏 輯電路的獨特裝置。雖然已以若干實施例揭露如上，然而其并非用以限定可實施方式，任何熟習此技 藝者，在不脫離所揭露的實施例的精神和范圍內(nèi)，當可作各種的更動與潤飾，因此發(fā)明的保 護范圍當視后附的權(quán)利要求所界定者為準。
權(quán)利要求
一種利用有限可變比特率控制的感興趣區(qū)域ROI編碼系統(tǒng)，包括區(qū)塊決策模塊，用以根據(jù)感興趣區(qū)域的輪廓在視頻畫面中的位置，將該視頻畫面的多個宏區(qū)塊分成至少一個感興趣宏區(qū)塊、至少一個輪廓延伸宏區(qū)塊以及至少一個背景宏區(qū)塊，并給予該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊不同的編碼優(yōu)先權(quán)，由此產(chǎn)生第一ROI映射表；量化參數(shù)初始化模塊，用以根據(jù)目標比特率、該視頻畫面的大小以及畫面更新率，決定該視頻畫面的該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊的一組量化參數(shù)的初始值；有限可變比特率控制演算模塊，用以根據(jù)該組量化參數(shù)對該視頻畫面的該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景區(qū)塊進行編碼；以及參數(shù)更新模塊，用以動態(tài)地調(diào)整該視頻畫面的該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景區(qū)塊的該組量化參數(shù)。
2.如權(quán)利要求1所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，還包括量化 參數(shù)決策模塊，用以產(chǎn)生第一級距以及第二級距，其中該組量化參數(shù)包括分別對應于該感 興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊的第一量化參數(shù)、第二量化參數(shù)以及第 三量化參數(shù)，該第二量化參數(shù)為該第一量化參數(shù)與該第一級距的和，而該第三量化參數(shù)為 該第一量化參數(shù)與該第二級距的和。
3.如權(quán)利要求2所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中該量化 參數(shù)初始化模塊系根據(jù)該視頻畫面的分辨率，取得一組分辨率參數(shù)，并根據(jù)該目標比特率、 該視頻畫面的大小與該畫面更新率，求得一比特數(shù)，并且通過該比特數(shù)與該組分辨率參數(shù) 的大小關(guān)系決定出該組量化參數(shù)的該初始值。
4.如權(quán)利要求3所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中該比特 數(shù)為該視頻畫面中每個像素分配到的比特數(shù)，并且該比特數(shù)通過方程式bpp = T/(F*h*w) 所求得，其中bpp代表該比特數(shù)、T代表該目標比特率、F代表該畫面更新率，而h與w的乘 積代表該視頻畫面的大小。
5.如權(quán)利要求3所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中該量化 參數(shù)初始化模塊所決定出該組量化參數(shù)的該初始值與所求得的該比特數(shù)具有反比關(guān)系。
6.如權(quán)利要求2所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中該參數(shù) 更新模塊根據(jù)目標比特率與目前該視頻畫面的編碼比特率之間的關(guān)系，動態(tài)地調(diào)整該組量 化參數(shù)。
7.如權(quán)利要求6所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中該參數(shù) 更新模塊通過方程式D = (E-T)/T的運算結(jié)果動態(tài)地調(diào)整該組量化參數(shù)，E代表該編碼比 特率，T代表該目標比特率，而D代表該運算結(jié)果。
8.如權(quán)利要求7所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中當該運 算結(jié)果為負值時，該參數(shù)更新模塊調(diào)高該第一量化參數(shù)，并且當該運算結(jié)果為正值時，該有 限可變比特率控制演模塊調(diào)低該第一量化參數(shù)。
9.如權(quán)利要求7所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中當該運 算結(jié)果大于臨界值時，該參數(shù)更新模塊則指定一組預設(shè)的量化參數(shù)給該感興趣宏區(qū)塊、該 輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊。
10.如權(quán)利要求1所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中當未 檢測到該感興趣區(qū)域時，該參數(shù)更新模塊則指定一組預設(shè)的量化參數(shù)給該感興趣宏區(qū)塊、 該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊，而該組預設(shè)的量化參數(shù)包括分別對應于該感興趣宏 區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊的第一量化參數(shù)、第二量化參數(shù)以及第三量化 參數(shù)，該第一量化參數(shù)、該第二量化參數(shù)與該第三量化參數(shù)三者相等。
11.如權(quán)利要求1所述的利用有限可變比特率控制的感興趣區(qū)域編碼系統(tǒng)，其中該區(qū) 塊決策模塊設(shè)定該視頻畫面中的所有宏區(qū)塊的編碼優(yōu)先權(quán)為最低優(yōu)先權(quán)，再根據(jù)該感興趣 區(qū)域的位置和大小，找出該感興趣宏區(qū)塊以及該輪廓延伸宏區(qū)塊在該視頻畫面的第二 R0I 映射表中的對應索引值，并且將該感興趣區(qū)塊以及該輪廓延伸宏區(qū)塊的編碼優(yōu)先權(quán)分別改 設(shè)定為最高優(yōu)先權(quán)與中等優(yōu)先權(quán)，以便產(chǎn)生該第一 R0I映射表。
12.一種利用有限可變比特率控制的感興趣區(qū)域編碼方法，其可載入計算機裝置而執(zhí) 行，包括下列步驟根據(jù)感興趣區(qū)域的輪廓在視頻畫面中的位置，將該視頻畫面的多個宏區(qū)塊分成至少一 個感興趣宏區(qū)塊、至少一個輪廓延伸宏區(qū)塊以及至少一個背景宏區(qū)塊；給予該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊不同的編碼優(yōu)先權(quán)，由此 產(chǎn)生第一 R0I映射表；根據(jù)目標比特率、該視頻畫面的大小以及畫面更新率，決定該視頻畫面的該感興趣宏 區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊的一組量化參數(shù)的初始值；根據(jù)該組量化參數(shù)對該視頻畫面的該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景區(qū) 塊進行編碼；以及動態(tài)地調(diào)整該視頻畫面的該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景區(qū)塊的該組量化參數(shù)。
13.如權(quán)利要求12所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，還包括產(chǎn) 生第一級距以及第二級距，其中該組量化參數(shù)包括分別對應于該感興趣宏區(qū)塊、該輪廓延 伸宏區(qū)塊以及該背景宏區(qū)塊的第一量化參數(shù)、第二量化參數(shù)以及第三量化參數(shù)，該第二量 化參數(shù)為該第一量化參數(shù)與該第一級距的和，而該第三量化參數(shù)為該第一量化參數(shù)與該第 二級距的和。
14.如權(quán)利要求13所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中決定 該組量化參數(shù)的初始值的步驟，包括根據(jù)該視頻畫面的分辨率，取得一組分辨率參數(shù)；根據(jù)該目標比特率、該視頻畫面的大小與該畫面更新率，求得一比特數(shù)；以及通過該比特數(shù)與該組分辨率參數(shù)的大小關(guān)系決定出該組量化參數(shù)的該初始值。
15.如權(quán)利要求14所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中 該比特數(shù)為該視頻畫面中每個像素分配到的比特數(shù)，并且該比特數(shù)通過方程式bpp = T/ (F*h*w)所求得，其中bpp代表該比特數(shù)、T代表該目標比特率、F代表該畫面更新率，而h 與w的乘積代表該視頻畫面的大小。
16.如權(quán)利要求14所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中所決 定出的該組量化參數(shù)的該初始值與所求得的該比特數(shù)具有反比關(guān)系。
17.如權(quán)利要求13所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中該組量化參數(shù)根據(jù)目標比特率與目前該視頻畫面的編碼比特率之間的關(guān)系動態(tài)地調(diào)整。
18.如權(quán)利要求17所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中該組 量化參數(shù)通過方程式D = (E-T)/T的運算結(jié)果動態(tài)地調(diào)整，E代表該編碼比特率，T代表該 目標比特率，而D代表該運算結(jié)果。
19.如權(quán)利要求18所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中當該 運算結(jié)果為負值時，調(diào)高該第一量化參數(shù)，并且當該運算結(jié)果為正值時，調(diào)低該第一量化參 數(shù)。
20.如權(quán)利要求18所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中當該 運算結(jié)果大于臨界值時，指定一組預設(shè)的量化參數(shù)給該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊 以及該背景宏區(qū)塊。
21.如權(quán)利要求12所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中當未 檢測到該感興趣區(qū)域時，指定一組預設(shè)的量化參數(shù)給該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊 以及該背景宏區(qū)塊，而該組預設(shè)的量化參數(shù)包括分別對應于該感興趣宏區(qū)塊、該輪廓延伸 宏區(qū)塊以及該背景宏區(qū)塊的第一量化參數(shù)、第二量化參數(shù)以及第三量化參數(shù)，該第一量化 參數(shù)、該第二量化參數(shù)與該第三量化參數(shù)三者相等。
22.如權(quán)利要求12所述的利用有限可變比特率控制的感興趣區(qū)域編碼方法，其中給予 該感興趣宏區(qū)塊、該輪廓延伸宏區(qū)塊以及該背景宏區(qū)塊不同的編碼優(yōu)先權(quán)，由此產(chǎn)生該第 一 R0I映射表的步驟包括設(shè)定該視頻畫面中的所有宏區(qū)塊的編碼優(yōu)先權(quán)為最低優(yōu)先權(quán)；根據(jù)該感興趣區(qū)域的位置和大小，找出該感興趣宏區(qū)塊以及該輪廓延伸宏區(qū)塊于該視 頻畫面的第二 R0I映射表中的對應索引值；以及將該感興趣區(qū)塊以及該輪廓延伸宏區(qū)塊的編碼優(yōu)先權(quán)分別改設(shè)定為最高優(yōu)先權(quán)與中 等優(yōu)先權(quán)，以便產(chǎn)生該第一 R0I映射表。
全文摘要
一種利用有限可變比特率控制的感興趣區(qū)域編碼方法及系統(tǒng)，可以在有限的比特率下，提高運動區(qū)域和人眼感興趣區(qū)域的圖像畫面品質(zhì)，并通過舍棄較多背景圖像的高頻系數(shù)信息，達到節(jié)省編碼比特率的目的。相較于以傳統(tǒng)比特率-失真(Rate-Distortion)模型為基礎(chǔ)的固定比特率控制(Constant Bitrate Control，CBR)的ROI編碼，本發(fā)明的有限可變比特率控制演算法，搭配一種快速區(qū)塊決策機制，其編解碼復雜度更低，更適合用于即時監(jiān)控編碼系統(tǒng)。
文檔編號H04N7/26GK101931800SQ20091014817
公開日2010年12月29日 申請日期2009年6月24日 優(yōu)先權(quán)日2009年6月24日
發(fā)明者林群惟, 沈志圣, 黃崇明 申請人:財團法人工業(yè)技術(shù)研究院