專利名稱：通過邊界檢測作為運動估計參考的視頻前景對象編碼方法
技術(shù)領(lǐng)域：
本發(fā)明屬于視頻編碼技術(shù)領(lǐng)域，更具體的講，涉及一種通過邊界檢測作為運動估 計參考的視頻前景對象編碼方法。
背景技術(shù)：
視頻壓縮是視頻圖像實時處理技術(shù)的關(guān)鍵問題，在網(wǎng)絡(luò)傳輸時該問題更為突出。 用戶通過圖像設(shè)備采集本地視頻，由于視頻數(shù)據(jù)量大，經(jīng)過數(shù)字化處理后其數(shù)據(jù)量是非常 大的，如果不進行視頻壓縮處理，計算機系統(tǒng)就無法對它進行存儲和傳輸。視頻編碼的實現(xiàn) 方法中，為了獲得較高的壓縮比，采用運動估計的方法實現(xiàn)視頻的壓縮，然而運動估計過程 通常會耗費大量時間，影響系統(tǒng)的實時性。運動估計的方法是將視頻分為參考幀和預(yù)測幀，并將參考幀和預(yù)測幀分成若干固 定大小的宏塊，根據(jù)不同的搜索算法和匹配原則在參考幀內(nèi)搜索與預(yù)測幀中待編碼宏塊最 相似的匹配塊。它可以消除視頻的幀間冗余，進一步提高壓縮比。目前的運動估計算法主 要有以下幾種全搜索算法(Full Search, FS)精度最高，它把待編碼宏塊和參考幀待搜索 范圍內(nèi)的宏塊進行逐一比對得到最優(yōu)的結(jié)果。但是，全搜索算法的時間復(fù)雜度高。因此，在 此基礎(chǔ)之上又提出了許多改進算法，如三步搜索(Three Step karch，TSQ算法，十字搜索 (Cross Search,CS)算法、四步搜索(Four Step Search,FSS)算法，以及 1999年 10 月被列 入MPEG-4驗證模型(Verification Model)的菱形搜索(DiamondSearch，DS)算法，還有六 邊形搜索(Hexagon Search, HS)算法等，其中HS算法分為兩類LHSP (Large Hexagon-based Search Pattern，大六邊形模式)禾口 SHSP (SmallHexagon-based Search Pattern，小六邊形 模式)。TSS算法和CS算法第一步搜索步長較大，而進一步的搜索是在第一步確定的方向 上進行的，因而很容易陷入局部最優(yōu)。FSS算法、DS算法和HS算法利用視頻序列運動矢量 在空間分布上的中心偏置特性，減小了搜索步長，加強了對中心區(qū)域的搜索。HS算法能比 DS算法用更少的搜索點找到一個相同的運動矢量。但是，這些算法對圖像幀所有的像素都 進行了編碼，沒有考慮到編碼實時性和網(wǎng)絡(luò)傳輸?shù)膸?，導致壓縮比和編碼效率較低。本發(fā)明前，中國發(fā)明專利“視頻編碼器的運動估計方法及系統(tǒng)”，申請?zhí)枮?01806741. 7，公開號為CN1418437，該專利公開了一種用于視頻編碼器運動估計方法和系 統(tǒng)。該方法主要是針對普通視頻采用一個層次系列的具有各不相同的復(fù)雜性的運動估 計器，但沒有考慮用戶興趣區(qū)域，沒有對圖像幀進行前景提取，從而編碼了多余的數(shù)據(jù)信 息，降低了編碼效率。中國發(fā)明專利“視頻運動估計方法”，申請?zhí)?3115133. 7，公開號為 CN1444406，該發(fā)明公開了一種利用基于搜索模式的運動矢量場的時空相關(guān)性來進行運動 估計的方法。該方法采用一種更新機制來確定一組候選矢量，再從中選取最優(yōu)值，在塊匹配 搜索過程中平等的對待所有宏塊，并沒有考慮圖像邊界等信息，從而不能有效地對經(jīng)過前 景提取的視頻進行運動估計。

發(fā)明內(nèi)容
本發(fā)明的技術(shù)解決問題克服現(xiàn)有技術(shù)的不足，提供一種通過邊界檢測作為運動 估計參考的視頻前景對象編碼方法，在保證視頻編碼實時性的同時，減少需要在網(wǎng)絡(luò)上傳 輸?shù)臄?shù)據(jù)量。所述方法具有高的壓縮比，并且能滿足實時性的要求。為了取得上述技術(shù)效果，本發(fā)明采取的技術(shù)方案是對所采集視頻的圖像幀進行前 景提取，對于參考幀采用靜態(tài)圖像編碼算法進行壓縮，對于預(yù)測幀通過邊界檢測作為運動估 計參考計算邊界宏塊和前景宏塊的運動向量，最后對輪廓信息和運動向量及殘差進行編碼。具體實現(xiàn)步驟如下(1)將連續(xù)采集的視頻分成參考幀和預(yù)測幀，并將參考幀和預(yù)測幀分成若干固定 大小的宏塊；(2)對參考幀和預(yù)測幀分別進行前景提取，并分為背景宏塊(一幀圖像中背景宏 塊集合為Oback)、邊界宏塊(ΦΙχηιικ!)和前景宏塊(Φfront)，其中，僅對邊界宏塊和前景 宏塊進行編碼；(3)對于參考幀，采用靜態(tài)圖像壓縮算法，并編碼圖像幀的輪廓信息；(4)對于預(yù)測幀，首先通過邊界檢測確定搜索起點，然后從搜索起點進行預(yù)搜索并 適時停止搜索，得到相應(yīng)宏塊的運動向量，對圖像幀的輪廓信息和運動向量及殘差進行編 碼。所述步驟(4)通過邊界檢測確定搜索起點的方法為記宏塊半徑為R，搜索窗口大 小為sw，當前位置為(row，col)，預(yù)測幀中當前宏塊為MBpm (row，col)，其初始運動向量為 MV (row, col)，對應(yīng)參考幀宏塊為MB& (row，col)，根據(jù)宏塊類型及周圍宏塊確定搜索起點， 具體包含的步驟如下(2. 1)判斷當前宏塊MBpm (row，col)類型，若為背景宏塊，則進入O. 6)，若為邊界 宏塊，則進入(2. 2)，若為前景宏塊，則進入(2.5)；(2. 2)按如下公式計算當前宏塊MBp,e (row，col)周圍的邊界宏塊集合B，若萬=0 則進入(2. 3)，否則，進入(2.4)；B = {MB(x, y) | (χ = row-2R, y = col_2R) V (χ = row-2R, y = col)V (x = row-2R, y = col+2R) V (x = row, y = col_2R) V (x = row, y = col)V (x = row, y = col+2R) V (x = row+2R, y = col_2R) V (x = row+2R, y = col)；V (X = row+2R, y = col+2R) Λ MBref (χ, y) e Φ bound}(2.3)計算以(row，col)及周圍8個點為基準點的宏塊集合S中各宏塊的SAD值， 具有最小SAD值宏塊的基準點即為搜索起點，根據(jù)搜索起點可得MV (row, col)，進入(2. 7)， 集合S計算公式如下S = {MB (x, y) I (χ = row-sw/4, y = col-sw/4) V (χ = row-sw/4, y = col)V (x = row-sw/4, y = col+sw/4) V (x = row, y = col-sw/4) V (x = row, y = col)V (x = row, y = col+sw/4) V (x = row+sw/4, y = col-sw/4)V (x = row+sw/4, y = col) V (x = row+sw/4, y = col+sw/4)}(2. 4)計算集合S中與B相對應(yīng)基準點的宏塊的SAD值，具有最小SAD值的宏塊的起點，根據(jù)搜索起點可得MV(r0W，C0l)，進入(2.7)；(2. 5)通過對左、上、右上宏塊的初始運動向量求取平均值得到MV(row，col)，進 Λ (2. 7)；(2. 6)設(shè)置 MV (row, col)為 0，進入(2. 7)；(2. 7)返回 MV (row，col)，繼續(xù)下一個宏塊。所述步驟(4)預(yù)搜索和適時停止搜索的方法為記初始搜索起點為(m，n)，對應(yīng)的 宏塊為MB (m, η)，MBDk表示第k輪搜索產(chǎn)生的MBD點，PIk和POk表示第k輪搜索產(chǎn)生的兩 種不同類型的宏塊，PIk表示根據(jù)擴散規(guī)則成功擴散出的點中，位于圖像內(nèi)的點對應(yīng)宏塊的 集合，POk表示根據(jù)擴散規(guī)則成功擴散出的點中，位于圖像外的點對應(yīng)宏塊的集合，具體包 含以下步驟(3. 1)初始化當前MBD點MBDtl = (m, η)，擴散成功且位于圖像內(nèi)的點對應(yīng)的宏塊 集合= 0，以及擴散成功且位于圖像外的點對應(yīng)的宏塊集合POq = 0，設(shè)當前為LHSP搜 索；(3. 2)令k = k+Ι，計算圖像內(nèi)和圖像外擴散成功的點所對應(yīng)的宏塊的集合PIk和 P0k，其中PIk的計算公式如下PIk = {MB (ρ, q) | (ρ = j~2, q = i_l) V (P = j_2，q = i+1)V (P = j，q = i-2) V (P = j，q = i) V (P = j，q = i+2)V (P = j+2, q = i-1) V (P = j+2, q = i+1)Λ (P, q) e dis((p, q)，sw)彡 1}POk的計算公式如下
POk={MB(p,q)j(p = j-2,q = i-l)v(p = j-2,q = i + l)
^(P = j^ = i-2)^(p = j,q = i)^(p = j,q = i + 2).
= 7 + 2,^ = /-l)v(^ = 7 + 2, '= / + 1)
λ (ρ, q) ^ dis((p, q\ sw) < 1}(3. 3)計算 MBDk，如果 MBDk Φ MBDk+ 進入(3. 2)，如果 MBDk = MBDk+ 轉(zhuǎn)為 SHSP 搜 索，進入(3. 4)，MBDk計算公式如下
MBDk = {(/, j) I MB(i, j) e PIk λ /MB(m, η) e PIk — SAD(MB(m, η)) < SAD(MB(i, j))}；(3. 4)令k = k+1，計算擴散成功且位于圖像內(nèi)的點對應(yīng)的宏塊集合PIk，并計算 MBDk,其中MBDk的計算公式如(3. 3)所示，PIk的計算公式如下PIk = {MB (p，q) | (ρ = j_l，q = i) V (P = j，q = i_l) V(p = j, q = i + 1) V (P = j + 1，q = i) Λ(p，q) e Pic Λ dis ((p，q)，sw)彡 0}U {MB (p，q) | (p = s_l，q = t) V (p = s, q = t_l) V ；(ρ = s, q = t+1) V (p = s+1, q = t) Λ MB(s，t) e P^1 Λ
(p，q) e Pic Λ dis ((p，q)，sw) ≤ 0}(3. 5)返回點MBDk對應(yīng)的運動向量。其中，Pic表示整幅圖像所有像素點的集合，diS((p，q)，SW)表示計算點(p，q)與 搜索窗口邊界的位置向量，結(jié)果小于1表示(P，q)處于搜索窗口邊界外1個像素范圍之內(nèi)， SAD (MB (i，j))表示計算宏塊MB (i，j)的SAD值。與現(xiàn)有技術(shù)相比，本發(fā)明通過邊界檢測作為運動估計參考的視頻前景對象編碼方 法的有益效果是(1)在數(shù)據(jù)源減少需要編碼的數(shù)據(jù)量。本發(fā)明對視頻進行了預(yù)處理，即對視頻中固 定背景建模，根據(jù)對應(yīng)像素的絕對差值提取出圖像幀中的前景對象，僅對前景對象及邊界 進行編碼，有效減少了需要編碼的數(shù)據(jù)量，提高了壓縮比。(2)通過邊界檢測作為運動估計參考。本發(fā)明根據(jù)圖像宏塊類型及周圍宏塊的特 點確定搜索起點，結(jié)合HS方法和搜索窗口對宏塊進行預(yù)搜索并適時停止搜索，減少了搜索 次數(shù)，有效提高了編碼速度。總之，本發(fā)明是在對視頻各個圖像幀進行前景提取的基礎(chǔ)上，實時地進行視頻壓 縮，能有效的減少圖像幀需要編碼的內(nèi)容，加快編碼速度，并且提高壓縮比。通過邊界檢測 作為運動估計參考的運動估計方法，減少了搜索次數(shù)，有效提高了編碼效率。


圖1為本發(fā)明通過邊界檢測作為運動估計參考的視頻前景對象編碼方法流程圖；圖2為本發(fā)明中搜索起點選擇流程圖；圖3為本發(fā)明中搜索起點選擇示意圖；圖4為本發(fā)明中適時停止搜索策略流程圖；圖5為本發(fā)明中搜索起始狀態(tài)的三種情況；圖6為本發(fā)明中非圖像邊沿宏塊搜索路徑示意圖；圖7為本發(fā)明中圖像邊沿宏塊搜索路徑示意圖；圖8為本發(fā)明中基于亮度運動向量的色度估計示意圖。具體實施方法如圖1所示，本發(fā)明將連續(xù)采集的視頻分為參考幀和預(yù)測幀，參考幀和預(yù)測幀的 比例為1 10(可調(diào)整)。參考幀預(yù)測幀被分成若干固定大小的宏塊，在對這些宏塊進行編 碼之前，需要對圖像幀進行預(yù)處理，即前景提取，將圖像分成背景、邊界和前景三部分。本發(fā)明以室內(nèi)簡單背景下運動人體的前景提取為例，具體方法是首先進行背景建 模，再利用背景減除的方法將前景對象從圖像中提取出來，最后對提取出的前景對象做消 除噪聲點的處理。進行背景建模的前提是背景固定，并且在使用的過程中不會發(fā)生變化。假設(shè)初始 狀態(tài)下背景固定，取連續(xù)的η幀圖像，對這些連續(xù)的圖像幀建立高斯模型ξ (Pi, 0i2)，i是 圖像中的一個像素點，μ i為該點顏色值分布的期望值，σ /為該點顏色值分布的方差，這兩 個值的計算公式如公式(1)所示。
權(quán)利要求
1.通過邊界檢測作為運動估計參考的視頻前景對象編碼方法，其特征在于實現(xiàn)步驟如下(1)將連續(xù)采集的視頻分成參考幀和預(yù)測幀，并將參考幀和預(yù)測幀分成若干固定大小 的宏塊；(2)對參考幀和預(yù)測幀分別進行前景提取，并分為背景宏塊(一幀圖像中背景宏塊集 合為Oback)、邊界宏塊(ΦΙχηιικ!)和前景宏塊(Φfront)，其中，僅對邊界宏塊和前景宏塊 進行編碼；(3)對于參考幀，采用靜態(tài)圖像壓縮算法，并編碼圖像幀的輪廓信息；(4)對于預(yù)測幀，首先通過邊界檢測確定搜索起點，然后從搜索起點進行預(yù)搜索并適時 停止搜索，得到相應(yīng)宏塊的運動向量，對圖像幀的輪廓信息和運動向量及殘差進行編碼。
2.根據(jù)權(quán)利要求1所述的通過邊界檢測作為運動估計參考的視頻前景對象編碼方法， 其特征在于所述步驟(4)通過邊界檢測確定搜索起點的方法為記宏塊半徑為R，搜索窗 口大小為sw，當前位置為(row，col)，預(yù)測幀中當前宏塊為MBpm(row，col)，其初始運動向 量為MV(row，col)，對應(yīng)參考幀宏塊為MB&(row，col)，根據(jù)宏塊類型及周圍宏塊確定搜索 起點，具體包含的步驟如下(2. 1)判斷當前宏塊MBpre (row，col)類型，若為背景宏塊，則進入0.6)，若為邊界宏 塊，則進入(2. 2)，若為前景宏塊，則進入(2.5)；(2. 2)按如下公式計算當前宏塊MBpm (row，col)周圍的邊界宏塊集合B，若萬=0 ( 0 為空集)則進入(2. 3)，否則，進入(2.4)；B = {MB (x, y) I (χ = row-2R, y = col_2R) V (χ = row-2R, y = col)V(χ = row-2R, y = col+2R) V (x = row, y = col_2R) V (x = row, y = col)V(x = row, y = col+2R) V (x = row+2R, y = col_2R) V (x = row+2R, y = col)；V(χ = row+2R, y = col+2R) Λ MBref (x，y) e Φ bound}(2. 3)計算以(row，col)及周圍8個點為基準點的宏塊集合S中各宏塊的SAD值，具 有最小SAD值宏塊的基準點即為搜索起點，根據(jù)搜索起點可得MV (row, col)，進入(2. 7)，集 合S計算公式如下S = {MB (χ, y) I (χ = row-sw/4，y = col-sw/4) V (χ = row-sw/4，y = col)V(x = row-sw/4, y = col+sw/4) V (x = row, y = col-sw/4) V (x = row, y = col)V(x = row，y = col+sw/4) V (x = row+sw/4，y = col-sw/4)V(x = row+sw/4, y = col) V (x = row+sw/4, y = col+sw/4)}(2. 4)計算集合S中與B相對應(yīng)基準點的宏塊的SAD值，具有最小SAD值的宏塊的基準 點即為搜索起點，根據(jù)搜索起點可得MV(row，col)，進入(2.7)；(2. 5)通過對左、上、右上宏塊的初始運動向量求取平均值得到MV(row，col)，進入 (2. 7)；(2.6)設(shè)置 MV (row，col)為 0，進入(2.7)；(2. 7)返回MV (row，col)，繼續(xù)下一個宏塊。
3.根據(jù)權(quán)利要求1所述的通過邊界檢測作為運動估計參考的視頻前景對象編碼方法， 其特征在于所述步驟(4)預(yù)搜索并適時停止搜索的方法為記初始搜索起點為(m，n)，對 應(yīng)的宏塊為MB (m, η)，MBDk表示第k輪搜索產(chǎn)生的MBD點，PIk和POk表示第k輪搜索產(chǎn)生的兩種不同類型的宏塊，PIk表示根據(jù)擴散規(guī)則成功擴散出的點中，位于圖像內(nèi)的點對應(yīng)宏 塊的集合，POk表示根據(jù)擴散規(guī)則成功擴散出的點中，位于圖像外的點對應(yīng)宏塊的集合，具 體包含以下步驟(3. 1)初始化當前MBD點MBDtl= (m, η)，擴散成功且位于圖像內(nèi)的點對應(yīng)的宏塊集合 PI0 = 0，以及擴散成功且位于圖像外的點對應(yīng)的宏塊集合POq = 0，設(shè)當前為LHSP搜索；(3. 2)令k = k+Ι，計算圖像內(nèi)和圖像外擴散成功的點所對應(yīng)的宏塊的集合PIk和P0k， 其中PIk的計算公式如下
全文摘要
通過邊界檢測作為運動估計參考的視頻前景對象編碼方法，屬于視頻編碼技術(shù)領(lǐng)域，包含以下步驟(1)將連續(xù)采集的視頻分成參考幀和預(yù)測幀，并將參考幀和預(yù)測幀分成若干固定大小的宏塊；(2)對參考幀和預(yù)測幀分別進行前景提?。?3)對于參考幀，采用靜態(tài)圖像壓縮算法，并編碼視頻的輪廓信息；(4)對于預(yù)測幀，通過邊界檢測確定搜索起點，從搜索起點進行預(yù)搜索并適時停止搜索得到相應(yīng)宏塊的運動向量，對視頻的輪廓信息和運動向量及殘差進行編碼。本發(fā)明在對視頻各個圖像幀進行前景提取的基礎(chǔ)上，實時地進行視頻壓縮，能有效的減少圖像幀需要編碼的內(nèi)容，加快編碼速度，并且提高壓縮比，減少了搜索次數(shù)，有效提高了編碼效率。
文檔編號H04N7/46GK102075757SQ20111003553
公開日2011年5月25日 申請日期2011年2月10日 優(yōu)先權(quán)日2011年2月10日
發(fā)明者劉寒冰, 吳威, 周忠, 趙沁平, 陳秀文 申請人:北京航空航天大學