用于估計視頻質(zhì)量評估的運動均勻性的方法及裝置制造方法
【專利摘要】當場景均勻地或者快速地移動時，人眼對凝固偽像變得敏感。為了測量運動均勻性的強度，估計搖攝均勻性參數(shù)以考慮例如由相機搖攝、傾斜和平移造成的各向同性的運動矢量，對例如由相機縮放造成的徑向?qū)ΨQ的運動矢量估計縮放均勻性(5)參數(shù)，對例如由相機旋轉(zhuǎn)造成的旋轉(zhuǎn)對稱的運動矢量估計旋轉(zhuǎn)均勻性參數(shù)。隨后，基于搖攝、縮放和旋轉(zhuǎn)均勻性參數(shù)來估計總體運動均勻性參數(shù)。然后，使用總體運動均勻性參數(shù)估計(10)凝固失真因子。與壓縮和切片失真因子組合的凝固失真因子用于估計視頻質(zhì)量度量。
【專利說明】用于估計視頻質(zhì)量評估的運動均勻性的方法及裝置
[0001] 相關(guān)申請的交叉引用
[0002] 本申請要求享有于2012年8月27日提交的WO國際申請第PCT/CN2012/080627 號的權(quán)益。

【技術(shù)領(lǐng)域】
[0003] 本發(fā)明涉及視頻質(zhì)量度量，并且更具體地，涉及一種用于響應(yīng)于運動信息來確定 視頻質(zhì)量度量的方法和裝置。所確定的視頻質(zhì)量度量然后可以用于例如調(diào)整編碼參數(shù)或者 提供在接收器側(cè)所需的視頻質(zhì)量。

【背景技術(shù)】
[0004] 人類對凝固（freezing)偽像（亦即，視覺暫停）的感知與場景的運動密切相關(guān)。 當場景均勻地或者快速地移動時，人眼對凝固偽像變得敏感。
[0005] 在 F. Zhang、N. Liao、K. Xie 和 Z. Chen 共同擁有的標題為 "Video Quality Measurement" 的 PCT 申請（PCT/CN2011/082870,律師案號 PA110050,以下為 "Zhang"）中 公開了一種使用從比特流得出的參數(shù)（例如，量化參數(shù)、內(nèi)容不可預(yù)測性參數(shù)、丟失塊的比 率、傳播塊的比率、錯誤隱藏距離、運動矢量、凝固的持續(xù)時間以及幀速率）來估計壓縮失 真因子、切片（slicing)失真因子和凝固失真因子的方法，通過引用將其教導具體地并入 本文。


【發(fā)明內(nèi)容】

[0006] 本原理提供一種用于產(chǎn)生包括在比特流中的視頻的質(zhì)量度量的方法，如下所述， 包含以下步驟：訪問視頻的畫面的運動矢量；響應(yīng)于運動矢量來確定運動均勻性參數(shù)；以 及響應(yīng)于運動均勻性參數(shù)來確定質(zhì)量度量。本原理還提供一種用于執(zhí)行這些步驟的裝置。
[0007] 本原理還提供一種用于產(chǎn)生包括在比特流中的視頻的質(zhì)量度量的方法，如下所 述，包含以下步驟：訪問視頻的畫面的運動矢量；響應(yīng)于運動矢量來確定運動均勻性參數(shù)， 其中，運動均勻性參數(shù)表示各向同性的運動矢量、徑向?qū)ΨQ的運動矢量以及旋轉(zhuǎn)對稱的運 動矢量中的至少一個的均勻性的強度；響應(yīng)于運動均勻性參數(shù)來確定凝固失真因子；以及 響應(yīng)于凝固失真因子來確定質(zhì)量度量，如下所述。本原理還提供一種用于執(zhí)行這些步驟的 裝置。
[0008] 本原理還提供一種在其上存儲用于根據(jù)上述方法產(chǎn)生包括在比特流中的視頻的 質(zhì)量度量的指令的計算機可讀取的存儲介質(zhì)。

【專利附圖】

【附圖說明】
[0009] 圖1是圖示根據(jù)本原理的實施例的對應(yīng)于運動場（motion field)以及搖攝、縮放 和旋轉(zhuǎn)均勻性參數(shù)（IH、RH和AH)的標度的不同的相機移動的圖例。
[0010] 圖2A和2B分別是圖示徑向投影和角投影的圖例。
[0011] 圖3是圖示根據(jù)本原理的實施例的用于基于運動均勻性估計視頻質(zhì)量的示例的 流程圖。
[0012] 圖4是圖示根據(jù)本原理的可以通過一種或多種實現(xiàn)方式使用視頻質(zhì)量測量裝置 的示例的框圖。
[0013] 圖5是圖示可以通過本原理的一種或多種實現(xiàn)方式使用的視頻處理系統(tǒng)的示例 的框圖。

【具體實施方式】
[0014] 即使是很慢的均勻運動也可以吸引人眼的注意。當視頻解碼器凝固解碼時，例如 當畫面數(shù)據(jù)或參考畫面丟失并因此造成視覺暫停時，人類對凝固偽像或視覺暫停的感知與 場景的運動密切相關(guān)。當場景均勻地或者快速地移動時，人眼對凝固偽像變得敏感。
[0015] 相機移動經(jīng)常造成場景中的均勻運動。典型的一組基本的相機操作包括搖攝 (pan)、傾斜、旋轉(zhuǎn)/搖擺、平移/跟蹤/上升（boom)、推移（dolly)/縮放，其中，搖攝、傾斜 和搖擺分別是繞Y軸、X軸和Z軸的旋轉(zhuǎn)，而上升和推移則分別是沿著Y軸和Z軸的平移。 在捕捉內(nèi)容時，相機移動通常不是非常大，并且很少同時執(zhí)行多種類型的相機操作。因此， 相機操作經(jīng)?？梢员灰暈榘瑔我活愋偷囊苿樱鐑H僅是搖攝、上升或者平移。
[0016] 圖1例示了多種相機操作以及畫面中的示例性的結(jié)果運動場。一般出現(xiàn)三種類型 的運動場：A)由于搖攝、傾斜和平移/跟蹤/上升出現(xiàn)的各向同性的運動場；B)由于推移/ 縮放出現(xiàn)的徑向?qū)ΨQ的運動場；以及C)由于旋轉(zhuǎn)/搖擺出現(xiàn)的旋轉(zhuǎn)對稱的運動場。所有以 上運動場都表現(xiàn)均勻的運動，其中，畫面中的當前區(qū)域的運動矢量與鄰近區(qū)域的運動矢量 沒有太大不同。在一個示例中，當相機搖攝時，所捕捉的視頻表現(xiàn)均勻的運動，運動矢量以 基本相似的大?。╩agnitude)指向基本相似的方向。在另一個示例中，當相機旋轉(zhuǎn)時，所捕 捉的視頻也表現(xiàn)均勻的運動，運動矢量以基本相似的角速度沿著相同的方向（即，順時針 或逆時針）旋轉(zhuǎn)。對于人眼，因為運動矢量在整個畫面上基本統(tǒng)一或一致，所以均勻的運動 可以呈現(xiàn)明顯的運動趨勢。這可能是在具有均勻運動的場景凝固時，由于人眼期待運動趨 勢繼續(xù)而凝固偽像對人眼很明顯的原因。
[0017] 另外，前景或背景對象也可能造成均勻運動，例如可以在具有公共汽車駕駛或者 風車轉(zhuǎn)動的視頻中的均勻運動。
[0018] 在本申請中，從運動矢量（MV)確定視頻片段的運動均勻性參數(shù)，并且使用運動均 勻性參數(shù)來估計視頻序列的凝固失真因子。具體地，使用運動均勻性參數(shù)來測量運動矢量 在視頻中有多均勻，并且使用凝固失真因子來測量凝固失真。
[0019] 多數(shù)現(xiàn)存的視頻壓縮標準（例如，H. 264和MPEG-2)使用宏塊（MB)作為基本編碼 單位。因此，下面的實施例使用宏塊作為基本的處理單位。然而，所述原理可以適用于使用 不同大小的塊，例如8x8的塊、16x16的塊、32x32的塊或者64x64的塊。
[0020] 為了確定運動均勻性參數(shù)，對運動矢量進行預(yù)處理。例如，使用預(yù)測畫面和對應(yīng)的 參考畫面之間的間隔對MV進行歸一化，并且如果MV是向后參考的，則將它們的符號取反。 如果宏塊是幀內(nèi)預(yù)測的，并且因此沒有MV，則將MB的MV設(shè)置為顯示次序下的最近先前畫面 中的同位MB的MV( S卩，與最近先前畫面中的當前MB位置相同的MB)。對于B畫面中的雙向 預(yù)測的MB，將MB的MV設(shè)置為使用預(yù)測畫面和參考畫面之間的間隔進行了歸一化的兩個MV 的平均。
[0021] 隨后，定義若干均勻性參數(shù)以考慮不同類型的運動場。下面，詳細地論述各向同性 的運動、徑向?qū)ΨQ的運動以及旋轉(zhuǎn)對稱的運動的均勻性參數(shù)。
[0022] A)各向同性的
[0023] 使用搖攝均勻性參數(shù)（記為IH)來對與各向同性的運動矢量相關(guān)聯(lián)的運動均勻性 的強度進行量化。使用H. 264作為示例，對于單個畫面，可以將畫面中的所有MV的矢量均 值定義為：
[0024]

【權(quán)利要求】
1. 一種用于產(chǎn)生包括在比特流中的視頻的質(zhì)量度量的方法，包含以下步驟： 訪問（320)視頻的畫面的運動矢量； 響應(yīng)于運動矢量來確定（360)運動均勻性參數(shù)；以及 響應(yīng)于運動均勻性參數(shù)來確定（380)質(zhì)量度量。
2. 根據(jù)權(quán)利要求1所述的方法，還包含： 響應(yīng)于運動均勻性參數(shù)來確定凝固失真因子，其中，響應(yīng)于凝固失真因子來確定質(zhì)量 度量。
3. 根據(jù)權(quán)利要求1或2所述的方法，其中，運動均勻性參數(shù)表示各向同性的運動矢量、 徑向?qū)ΨQ的運動矢量以及旋轉(zhuǎn)對稱的運動矢量中的至少一個的均勻性的強度。
4. 根據(jù)權(quán)利要求1或2所述的方法，其中，運動均勻性參數(shù)表示由相機操作造成的運動 的均勻性的強度，相機操作包括搖攝、旋轉(zhuǎn)、傾斜、平移、放大和縮小中的至少一種。
5. 根據(jù)權(quán)利要求1或2所述的方法，其中，確定運動均勻性參數(shù)的步驟還包含： 響應(yīng)于運動矢量來確定（330, 340, 350)搖攝均勻性參數(shù)、縮放均勻性參數(shù)以及旋轉(zhuǎn)均 勻性參數(shù)中的至少一個。
6. 根據(jù)權(quán)利要求5所述的方法，其中，響應(yīng)于運動矢量的徑向投影來確定縮放均勻性 參數(shù)。
7. 根據(jù)權(quán)利要求5所述的方法，其中，確定縮放均勻性參數(shù)的步驟包含： 確定左半畫面和右半畫面中的運動矢量的水平分量之和之間的第一差異，以及上半畫 面和下半畫面中的運動矢量的垂直分量之和之間的第二差異，其中，響應(yīng)于第一和第二差 異來確定縮放均勻性參數(shù)。
8. 根據(jù)權(quán)利要求5所述的方法，其中，響應(yīng)于運動矢量的角投影來確定旋轉(zhuǎn)均勻性參 數(shù)。
9. 根據(jù)權(quán)利要求5所述的方法，其中，確定旋轉(zhuǎn)均勻性參數(shù)的步驟包含： 確定左半畫面和右半畫面中的運動矢量的垂直分量之和之間的第一差異，以及上半畫 面和下半畫面中的運動矢量的水平分量之和之間的第二差異，其中，響應(yīng)于第一和第二差 異來確定旋轉(zhuǎn)均勻性參數(shù)。
10. 根據(jù)權(quán)利要求5所述的方法，其中，響應(yīng)于搖攝均勻性參數(shù)、縮放均勻性參數(shù)和旋 轉(zhuǎn)均勻性參數(shù)中的至少一個，將運動均勻性參數(shù)確定為最大值函數(shù)和均值函數(shù)中的至少一 個。
11. 根據(jù)權(quán)利要求1或2所述的方法，還包含： 執(zhí)行以下至少一項：監(jiān)視比特流的質(zhì)量；響應(yīng)于質(zhì)量度量來調(diào)整比特流；基于質(zhì)量度 量來創(chuàng)建新的比特流；調(diào)整用于傳送比特流的分發(fā)網(wǎng)絡(luò)的參數(shù)；基于質(zhì)量度量來確定是否 保持比特流；以及在解碼器處選取錯誤隱藏模式。
12. -種用于產(chǎn)生包括在比特流中的視頻的質(zhì)量度量的裝置（500,600)，包含： 解碼器（520)，訪問視頻的畫面的運動矢量； 運動矢量解析器（536)，響應(yīng)于運動矢量來確定運動均勻性參數(shù)；以及 質(zhì)量預(yù)測器（550)，響應(yīng)于運動均勻性參數(shù)來確定質(zhì)量度量。
13. 根據(jù)權(quán)利要求12所述的裝置，還包含： 切片失真預(yù)測器（542)，響應(yīng)于運動均勻性參數(shù)來確定凝固失真因子，其中，響應(yīng)于凝 固失真因子來確定質(zhì)量度量。
14. 根據(jù)權(quán)利要求12或13所述的裝置，其中，運動均勻性參數(shù)表示各向同性的運動矢 量、徑向?qū)ΨQ的運動矢量以及旋轉(zhuǎn)對稱的運動矢量中的至少一個的均勻性的強度。
15. 根據(jù)權(quán)和要求12或13所述的裝置，其中，運動均勻性參數(shù)表示由相機操作造成的 運動的均勻性的強度，相機操作包括搖攝、旋轉(zhuǎn)、傾斜、平移、放大和縮小中的至少一種。
16. 根據(jù)權(quán)和要求12或13所述的裝置，其中，運動矢量解析器響應(yīng)于運動矢量來確定 搖攝均勻性參數(shù)、縮放均勻性參數(shù)以及旋轉(zhuǎn)均勻性參數(shù)中的至少一個。
17. 根據(jù)權(quán)利要求15所述的裝置，其中，運動矢量解析器響應(yīng)于運動矢量的徑向投影 來確定縮放均勻性參數(shù)。
18. 根據(jù)權(quán)利要求15所述的裝置，其中，運動矢量解析器確定左半畫面和右半畫面中 的運動矢量的水平分量之和之間的第一差異，以及上半畫面和下半畫面中的運動矢量的垂 直分量之和之間的第二差異，其中，響應(yīng)于第一和第二差異來確定縮放均勻性參數(shù)。
19. 根據(jù)權(quán)利要求15所述的裝置，其中，響應(yīng)于運動矢量的角投影來確定旋轉(zhuǎn)均勻性 參數(shù)。
20. 根據(jù)權(quán)利要求15所述的裝置，其中，運動矢量解析器確定左半畫面和右半畫面中 的運動矢量的垂直分量之和之間的第一差異，以及上半畫面和下半畫面中的運動矢量的水 平分量之和之間的第二差異，其中，響應(yīng)于第一和第二差異來確定旋轉(zhuǎn)均勻性參數(shù)。
21. 根據(jù)權(quán)利要求15所述的裝置，其中，運動矢量解析器響應(yīng)于搖攝均勻性參數(shù)、縮放 均勻性參數(shù)和旋轉(zhuǎn)均勻性參數(shù)中的至少一個，將運動均勻性參數(shù)確定為最大值函數(shù)和均值 函數(shù)中的至少一個。
22. 根據(jù)權(quán)利要求12或13所述的裝置，還包含： 視頻質(zhì)量監(jiān)視器（640,650,660)，執(zhí)行以下至少一項：監(jiān)視比特流的質(zhì)量；響應(yīng)于質(zhì)量 度量來調(diào)整比特流；基于質(zhì)量度量來創(chuàng)建新的比特流；調(diào)整用于傳送比特流的分發(fā)網(wǎng)絡(luò)的 參數(shù)；基于質(zhì)量度量來確定是否保持比特流；以及在解碼器處選取錯誤隱藏模式。
23. -種在其上存儲用于根據(jù)權(quán)利要求1至11產(chǎn)生包括在比特流中的視頻的質(zhì)量度量 的指令的計算機可讀取的存儲介質(zhì)。
【文檔編號】H04N17/00GK104509109SQ201380039648
【公開日】2015年4月8日 申請日期:2013年6月14日 優(yōu)先權(quán)日:2012年8月27日
【發(fā)明者】張帆, 廖寧, 顧曉東, 陳志波 申請人:湯姆遜許可公司