用于基于上下文的視頻質(zhì)量評(píng)估的方法和裝置的制造方法
【技術(shù)領(lǐng)域】
[0001] 本發(fā)明涉及視頻質(zhì)量測(cè)量，并且更具體地，涉及用于確定客觀視頻質(zhì)量度量的方 法和裝置。
【背景技術(shù)】
[0002] 已經(jīng)開發(fā)出不同的方法來估計(jì)視頻序列中的各個(gè)幀的質(zhì)量級(jí)別。給出視頻序列中 的各個(gè)幀的所估計(jì)的質(zhì)量級(jí)別，已經(jīng)在時(shí)間匯合（pool)策略的框架下研宄了獲取與視頻 序列的所感知的質(zhì)量良好匹配的客觀的總的視頻質(zhì)量度量的方法。

【發(fā)明內(nèi)容】

[0003] 所述原理提供一種用于估計(jì)視頻序列的視覺質(zhì)量的方法，如下所述，其包含：訪問 包括視頻序列中的當(dāng)前幀的多個(gè)滑動(dòng)窗口中的幀的空間失真；響應(yīng)于每個(gè)滑動(dòng)窗口中的幀 的各自的空間失真，確定指示每個(gè)滑動(dòng)窗口的代表偽像級(jí)別（representative artifact level)和大失真密度（large distortion density)中的至少一個(gè)的因子；響應(yīng)于所確定 的因子來確定當(dāng)前幀的時(shí)間失真；以及響應(yīng)于當(dāng)前幀的時(shí)間失真來確定視頻序列的視覺質(zhì) 量。所述原理還提供用于執(zhí)行這些步驟的裝置。
[0004] 所述原理還提供一種用于估計(jì)視頻序列的視覺質(zhì)量的方法，如下所述，其包含：訪 問包括視頻序列中的當(dāng)前幀的多個(gè)滑動(dòng)窗口中的幀的空間失真；響應(yīng)于每個(gè)滑動(dòng)窗口中的 幀的各自的空間失真來確定指示每個(gè)滑動(dòng)窗口的代表偽像級(jí)別和大失真密度中的至少一 個(gè)的因子；確定多個(gè)滑動(dòng)窗口的因子的最大值；響應(yīng)于最大的因子來確定當(dāng)前幀的時(shí)間失 真；以及響應(yīng)于當(dāng)前幀的時(shí)間失真來確定視頻序列的視覺質(zhì)量。所述原理還提供用于執(zhí)行 這些步驟的裝置。
[0005] 所述原理還提供一種計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，在其上存儲(chǔ)有用于根據(jù)上述方法來估 計(jì)視頻序列的視覺質(zhì)量的指令。
【附圖說明】
[0006] 圖IA是圖示示例性視頻序列中的各個(gè)幀的空間偽像級(jí)別的圖示示例，圖IB是圖 示示例性視頻序列中的各個(gè)幀的所感知的時(shí)間質(zhì)量的圖示示例。
[0007] 圖2A、2B和2C是根據(jù)所述原理的實(shí)施例的圖示在視頻質(zhì)量建模中所使用的滑動(dòng) 窗口的圖示示例。
[0008] 圖3A是圖不另外的不例性視頻序列中的各個(gè)幀的空間偽像級(jí)別的圖不不例， 并且圖3B和3C分別是根據(jù)所述原理的實(shí)施例的圖示幀的鄰域中的主導(dǎo)失真（dominant distortion)和所估計(jì)出的時(shí)間失真的圖示示例。
[0009] 圖4A是圖示另外的示例性視頻序列中的各個(gè)幀的空間偽像級(jí)別的圖示示例，并 且圖4B和4C分別是根據(jù)所述原理的實(shí)施例的圖示幀的鄰域中的最高的大失真密度和所估 計(jì)出的時(shí)間失真的圖示示例。
[0010] 圖5A是圖示另外的示例性視頻序列中的各個(gè)幀的空間偽像級(jí)別的圖示示例，并 且圖5B和5C分別是根據(jù)所述原理的實(shí)施例的圖示幀的鄰域中的最高的大失真密度和所估 計(jì)出的時(shí)間失真的圖示示例。
[0011] 圖6是圖示根據(jù)所述原理的實(shí)施例的對(duì)幀n的時(shí)間失真建模的示例性方法的流程 圖。
[0012] 圖7是圖示根據(jù)所述原理的實(shí)施例的示例性視頻質(zhì)量監(jiān)視器的框圖。
[0013] 圖8是圖示可以與一個(gè)或多個(gè)實(shí)現(xiàn)方式一起使用的示例性視頻處理系統(tǒng)的框圖。
【具體實(shí)施方式】
[0014] 在本申請(qǐng)中，使用"空間偽像"來表示在對(duì)視頻序列中的圖片獨(dú)立于視頻序列中的 其他圖片來觀看時(shí)在該圖片中所感知的偽像，并且使用"時(shí)間偽像"來表示在連續(xù)地顯示視 頻序列中的圖片時(shí)在視頻序列的一個(gè)圖片中所感知的偽像。類似地，使用"空間失真"或"空 間質(zhì)量"來表示在獨(dú)立于視頻序列中的其他圖片來觀看圖片時(shí)在該圖片中所感知的失真或 質(zhì)量，并且使用"時(shí)間失真"或"時(shí)間質(zhì)量"來表示在連續(xù)地顯示視頻序列中的圖片時(shí)在視 頻序列的一個(gè)圖片中所感知的失真或質(zhì)量。
[0015] 在評(píng)估空間失真時(shí)，在一時(shí)間段內(nèi)獨(dú)立于視頻序列中的其他圖片地觀看一個(gè)圖 片，該時(shí)間段對(duì)于觀看者識(shí)別圖像內(nèi)容和失真是足夠長(zhǎng)的。這與評(píng)估圖片被連續(xù)地顯示的 情況下的時(shí)間失真不同。
[0016] 在本申請(qǐng)中，術(shù)語(yǔ)"幀"與術(shù)語(yǔ)"圖片"可互換地使用。術(shù)語(yǔ)"失真"和"偽像"兩者 都指幀中的質(zhì)量下降，并且往往可互換地使用。
[0017] 幀n的空間失真記為ds(n)，其可以通過多種圖像質(zhì)量評(píng)估方法來獲得，例如但 不限于全參考（full-reference)或無參考（no-reference)方法以及像素域或比特流 級(jí)別的方法。在一個(gè)實(shí)施例中，如在N. Liao、Z. Chen和K. Xie的標(biāo)題為"Video quality assessment at a bitstream level"的共同擁有的 PCT 申請(qǐng)（PCT/CN2012/078766,律師案 號(hào)PA120027)(通過引用將其教導(dǎo)具體地并入本文）中公開的那樣，可以將空間失真估計(jì)為 由初始和/或傳播的可見偽像所引起的總的可見偽像級(jí)別。
[0018]圖片中的空間偽像需要持續(xù)一段時(shí)間，使得眼睛可以盯住并且將其識(shí)別為偽像。 當(dāng)圖片是視頻序列的一部分并且每個(gè)僅顯示非常短的一段時(shí)間（例如，在實(shí)時(shí)播放視頻時(shí) 的l/frame_rate的期間）時(shí)，在幀n的時(shí)刻所感知的視頻失真即幀n的時(shí)間失真dt(n)可 以與幀n的空間失真ds(n)相當(dāng)不同。這可以是因?yàn)闀r(shí)間失真dt(n)受其鄰近幀的內(nèi)容和 失真所影響。
[0019] 對(duì)于示例性視頻序列，圖IA示出視頻序列中的各個(gè)幀的空間偽像級(jí)別，并且圖IB 示出視頻序列中的各個(gè)幀的時(shí)間質(zhì)量。更具體地，圖IA示出在示例性視頻序列遭受包損失 時(shí)的幀的空間偽像級(jí)別?？臻g偽像可以在視頻序列中不定時(shí)發(fā)生，例如在幀74、77、215、261 和262處所看到的空間偽像?？臻g偽像也可以突發(fā)性地出現(xiàn)，諸如在幀106-111周圍所看 到的偽像。
[0020] 圖IB示出在連續(xù)地顯示視頻序列的幀時(shí)的時(shí)間質(zhì)量，其中得分100對(duì)應(yīng)于最佳質(zhì) 量。取決于質(zhì)量測(cè)量方法，質(zhì)量得分可以以不同的標(biāo)度。時(shí)間質(zhì)量的精確曲線可以使用主觀 測(cè)試方法來得到，例如但不限于在ITU-R BT 500中所定義的單刺激連續(xù)質(zhì)量評(píng)價(jià)（Single Stimulus Continuous Quality Eevaluation, SSCQE)〇
[0021] 從圖IA可以看出，在獨(dú)立地觀看幀74和77時(shí)，這兩個(gè)幀有強(qiáng)的空間偽像。然 而，在連續(xù)地顯示視頻時(shí)，這兩個(gè)幀的偽像變得不可見，并且因此，如圖IB所示，在連續(xù)觀 看時(shí)，幀74和77處于最佳質(zhì)量級(jí)別。因此，強(qiáng)的空間偽像可能并不總是對(duì)應(yīng)于高的時(shí)間失 真。另一方面，視頻序列的一個(gè)幀在獨(dú)立于其他幀被觀看時(shí)可能看起來具有良好的質(zhì)量，但 在連續(xù)顯示視頻序列時(shí)可能呈現(xiàn)強(qiáng)的時(shí)間失真（例如，運(yùn)動(dòng)抖動(dòng)）即，小的空間失真可能并 不總是對(duì)應(yīng)于小的所感知的時(shí)間失真（即，更高的時(shí)間質(zhì)量）。
[0022] 因此，空間失真（即，在獨(dú)立于視頻序列中的其他圖片觀看一個(gè)圖片時(shí)）可能與時(shí) 間失真（即，在連續(xù)觀看圖片時(shí)）相當(dāng)不同。所述原理提供根據(jù)各個(gè)幀的空間失真對(duì)時(shí)間 質(zhì)量精確地建模的方法和裝置。具體地，所述原理考慮影響觀看者如何標(biāo)識(shí)時(shí)間失真的上 下文，其中所述上下文包括例如但不限于失真的持續(xù)時(shí)間和圖案（pattern)以及觀看者經(jīng) 由觀看鄰近幀而識(shí)別出的紋理和對(duì)象的運(yùn)動(dòng)。
[0023] 在一個(gè)實(shí)施例中，給出空間失真，可以使用滑動(dòng)窗口方法對(duì)所感知的時(shí)間失真進(jìn) 行建模。如圖2A-2C所示，包括幀n的L tl個(gè)幀的滑動(dòng)窗口（表示為Si;n)開始于幀（n-i)并 且結(jié)束于幀（n-1+U-l) (0 < i〈U)?？梢赃x擇近似于觀看者的眼睛識(shí)別失真所需要的時(shí)間 段的窗口長(zhǎng)度。因此，滑動(dòng)窗口包括U= round (TtlX frame_rate)個(gè)幀，其中，Ttl是觀看者 識(shí)別失真所需要的時(shí)間段，并且frame_rate是視頻序列的幀速率。存在于滑動(dòng)窗口之外的 偽像被視為對(duì)當(dāng)前幀的時(shí)間偽像的可見性具有很少的貢獻(xiàn)。
[0024] 觀察到，當(dāng)前幀的所感知的時(shí)間失真主要受附近具有大失真（即，失真級(jí)別超過 某個(gè)閾值）的幀所影響。在所述原理中，提供不同的實(shí)施例來估計(jì)在幀的鄰域中的這樣聚 簇（cluster)的大空間失真的影響。
[0025] 在一個(gè)實(shí)施例中，可以使用滑動(dòng)窗口中的中值失真值（median distortion value)的最大值來估計(jì)時(shí)間失真。數(shù)學(xué)地，對(duì)于每個(gè)滑動(dòng)窗口 Si;n，可以將Si;n中的幀的中 值失真計(jì)算為：
[0026]MDi，n= median {ds (j)，幀j G S j (I)
[0027] 中值（median)函數(shù)檢查鄰近的幀，以決定當(dāng)前幀的空間失真是否代表其周圍環(huán) 境（surroundings)并且拒絕極端的失真級(jí)別（離群值（outlier))。即，可以將 滑動(dòng)窗口 Si;n的代表性失真級(jí)別。在其他實(shí)施例中，可以使用取平均數(shù)（averaging)或其 他過濾方法來獲得MDi;n。