用于數(shù)字基帶視頻中的丟失幀檢測的啟發(fā)式方法
【專利摘要】本發(fā)明涉及用于數(shù)字基帶視頻中的丟失幀檢測的啟發(fā)式方法。根據(jù)本發(fā)明的實施例的用于檢測視頻中丟失幀的視頻檢測器可包括：質(zhì)量測量器，其被構(gòu)造為生成在當(dāng)前幀和先前幀之間的過渡的質(zhì)量度量，動態(tài)閾值生成器，其被構(gòu)造為基于在當(dāng)前幀內(nèi)的塊的比較來生成閾值，以及標(biāo)識器，其被構(gòu)造為基于在差值和閾值之間的比較來將所述視頻指示為具有丟失幀。還描述了在視頻流中執(zhí)行丟失幀檢測的方法。
【專利說明】用于數(shù)字基帶視頻中的丟失幀檢測的啟發(fā)式方法
【技術(shù)領(lǐng)域】
[0001]本公開涉及視頻分析，并且更特別地，涉及檢測視頻流中何時已經(jīng)丟失視頻幀。
【背景技術(shù)】
[0002]視頻或者視頻流是順序圖像幀的集合。有時，由于多種因素中的任意因素，在視頻傳送期間一些幀可能被丟失，并使得到的視頻在質(zhì)量上受到影響。例如，由于低帶寬傳輸信道、高編碼復(fù)雜度，或甚至在從基于磁帶的工作流轉(zhuǎn)換到基于文件的工作流期間，幀可能被丟失。
[0003]--種視頻質(zhì)量測量度量被稱為體驗質(zhì)量(QOE)，其將一個數(shù)值歸于視頻或者視
頻的一部分。由于觀看包括了相當(dāng)大數(shù)量的丟失幀的視頻對用戶而言是失望的并且不是愉快的觀看體驗，因此丟失幀降低了 Q0E。
[0004]附圖1中圖示出了描繪丟失幀的典型情況。幀1、2和3存在于視頻中，而幀4-7已經(jīng)丟失。該視頻從幀8繼續(xù)。
[0005]自動丟失幀檢測是一個要解決的固有難題，這是因為存在大量的因素，例如，視頻中運動的數(shù)量、視頻內(nèi)容的特性、由于閃光或者視頻中的其他原因引起的大的亮度變化、感覺到的抖動的主觀特性、源處的獲取幀率、以及丟失幀本身的數(shù)量。
[0006]在由Steven Wolf 提出，題目為 “A no-reference (NR) and reduced reference(RR)metric for detecting dropped video frames”，并且包括在 2009 年 I 月的“Proceeding of the Fourth International Workshop on Video Processing and QualityMetrics for Consumer Electronics”中的文章中，描述了一種解決自動幀丟失檢測的問題的嘗試。報導(dǎo)的方法利用了跨越視頻序列的N幀的“運動能量時間歷史”。隨后其使用這一信息來生成一個閾值，以確定視頻幀是否被丟失。這一方法的潛在缺點是其僅僅依賴于視頻幀的亮度變化，并且忽視了其他可能的失真。而且，這一方法在計算“運動能量時間歷史”時，僅對全局”幀級別起作用。
[0007]本發(fā)明的實施例解決了現(xiàn)有技術(shù)的這些以及其他局限性。`
【發(fā)明內(nèi)容】

[0008]本發(fā)明的實施例解決了現(xiàn)有技術(shù)中對于檢測視頻流中的丟失幀的不足。根據(jù)本發(fā)明的實施例的用于檢測視頻中丟失幀的視頻檢測器可包括:質(zhì)量測量器，其被構(gòu)造為生成在當(dāng)前幀和先前幀之間的過渡的質(zhì)量度量，動態(tài)閾值生成器，其被構(gòu)造為基于在當(dāng)前幀內(nèi)的塊的比較來生成閾值，以及標(biāo)識器，其被構(gòu)造為基于差值和閾值之間的比較來將視頻幀指示為具有丟失幀。此外，本發(fā)明的實施例可包括用于檢測視頻流中的丟失幀的方法。示例方法可包括首先確定從先前幀向當(dāng)前幀的過渡的質(zhì)量度量，然后將該質(zhì)量度量與閾值差分水平進行比較。然后，當(dāng)質(zhì)量度量滿足或者超出閾值差分水平時，該方法指示在視頻幀的流中存在丟失幀。下面描述檢測丟失幀的視頻檢測器和方法的其他變形。【專利附圖】

【附圖說明】
[0009]圖1圖示出了通過本發(fā)明的實施例可被確定為具有丟失幀的視頻中的單個場景的一系列視頻幀。
[0010]圖2圖示出了由本發(fā)明的實施例所使用的由丟失幀引起的時間差異。
[0011]圖3圖示出了通過本發(fā)明的實施例不可被確定為具有丟失幀的視頻中的兩個場景的一系列視頻幀。
[0012]圖4是圖示出了根據(jù)本發(fā)明的實施例的檢測視頻中丟失幀的示例方法的流程圖。
[0013]圖5是圖示出了根據(jù)本發(fā)明的實施例的獲取動態(tài)閾值水平的示例方法的流程圖。
[0014]圖6是圖示出了根據(jù)本發(fā)明的實施例的被構(gòu)造為識別視頻的丟失幀的視頻檢測器的部件的框圖。
【具體實施方式】
[0015]結(jié)構(gòu)相似性索引度量(SSM)是用于評價視頻的客觀質(zhì)量度量，并且在Z.Wang等提出的，題目為 “Image Quality Assessment:From Error Visibility to StructuralSimilarity”,并在“ IEEE Transactions on Image Processing, Vol.13,N0.4, 2004年4 月，，中公布的文章中被一般性描述，并且該文章通過引用被并入本文中。
[0016]SSIM已經(jīng)僅被用作為一種質(zhì)量度量，以評估原始幀和應(yīng)用了有損視頻壓縮技術(shù)之后的對應(yīng)壓縮幀之間的失真。然而，本發(fā)明的實施例，首先將SSIM的概念擴展到幀之間的過渡之一，然后檢查關(guān)于生成的SSM的質(zhì)量，從而幫助確定考慮中的視頻中是否已經(jīng)丟失幀。
[0017]已知SSM來對人類視覺系統(tǒng)(HVS)進行建模，因為其在評價兩個視頻幀時，考慮了亮度(L)、對比度(C)以及結(jié)構(gòu)⑶上的變化。分量L、C和S中的每個被定義如下:
[0018]等式I L= (2*Ux*Uy+C I ) / ((Ux)2+(Uy) 2+Cl)
[0019]等式2 C = (2* O X* O y)+C2)/(( O x)2+( O y)2+C2)
[0020]等式3 S = ( o xy+C3) / (( o x* o y) +C3)
[0021]總SSM是這些分量的乘機，并且被定義如下，
[0022]等式4 SSIM(x, y) = (2*Ux*Uy+C I ) * (2* o xy+C2) / (((Ux)2+(Uy) 2+Cl) * (( o x)2+(oy)2+C2))
[0023]其中，
[0024]? x, y規(guī)定了幀中的小重疊滑動窗口。
[0025]? Ux =塊X的平均值
[0026]? Uy=塊y的平均值
[0027]? (ox)2=塊 X 的方差
[0028]? (oy)2 =塊 y 的方差
[0029]? ( O X)=塊X的標(biāo)準(zhǔn)偏差
[0030]? ( O y)=塊y的標(biāo)準(zhǔn)偏差
[0031]? Oxy=塊X和y的共方差
[0032]? Cl =定義為(klL)2(kl-0.01)的恒量
[0033]? C2 =定義為(k2L)2(k2_0.03)的恒量[0034]? C3 = C2/2
[0035]? L =像素的動態(tài)范圍-(2bits_per_pixel_l)
[0036]本發(fā)明的實施例利用了一種原理，即，在兩個連貫幀之間丟失了某些視頻幀時，由于它們之間的時間距離，使得這兩幀傾向于變得固有地“不相似”。它們之間丟失的幀的數(shù)量越高，時間距離就越大，并且因此不相似性就越大。圖2中圖示出了這一點。在這一原理基礎(chǔ)上，計算兩個連貫幀之間的SSM。如下面參考圖5描述的，還評價以每幀為基礎(chǔ)的動態(tài)閾值，其考慮在當(dāng)前幀N中的每個小塊的局部變化。然后，如參考圖4所描述的,在閾值和SSM之間的最終比較決定了在幀N和(N-1)之間是否丟失了任何幀。
[0037]如圖3中所圖示出的，當(dāng)檢測幀丟失時，要考慮的一個方面是在視頻序列中的“場景變化”。典型地，在視頻序列中存在一些點，在該點處，存在從一個“場景”到另一個場景的突然過渡，諸如圖3中所圖示的。在圖3中，第一場景包括幀I和2，而第二場景包括幀3、4和5。當(dāng)然，場景通常長于二或三幀，并且這一圖示僅僅被做出來表達概念。這樣的場景過渡不應(yīng)被認(rèn)為是幀丟失，即使幀3將與幀2十分不同。因此，作為對下面描述的方法的先例，首先對給定幀執(zhí)行場景變化檢測。如果其確實被檢測為是新“場景”的開始，則無需進一步處理，并且將序列中的下一幀針對幀丟失進行評價。
[0038]可以使用任何場景變化檢測技術(shù),例如在由XiaoquanYi和Nam Ling提出并在2005 年 6 月的“Annual International Symposium on ComputerArchitecture，，中公布的，題目為“Fast pixels-based video scene change detection”的文章中描述的技術(shù)，其通過引用被并入本文中。
[0039]如圖4所圖示的，示出了一種用于檢測視頻幀的流中的丟失視頻幀的示例方法。在圖4中，示例方法100在操作110處開始，其開始于由一系列的幀構(gòu)成的視頻流中的第
--幀。由于這--示例方法計算兩幀之間的SSIM，`緊接在操作110之后，方法100沿著
“A”方向退出操作115，其僅在操作155中，前進到視頻中的下一幀。接著，操作160確定是否到達序列的末尾。在這種情況下，還沒有到達末尾，因此操作160沿著“B”方向退出，返回到操作115。
[0040]在第二次及隨后的各次經(jīng)過操作115，方法100退出到操作120，其確定在當(dāng)前幀和緊接在前的一幀之間是否已經(jīng)存在場景變化。如果存在場景變化，則操作125確定還不存在幀丟失，并且該方法緊接著進行到操作155，其將該方法100前進到下一幀。如果相反，在操作120中不存在場景變化，則在操作130中使用例如上面描述的技術(shù)來針對當(dāng)前幀計算平均SSM。
[0041]接著，在操作135中計算動態(tài)幀丟失閾值。參考圖5，給出了計算動態(tài)幀丟失閾值的更多細(xì)節(jié)，但是通常計算一個閾值，其確定構(gòu)成當(dāng)前幀的子幀塊是彼此相似的還是進一步與彼比遠離的。
[0042]在計算針對當(dāng)前幀的動態(tài)幀閾值之后，將在步驟130中計算的針對該幀的平均SSIM與在操作135中計算的幀丟失閾值進行比較。如果平均SSIM小于或者等于計算的動態(tài)幀丟失閾值，則在操作150中將該流標(biāo)記為包括丟失幀。如果相反，平均SSIM大于動態(tài)幀丟失閾值，則操作145確定該流在當(dāng)前幀和先前幀之間不具有丟失幀。
[0043]操作155前進到該流中的下一幀并且返回到操作115來分析下一幀。相反，如果操作150確定序列已經(jīng)結(jié)束，則該方法100在步驟165處結(jié)束其處理。[0044]因此，本發(fā)明的實施例通過首先確定視頻中從先前幀到當(dāng)前幀的過渡的質(zhì)量度量來檢測視頻幀的流中的丟失視頻幀。如上所述，通過計算針對當(dāng)前幀的SSIM來確定這一度量。接著將該質(zhì)量度量與閾值差分水平進行比較。最后，當(dāng)該質(zhì)量度量滿足或者超過閾值差異水平時，本發(fā)明的實施例指不視頻巾貞的流中存在丟失中貞。
[0045]一些實施例還附加地確定在當(dāng)前幀和先前幀之間是否存在場景變化，并且如果有，則省去對當(dāng)前幀的處理。
[0046]一些實施例通過生成動態(tài)閾值水平來計算閾值差異水平。這可包括將當(dāng)前幀的多個子幀塊的SSIM與用于比較的子幀塊的相似性的度量進行比較。其他實施例還將多個子幀塊的SSIM與不相似性的度量進行比較。
[0047]圖5圖示出了用于計算動態(tài)閾值水平的示例方法200。該方法200開始于操作210，通過計算針對當(dāng)前幀中的子幀塊的度量，例如SSM的標(biāo)準(zhǔn)偏差。操作220中初始化了臨時幀丟失閾值總量。
[0048]操作230將當(dāng)前子幀塊的SSM與相似性閾值進行比較。該相似性閾值根據(jù)經(jīng)驗被確定，并且可以為各種類型的應(yīng)用而被調(diào)整。如果當(dāng)前子幀塊的SSIM等于或者超過相似性閾值，則在操作235中從當(dāng)前子幀塊的SSM中減去該標(biāo)準(zhǔn)偏差。這通過降低幀丟失閾值來有效地“獎勵(reward) ”相似塊。
[0049]接著，操作240將當(dāng)前子幀塊的SSIM與同樣根據(jù)經(jīng)驗確定的不相似性閾值進行比較。如果當(dāng)前子幀塊的SSIM等于或者小于該不相似性閾值，則在操作245中將該標(biāo)準(zhǔn)偏差加到當(dāng)前子幀塊的SSIM。這通過增加幀丟失閾值來有效也“懲罰(punish)”不相似塊。
[0050]無論在操作235還是245中已經(jīng)進行調(diào)整與否，操作250都將針對當(dāng)前子幀塊的SSIM加到臨時幀丟失總量。如果當(dāng)前塊是該幀中的最后的子幀塊，該方法200在“是”方向上退出操作260，并且在操作270中通過生成平均幀丟失閾值來確定最終動態(tài)幀丟失閾值。如果相反，存在更多子幀塊要計算，則在操作265中下一個塊被增量，并且該方法200返回到操作230以用于進一步處理。
[0051]可通過特殊化的硬件來執(zhí)行該方法，例如專用集成電路(ASIC)、或者數(shù)字信號處理器(DSP)。其他實施例可包括編程的現(xiàn)場可編程門陣列(FPGA)，或者特殊化的電路。其他的實施例可以在專業(yè)計算機處理器或者一個或者多個特定編程的通用處理器上執(zhí)行。
[0052]圖6中圖示出了根據(jù)本發(fā)明的實施例的視頻解碼器的示例實施例，其示出了用于檢測視頻中丟失幀的視頻檢測器300。針對檢測器300的輸入接受由多個幀構(gòu)成的視頻。該幀可由多個子幀塊構(gòu)成。質(zhì)量測量器310被構(gòu)造為生成在視頻信號的當(dāng)前幀和先前幀之間的過渡的質(zhì)量度量。動態(tài)閾值生成器320被構(gòu)造為基于在當(dāng)前幀內(nèi)的塊的比較來生成閾值，例如通過使用與上面參考圖5所描述的方法200相同或者相似的技術(shù)。該視頻檢測器300還包括標(biāo)識器330，被構(gòu)造為基于在差值和閾值之間的比較來將視頻指示為具有丟失幀。在一些實施例中，質(zhì)量測量器310是結(jié)構(gòu)相似性索引度量(SSIM)計算器。
[0053]動態(tài)閾值生成器320可接受作為輸入的相似性閾值322和不相似性閾值324，這兩個閾值都可以根據(jù)經(jīng)驗來確定。
[0054]該視頻檢測器300還包括場景變化檢測器340，其被構(gòu)造為確定在當(dāng)前幀和先前幀之間是否存在場景變化。
[0055]如上所述，在各種實施例中，本發(fā)明的部件可以按照硬件、軟件、或者二者的組合來實現(xiàn)，并且可包括通用微處理器、數(shù)字信號處理器(DSP)、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)等等。
[0056]將根據(jù)前面的討論所理解的是，本發(fā)明代表了在視頻檢測上的顯著改進。盡管已經(jīng)出于說明目的說明和描述了本發(fā)明的具體實施例，但是將理解的是，在不背離本發(fā)明的精神和范圍的情況下，可以做出各種修改。因此，除了如由所附權(quán)利要求所限制外，本發(fā)明不應(yīng)當(dāng)被限制。
【權(quán)利要求】
1.一種用于檢測視頻中丟失幀的視頻檢測器，該視頻包括多個單獨的順序幀，每個幀由多個單獨的塊構(gòu)成，所述檢測器包括: 輸入，用于接受所述視頻； 質(zhì)量測量器，其被構(gòu)造為生成在當(dāng)前幀和先前幀之間的過渡的質(zhì)量度量； 動態(tài)閾值生成器，其被構(gòu)造為基于在當(dāng)前幀內(nèi)的塊的比較來生成閾值；以及 標(biāo)識器，其被構(gòu)造為基于在差值和閾值之間的比較來將所述視頻指示為具有丟失幀。
2.根據(jù)權(quán)利要求1的用于檢測丟失幀的視頻檢測器，其中所述質(zhì)量測量器是結(jié)構(gòu)相似性索引度量(SSIM)計算器。
3.根據(jù)權(quán)利要求1的用于檢測丟失幀的視頻檢測器，其中所述動態(tài)閾值生成器被構(gòu)造為將當(dāng)前幀的子幀塊的SSIM與針對被比較的子幀塊的相似性的度量進行比較。
4.根據(jù)權(quán)利要求3的用于檢測丟失幀的視頻檢測器，其中動態(tài)閾值生成器被進一步構(gòu)造為將當(dāng)前幀的子幀塊的SSIM與針對被比較的子幀塊的不相似性的度量進行比較。
5.根據(jù)權(quán)利要求4的用于檢測丟失幀的視頻檢測器，其中根據(jù)經(jīng)驗得到相似性的度量和不相似性的度量。
6.根據(jù)權(quán)利要求1的用于檢測丟失幀的視頻檢測器，進一步包括場景變化檢測器，其被構(gòu)造為確定在第一幀和第二幀之間是否存在場景變化。
7.根據(jù)權(quán)利要求6的用于檢測丟失幀的視頻檢測器，其中，當(dāng)所述場景變化檢測器確定在第一幀和第二幀之間存在場景變化時，所述視頻檢測器被構(gòu)造為使所述質(zhì)量測量器和動態(tài)閾值生成器不生成針對當(dāng)前幀的值。
8.一種用于檢測視頻幀的流中丟失視頻幀的方法，所述方法包括: 確定視頻中從先前幀到當(dāng)前幀的過渡的質(zhì)量度量； 將所述質(zhì)量度量與閾值差異水平進行比較；以及 當(dāng)所述質(zhì)量度量滿足或者超過所述閾值差異水平時，指示所述視頻幀的流中存在丟失幀。
9.根據(jù)權(quán)利要求8的用于檢測視頻幀的流中丟失視頻幀的方法，其中確定過渡的質(zhì)量度量包括生成結(jié)構(gòu)相似性索引度量(SSIM)。
10.根據(jù)權(quán)利要求8的用于檢測視頻幀的流中丟失視頻幀的方法，進一步包括: 確定在當(dāng)前幀和先前幀之間是否存在場景變化。
11.根據(jù)權(quán)利要求8的用于檢測視頻幀的流中丟失視頻幀的方法，進一步包括: 生成所述閾值差異水平。
12.根據(jù)權(quán)利要求11的用于檢測視頻幀的流中丟失視頻幀的方法，其中生成所述閾值差異水平包括生成動態(tài)閾值水平。
13.根據(jù)權(quán)利要求12的用于檢測視頻幀的流中丟失視頻幀的方法，其中: 生成所述動態(tài)閾值水平包括將當(dāng)前幀的多個子幀塊的SSIM與針對被比較的子幀塊的相似性的度量進行比較。
14.根據(jù)權(quán)利要求13的用于檢測視頻幀的流中丟失視頻幀的方法，進一步包括: 將當(dāng)前幀的多個子幀塊的SSIM與針對被比較的子幀塊的不相似性的度量進行比較。
【文檔編號】H04N19/89GK103458266SQ201310274590
【公開日】2013年12月18日 申請日期:2013年5月27日 優(yōu)先權(quán)日:2012年5月28日
【發(fā)明者】K·S·拉馬斯瓦米, M·V·卡累古達 申請人:特克特朗尼克公司