專利名稱：在基于數(shù)據(jù)包的視頻廣播系統(tǒng)中的空間丟失和時間丟失的確定的制作方法
技術(shù)領(lǐng)域：
本發(fā)明一般性地涉及基于數(shù)據(jù)包的視頻廣播系統(tǒng)。更具體地，本
發(fā)明涉及用于估計在使用MPEG2/4/H.264-AVC兼容型編碼的加密的 視頻流中的系列圖像中的視頻編碼層信息的丟失程度及其影響的方 法。
在諸如互聯(lián)協(xié)議電視(IPTV)和直接廣^"衛(wèi)星(DBS)應(yīng)用的 典型的廣播系統(tǒng)中，多視頻節(jié)目是并行編碼的，數(shù)字壓縮的比特流多 路復(fù)用到單個的固定或可變比特率信道中。視頻編碼層 (MPEG2/4/H.264-AVC ) —般在傳輸?shù)絀P網(wǎng)絡(luò)之前分塊成小的、固 定大小的數(shù)據(jù)包(MPEG2傳輸流)。在IP網(wǎng)絡(luò)中的一般的數(shù)據(jù)包丟 失可能遵循多種丟失分布，其中每一個丟失事件可能是單個、連續(xù)或 稀疏突發(fā)(sparse burst)丟失。這種丟失導(dǎo)致在視頻編碼層丟棄幀、 片或宏塊。這些宏塊可能是可幀內(nèi)或幀間預(yù)測的，可能是參考幀表 (list)的一部分，在這種情況下丟失的時間持續(xù)可能延伸到接連的若 干個幀。
只在IP級上測量數(shù)據(jù)包丟失率不足以確定在視頻內(nèi)容層的丟失 傳播。IP數(shù)據(jù)包丟失的視覺影響必須通過分析在視頻內(nèi)容層的丟失傳 播來確定。另外，編碼質(zhì)量非常依賴于量化誤差，在每一個宏塊處的 量化分布決定了編碼質(zhì)量，量化越高，DCT系數(shù)丟失越大，造成了低 的圖像質(zhì)量。在加密的環(huán)境中，用來確定量化數(shù)據(jù)和誤差傳播的空間 和時間程度的所有信息都不可得到。 一般地，傳輸流負(fù)載被加密。該 負(fù)載包括在多個段、幀、片和宏塊處的視頻編碼層信息。所需要的是 當(dāng)測量設(shè)備監(jiān)控的視頻流被加密時用來確定該信息的 一種方法。期望MPEG編碼的可變比特率(VBR) -f見頻流量(traffic)來主導(dǎo) 寬帶網(wǎng)絡(luò)的帶寬。這種流量能夠以流、點播、IPTV或DBS型環(huán)境傳 遞。精確的模型必須考慮到峰值限制的(capped) VBR或CBR型 環(huán)境、視頻復(fù)雜性和在各種丟失分布模式下的誤差的空間/時間傳播。 這些參數(shù)對使監(jiān)測系統(tǒng)預(yù)測在工作中的任何提議的網(wǎng)絡(luò)的性能是必 需的。圖1示出了在典型的IPTV環(huán)境中傳遞視頻內(nèi)容時所包含的組 件。作為模擬信號生成的視頻源使用編碼器編碼、被分成包(包化) 并使用IP網(wǎng)絡(luò)發(fā)送?？梢宰鳛榻M播(multicast)或單播(unicast) 目的地發(fā)送到網(wǎng)絡(luò)。核包括各種組件來約束和管理訂戶和流量。將內(nèi) 容存于內(nèi)容服務(wù)器中，并在需要時傳遞給用戶。
MPEG編碼標(biāo)準(zhǔn)定義了視頻解碼過程所用的在視頻的各個段的 時間信息。圖2示出了存在時間信息的數(shù)據(jù)包層。在編碼器中有單一 的普通的系統(tǒng)時鐘。使用該時鐘創(chuàng)建指示音頻和視頻的正確的顯示和 解碼時間的時間標(biāo)簽，也創(chuàng)建指示在采樣間隔處的系統(tǒng)時鐘本身的即 時值的時間標(biāo)簽。指示音頻和視頻的顯示時間的時間標(biāo)簽稱作顯示時 間標(biāo)簽(PTS )。指示解碼時間的時間標(biāo)簽稱作解碼時間標(biāo)簽(DTS )。 那些指示系統(tǒng)時鐘的值的時間標(biāo)簽在傳輸流中稱作節(jié)目時鐘參考 (PCR)。
因此，需要的是分析在頭端(headend)和下游端(downstream end)(圖1中的IPTV內(nèi)容分布點)處的視頻時間信息并將來自頭 端的信息關(guān)聯(lián)到下游視頻采樣實例的處理。本發(fā)明滿足了這些需要并 提供了其它相關(guān)的優(yōu)點。

發(fā)明內(nèi)容
本發(fā)明提供了一種用于實時估計視頻編碼層信息的丟失的方法。 這通過分析來自視頻流的未加密的頭端和加密的下游端的視頻時間 并在收集位置關(guān)聯(lián)信息來實現(xiàn)。 一旦確定了信息，通過確定視頻內(nèi)容 丟失的空間和時間內(nèi)容來計算IP數(shù)據(jù)包的丟失/丟失分布事件的效 應(yīng)。量化數(shù)據(jù)及其分布也可用該方法來確定。一種用于確定在加密的環(huán)境中的在基于數(shù)據(jù)包的^L頻廣播系統(tǒng) 中的空間丟失和時間丟失的處理(方法)，包括收集在^L頻流的未加 密的頭端處的具有相應(yīng)時間標(biāo)簽的視頻編碼層信息，并同時收集在該 視頻流的加密的下游端處的具有相應(yīng)時間標(biāo)簽的網(wǎng)絡(luò)層信息。使用各 自的時間標(biāo)簽將視頻編碼層信息與網(wǎng)絡(luò)層信息關(guān)聯(lián)。使用關(guān)聯(lián)的信息 計算視頻流中從頭端到下游端的空間丟失和時間丟失。
該處理包括在每一個收集步驟中收集與視頻流的離散段 (discreet section )相對應(yīng)的信息和參數(shù)的步驟。視頻流的離散段包括 存取單元、片或宏塊。在每一個存取單元中的參數(shù)包括關(guān)聯(lián)時間、圖 片分辨率、序列號或即時解碼器刷新號。在每一個片中的參數(shù)包括片 標(biāo)識、片類型或序列號。在每一個宏塊中的參數(shù)包括宏塊類型、宏塊 大小、序列號、參考索引或丟失標(biāo)記。
同時收集網(wǎng)絡(luò)層的信息的步驟包括對視頻流中的丟失事件創(chuàng)建 表示數(shù)據(jù)包丟失分布信息的統(tǒng)計模型的步驟。
計算步驟包括計算空間丟失和時間丟失持續(xù)時間和受丟失事件 影響的片或宏塊的步驟。計算步驟還包括使用計算的空間丟失和時間 丟失確定視頻流中的丟失的步驟。步驟還包括如下步驟將視頻編碼 層信息和網(wǎng)絡(luò)層信息映射以便從視頻流的下游端到頭端匹配IP/端口 數(shù)據(jù)；在未加密狀態(tài)事件中保存存取單元表及所關(guān)聯(lián)的參照圖表；定 位在存取單元表與加密狀態(tài)事件之間的匹配；和識別在存取單元表的 離散段和關(guān)聯(lián)的參照圖表中的丟失的數(shù)據(jù)包。
通過下面的參照附圖的更具體的說明，本發(fā)明的其它特征和優(yōu)點 將變得明顯。所述附圖通過示例的方式圖示了本發(fā)明的原理。


附示了本發(fā)明。在圖中
圖1是示出了帶有潛在測量點的IPTV (IP電視)分布式網(wǎng)絡(luò)的
例子；
圖2示出了典型的協(xié)議棧，其中視頻編碼層內(nèi)容以IP/UDP/MPEG2TS封裝(打包，encapsulate),并提取網(wǎng)絡(luò)和視頻編 碼層統(tǒng)計的值；
圖3示出了典型的協(xié)議棧，其中視頻編碼層內(nèi)容以IP/UDP/RTP
封裝，并提取網(wǎng)絡(luò)和視頻編碼層統(tǒng)計的值；
圖4示出了可用于提供關(guān)聯(lián)時間的時間信息選擇。
圖5示出了在頭端位置為視頻編碼層信息收集的參數(shù)。
圖6示出了在下游端位置為網(wǎng)絡(luò)層信息收集的參數(shù)。
圖7示出了在利用VCL和系統(tǒng)參數(shù)提供關(guān)聯(lián)信息輸出的收集器
處的關(guān)聯(lián)單元輸入。
具體實施例方式
本發(fā)明涉及用于估計在支持MPEG2/4/H.264-AVC型圖片編碼 的視頻流中的 一 系列圖像中的視頻編碼層信息的方法，包括在編碼的 視頻流流動期間在頭端創(chuàng)建視頻編碼層信息的統(tǒng)計，存儲適合存儲單 元/片的宏塊的預(yù)測和運(yùn)動信息及可用時間信息(PCR)，將這些因素 (要素)和定時時間傳送給收集器。與此同時，在下游端，在編碼的 視頻流流動期間創(chuàng)建表示數(shù)據(jù)包丟失分布信息的統(tǒng)計模型，存儲丟失 因素和可用時間信息(RTP/PCR/PTS、 DTS或統(tǒng)計生成時間)，將 所述因素和定時時間傳送給收集器。收集器然后利用從頭端和下游位 置生成的時間信息，而使視頻編碼層段信息與網(wǎng)絡(luò)層信息關(guān)聯(lián)。
如下所述，本發(fā)明的方法能夠提供用于工業(yè)寬視頻質(zhì)量評估模型 的圖像復(fù)雜性測量。在2006年7月10日提交的題為"Image Complexity Computation in Packet-Based Video Broadcast Systems" 的美國專利申請?zhí)?1/456,505中說明了這樣的一個模型，這里作為引 用并入其內(nèi)容。
本發(fā)明提供了分布式系統(tǒng)來估計在加密的環(huán)境中感知的視頻質(zhì) 量。該方法允許收集器從在加密的環(huán)境中分析視頻的探針得到視頻編 碼層參數(shù)并計算圖像復(fù)雜性值。該方法使用更精確測量感知的視頻質(zhì) 量的#見頻內(nèi)容的空間統(tǒng)計和時間統(tǒng)計來方l更計算分包的視頻流中的損傷。本方法還為分包的視頻應(yīng)用提供了在規(guī)則間隔處的圖像復(fù)雜性 和對人視覺系統(tǒng)感知的視頻復(fù)雜性的估計。另外，本方法還為一般的 工業(yè)寬視頻質(zhì)量評估模型提供圖像復(fù)雜性的估計，包括但不限于峰值
信噪比(PSNR) , MPQM、 MQUANT、均方才艮誤差(RMSE)以及 可被視頻編碼器、多路復(fù)用器、路由器、視頻點播(VOD)服務(wù)器、 廣播服務(wù)器和視頻質(zhì)量測量裝置使用和整合的離線和實時圖像復(fù)雜 性測量。
該方法在與空間信息相關(guān)聯(lián)的負(fù)載被加密時為INTRA (幀間) 預(yù)測的幀確定丟失的空間內(nèi)容。該方法還在與時間信息相關(guān)聯(lián)的負(fù)載 被加密時利用在一系列編碼的圖像中的INTER(幀內(nèi))預(yù)測信息確定 丟失的時間內(nèi)容。該方法還確定受在加密的環(huán)境中的包丟失影響的存 取單元的百分比。
在圖1-7中示出了本發(fā)明的優(yōu)選實施例。本發(fā)明的實施例可用于 例如在圖1中所示的IPTV傳輸系統(tǒng)。
圖1示出了典型的IPTV分布式網(wǎng)絡(luò)10，包括IPTV內(nèi)容獲取部 12、 IPTV管理系統(tǒng)14、 IPTV內(nèi)容分配部16和IPTV消費(fèi)者18。視 頻源20、 22通常以模擬形式獲取并由^L頻編碼器24、 26以MPEG1 /2/4格式編碼，發(fā)送給視頻點播服務(wù)(VOD)器28或廣播服務(wù)器 30。源于VOD或廣播服務(wù)器28、 30的流可以由DRM服務(wù)器32、 34 加密。服務(wù)器28、 30將內(nèi)容加密為節(jié)目流以輸送到網(wǎng)絡(luò)核36。使用 時，DRM服務(wù)器32、 34加密來自服務(wù)器28、 30的封裝的內(nèi)容，將 它傳遞給網(wǎng)絡(luò)核36。網(wǎng)絡(luò)核36是相對高的帶寬通道(pipe)。
IPTV網(wǎng)絡(luò)10還包括多個管理組件、提供和服務(wù)保證組件。IPTV 管理系統(tǒng)14包括操作支持系統(tǒng)(OSS) 38、訂戶管理系統(tǒng)40和應(yīng)用 服務(wù)器42來創(chuàng)建新的增值服務(wù)。在服務(wù)器44的邊緣，內(nèi)容被存儲在 位于臨近消費(fèi)者的VOD服務(wù)器46或廣播服務(wù)器48中。廣播服務(wù)器 48還能夠從被編碼器52以MPEGl/2/4格式編碼的廣播視頻源50 接收本地內(nèi)容。這里DRW服務(wù)器54同樣能夠加密來自廣播服務(wù)器 48的傳輸流輸出。消費(fèi)者通過優(yōu)選為電纜/ DSL線58的寬帶存取線56存取內(nèi)容。電視一般連接到將視頻流編碼成組件輸出的機(jī)頂盒60。
在網(wǎng)絡(luò)10的潛在加密和未加密的位置布置了多個探針64、 66、 68、 70。探針64、 66能夠采集未加密的VCL信息71,因為它們能夠 對未加密的傳輸流進(jìn)行存取。探針68、 70只能采集加密的網(wǎng)絡(luò)層參 數(shù)73，因為傳輸流在兩個存取位置都被加密了。這些探針將VCL和 網(wǎng)絡(luò)層信息發(fā)送給收集器72來執(zhí)行關(guān)聯(lián)功能，正如下文所述。
圖2示出了分包的視頻流的協(xié)議棧。媒質(zhì)相關(guān)聯(lián)接部74是以太 網(wǎng)絡(luò)、光纖同步網(wǎng)絡(luò)、DS3、光纜或DSL接口。 PHY芯片76從事媒 質(zhì)相關(guān)包處理。IP層78是為IPTV網(wǎng)絡(luò)IO中的分組路由提供尋址的 網(wǎng)絡(luò)層。用戶數(shù)據(jù)報協(xié)議(UDP) 80是為存取端口提供應(yīng)用層尋址的 傳輸層。編碼的視頻可以按MPEG1/2/4壓縮，作為MPEG傳輸 流82發(fā)送。傳輸流82包括用于音頻、視頻和其它信息的節(jié)目信息。 網(wǎng)絡(luò)提取層84—般以H.264/ AVC型編碼形式存在，無間隙地傳輸 在網(wǎng)絡(luò)10上傳輸?shù)囊曨l編碼層86信息。在MPEG傳輸流82層提取 用于測量的網(wǎng)絡(luò)值88。在對每一個編碼器/解碼器特定的視頻編碼層 86中提取用于測量的視頻編碼層信息90。使用RTP92而不是MPEG2 82來運(yùn)送節(jié)目和時間信息的協(xié)議棧示于圖3。對所有其它的層，在圖 3中的協(xié)議棧與圖2的協(xié)議棧相同。
圖4示出了如何將數(shù)據(jù)包解碼來得到關(guān)聯(lián)時間標(biāo)簽94。只有一 個時間標(biāo)簽被輸出以進(jìn)行關(guān)聯(lián)。關(guān)聯(lián)時間標(biāo)簽優(yōu)選順序是PCR、 PTS / DTS 、 RTP和基于可用性的統(tǒng)計生成時間(從上到下顯示)。MPEG2 TS數(shù)據(jù)包96提供了 PCR時間標(biāo)簽98 。 PES數(shù)據(jù)包100提供了 PTS /DTS時間標(biāo)簽102。 RTP數(shù)據(jù)包104提供了 RTP時間標(biāo)簽106。統(tǒng) 計生成事件108提供統(tǒng)計時間標(biāo)簽110。生成的時間標(biāo)簽98、 102、 106、 IIO根據(jù)上面說明的優(yōu)先順序處理，以生成單個的時間標(biāo)簽94。
圖5示出了從視頻編碼層86提取的、作為VCL參數(shù)112傳輸給 收集器72的信息90。到VCL參數(shù)112的輸入包括存取單元信息 116;關(guān)聯(lián)時間基準(zhǔn)118;幀間或幀內(nèi)預(yù)測的宏塊類型、大小(4x4， 8x4， 8x8， 16x16)和量化120; -見頻編碼標(biāo)準(zhǔn)專用信息122;在水平和垂
ii直大小124上屏幕以像素表示的分辨率；1/B/P片和類型126;通 過分析編碼層得到的視頻120的縱橫比；參照圖表/索引130。這些 參數(shù)112利用關(guān)聯(lián)時間118以n (可配置)個存取單元的間隔輸出到 收集器72。圖6示出了在加密位置的網(wǎng)絡(luò)層提取的參數(shù)132。參數(shù)132包括 在傳輸流級(level)的丟失事件計數(shù)器134;丟失事件長度計數(shù)器136 測量丟失(突發(fā)或單)長度；每一個丟失事件的關(guān)聯(lián)時間138。丟失 事件一旦發(fā)生，所有的網(wǎng)絡(luò)參數(shù)132就被收集并利用關(guān)聯(lián)時間138輸 出到收集器72。圖7示出了關(guān)聯(lián)單元140輸入、來自頭端142的VCL參數(shù)和來 自下游144的網(wǎng)絡(luò)參數(shù)。輸出即關(guān)聯(lián)視頻流146是指具有VCL和網(wǎng) 絡(luò)層信息和計算的空間及時間丟失內(nèi)容的單流(single stream)。 K104一宏塊148給出了受影響的宏塊的百分比。K104—片150給出了 受影響的片的百分比。K10t圖片152給出了受影響的圖片的百分 比。現(xiàn)在參照上述說明的組件說明優(yōu)選的實施例的操作。在位于 DRM服務(wù)器32、 34之前的探針64處，對每n ( n在系統(tǒng)中是可配置 的)個存取單元執(zhí)行下面的操作，識別的參數(shù)被輸出到收集器72。對每一 個一見頻流初始化流信息，o設(shè)置E100-目的地IP/端口/節(jié)目ID串(string);對實例中的每一個存取單元，初始化變量o設(shè)置關(guān)聯(lián)時間范圍A100(低)-0; A106(高"0 o設(shè)置圖片的分辨率A103-0;o設(shè)置序列號A101-0; 對來自存取單元基準(zhǔn)時間的每一個 傳輸負(fù)載大小(188字節(jié))，對VCL內(nèi)容原始字節(jié)序列負(fù)荷 (RBSP)將序列號增加到宏塊級；o設(shè)置IDR(即時解碼刷新)存取單元A102=0;如果可用的話。 對存取單元中的每一個片，初始化如下變量 o設(shè)置片ID B100=0;o設(shè)置片類型 B100-未知； o為片數(shù)據(jù)設(shè)置序列號范圍B102-B103=0。 對每一個片集的每一個宏塊，設(shè)置如下o設(shè)置宏塊類型C100-未知；以后將發(fā)送給INTRA或INTER預(yù)測；o設(shè)置宏塊大小C102=0; o為宏塊數(shù)據(jù)設(shè)置序列號范圍C103-C107=0; o設(shè)置到參照圖表的參照索引C104=0，這將索引到與n個存 取單元相關(guān)的參照圖表；o設(shè)置到參照圖內(nèi)的宏塊的參照索引C105=0,這將是到表中的參照圖的宏塊索引；o設(shè)置標(biāo)記來指示宏塊的丟失C106-錯。 初始化參照圖表存取單元。對n個存取單元，保存參照圖表，每 一個參照圖結(jié)構(gòu)將具有如下相關(guān)聯(lián)的信息o設(shè)置關(guān)聯(lián)時間范圍D100(低)-0; D104(高"0;o對參照圖中的存取單元，設(shè)置序列號范圍D102=0; 對參照圖中的每一個宏塊，oi殳置序列號范圍D103=0;o設(shè)置標(biāo)記來指示宏塊的丟失D104=^~; 在每一個傳輸流數(shù)據(jù)包，在未加密的探針64位置處執(zhí)行下述操作o對每一個存取單元定界符，在PCR或PTS中取得關(guān)聯(lián)時間源；假設(shè)在這個環(huán)境中當(dāng)前TS負(fù)載是加密的，并且只有PCR可用作關(guān)聯(lián)源；o設(shè)置F102 =流ID串；o設(shè)置A100=最后的PCR基值+(從最后的PCR基值到存取 單元定界符位的位時間的數(shù)量)* 37;假設(shè)是27 MHz時鐘基準(zhǔn)；o設(shè)置A106=最后的PCR基值+(從最后的PCR基值到存取單元結(jié)束定界符位的位時間的數(shù)量)* 37; o對每188字節(jié)的存取單元數(shù)據(jù)，增加A101; o對片數(shù)據(jù)RBSP開始，設(shè)置B102-A101; o設(shè)置片數(shù)據(jù)RBSP結(jié)束，B103-A101; o設(shè)置B100=片—ID; o設(shè)置B101 =片—類型(I/B/P/SI/SP).對片集中的每一個宏塊o對宏塊開始，設(shè)置B101=A101; o對宏塊結(jié)束，設(shè)置B107 = A101; oi殳置C102 二宏塊大??； o設(shè)置C104=參照索引圖片表； o設(shè)置C105=參照索引圖片；o設(shè)置C106-錯(假)；如果遇到丟失，將其設(shè)為對(真)； o設(shè)置C108-宏塊的量化值； o如果編碼器指示，就將存取單元加到參照圖表； o在每n個存取單元間隔，用流將上述值(參照(reference) +存取單元信息)輸出到收集器(72)。 對加密位置的每一個^f見頻流，初始化下述流信息 o設(shè)置FlO(^目的地IP/端口 /節(jié)目ID串； o設(shè)置D100-0來設(shè)置丟失的TS數(shù)據(jù)包的PCR基值一10 (可配置)，這是為確保存取單元邊界被匹配； o設(shè)置D101-D102 = 0來為丟失(突發(fā)或單個)設(shè)置序列號 范圍；o設(shè)置D103 = 0來設(shè)置丟失事件序列號。 在每n (可配置)個丟失事件(丟失事件定義為在其中有單個或 連續(xù)的丟失期間持續(xù)的事件)o設(shè)置D100[10]=在丟失之前存儲10個PCR值；o設(shè)置D104=最終PCR基值+位時間的數(shù)量(從最終PCR基值到最終丟失發(fā)生的TS中的第 一個負(fù)載)* 37;o設(shè)置D103-0;在每一個丟失事件，增加D103; oi更置D101-D103丟失開始；和 o設(shè)置D102-D103丟失結(jié)束。 用流信息將上述參數(shù)輸出到收集器72。在收集器72從加密的和未加密的位置處收集參數(shù)，并將它們存 儲用于分析。執(zhí)行下述分析來計算空間和時間持續(xù)時間、受丟失影響 的片/宏塊。用從加密的探針68、 70到探針64、 66的流映射來配置收集器 72以將IP/端口從加密匹配到未加密。在每一個來自探針64、 66的 未加密的狀態(tài)事件，為配置的流ID保持存取單元表及其關(guān)聯(lián)的參照 圖表，直到預(yù)配置數(shù)目的存取單元為止。在來自探針68、 70的每一 個加密狀態(tài)事件，匹配流ID來配置存取單元表(E100);當(dāng)發(fā)現(xiàn)與加密 流的匹配時，執(zhí)行如下操作o對每一個丟失事件，找到存取單元邊界；o在存取單元和參照圖表中將最匹配的存取單元開始時間A100與D100 [10匹配；o設(shè)置G100-D102-D101作為丟失數(shù)據(jù)包；o設(shè)置C106=真來指示存取單元丟失；01<:101++指示存取單元丟失計數(shù)器； 對每一個存取單元基值，遍歷在存取單元表和參照圖表中的每一 個片和宏塊。通過執(zhí)行下述操作來發(fā)現(xiàn)受丟失影響的片(INTRA片) 設(shè)置do_more—slice =真； While (do—more—slice)oGlOl -B103-B102; If (G101 >G100)丟失是在片中 else Do_more—slice =真；o設(shè)置K102+十來指示片丟失；o設(shè)置G102 = C107-C103; While (G102—)15o設(shè)置CI 06=真來指示宏塊丟失； OK103++來指示宏塊丟失；o空間/時間丟失事件K104等于在其中幀間預(yù)測/幀內(nèi)預(yù) 測到片并且在片中幀間預(yù)測/幀內(nèi)預(yù)測到宏塊的存取單元； 即，K104—片=(K102 * 100) / (全部幀間預(yù)測/幀內(nèi)預(yù)測 到的片)；oK104—宏塊=(K103 * 100)/ (全部幀間預(yù)測/幀內(nèi)預(yù)測 到的宏塊)；oK104—圖片=(K101*100)/ (全部幀間預(yù)測/幀內(nèi)預(yù)測 到的存取單元)。如果片或宏塊被幀間預(yù)測到，就需要使用下面的程序來從參照 圖表預(yù)測宏塊以便發(fā)現(xiàn)它是否受丟失影響。如果它們被幀間預(yù)測到， 就在每一個片中遍查宏塊。 While (G102—)o得到參照圖表的索引C104、 C105; olf(參照圖表[C104[C105.宏塊標(biāo)記C106設(shè)置為真) o十+K103;指示宏塊丟失； 還可以在關(guān)聯(lián)匹配完成后從宏塊信息C108中提取量化參數(shù)。 盡管出于說明的目的詳細(xì)說明了實施例，但可以對每一個實施例 進(jìn)行各種變化而不脫離本發(fā)明的范圍和精神。
權(quán)利要求
1、一種用于確定在加密的環(huán)境中的在基于數(shù)據(jù)包的視頻廣播系統(tǒng)中的空間丟失和時間丟失的方法，包括如下步驟收集在視頻流的未加密的頭端處的具有相應(yīng)時間標(biāo)簽的視頻編碼層信息；同時收集在該視頻流的加密的下游端處的具有相應(yīng)時間標(biāo)簽的網(wǎng)絡(luò)層的信息；使用各自的時間標(biāo)簽將視頻編碼層信息與網(wǎng)絡(luò)層信息關(guān)聯(lián)；以及使用關(guān)聯(lián)的信息計算從頭端到下游端的空間丟失和時間丟失。
2、 如權(quán)利要求l所述的方法，包括在每一個收集步驟中收集與 視頻流的離散段相對應(yīng)的信息和參數(shù)的步驟。
3、 如權(quán)利要求2所述的方法，其特征在于，視頻流的離散段包 括存取單元、片或宏塊。
4、 如權(quán)利要求3所述的方法，其特征在于，在每一個存取單元 中的參數(shù)包括關(guān)聯(lián)時間、圖片分辨率、序列號或即時解碼器刷新號。
5、 如權(quán)利要求3所述的方法，其特征在于，在每一個片中的參 數(shù)包括片標(biāo)識、片類型或序列號。
6、 如權(quán)利要求3所述的方法，其特征在于，在每一個宏塊中的 參數(shù)包括宏塊類型、宏塊大小、序列號、參考索引或丟失標(biāo)記。
7、 如權(quán)利要求l所述的方法，其特征在于，同時收集網(wǎng)絡(luò)層信 息的步驟包括對視頻流中的丟失事件創(chuàng)建表示數(shù)據(jù)包丟失分布信息 的統(tǒng)計模型的步驟。
8、 如權(quán)利要求7所述的方法，其特征在于，計算步驟包括計算 空間丟失和時間丟失持續(xù)時間和受丟失事件影響的片或宏塊的步驟。
9、 如權(quán)利要求l所述的方法，其特征在于，計算步驟包括使用 計算的空間丟失和時間丟失確定視頻流中的損傷的步驟。
10、 如權(quán)利要求l所述的方法，其特征在于，計算步驟包括如下步驟將視頻編碼層信息和網(wǎng)絡(luò)層信息映射以便從視頻流的下游端到頭端匹配IP/端口數(shù)據(jù)；在未加密狀態(tài)事件中保存存取單元表及相關(guān)聯(lián)的參照圖表；將存取單元表與加密狀態(tài)事件匹配；和識別在存取單元表和關(guān)聯(lián)的參照圖表的離散段中的丟失的數(shù)據(jù)包。
11、 一種用于確定在加密的環(huán)境中的在基于數(shù)據(jù)包的視頻廣播系統(tǒng)中的空間丟失和時間丟失的方法，包括如下步驟收集在視頻流的未加密的頭端處的具有相應(yīng)時間標(biāo)簽的視頻編碼層信息；同時收集在該浮見頻流的加密的下游端處的具有相應(yīng)時間標(biāo)簽的網(wǎng)絡(luò)層信息；對視頻流中的丟失事件創(chuàng)建表示數(shù)據(jù)包丟失分布信息的統(tǒng)計模型；使用各自的時間標(biāo)簽將視頻編碼層信息與網(wǎng)絡(luò)層信息關(guān)聯(lián)；使用關(guān)聯(lián)的信息和統(tǒng)計模型計算視頻流中從頭端到下游端的空間丟失和時間丟失；和使用計算的空間丟失和時間丟失確定在視頻流中的損傷。
12、 如權(quán)利要求11所述的方法，其特征在于，包括在每一個收集步驟中收集與視頻流的離散段相對應(yīng)的信息和參數(shù)的步驟。
13、 如權(quán)利要求12所述的方法，其特征在于，視頻流的離散段包括存取單元、片或宏塊。
14、 如權(quán)利要求13所述的方法，其特征在于，在每一個存取單元中的參數(shù)包括關(guān)聯(lián)時間、圖片分辨率、序列號或即時解碼器刷新號。
15、 如權(quán)利要求13所述的方法，其特征在于，在每一個片中的參數(shù)包括片標(biāo)識、片類型或序列號。
16、 如權(quán)利要求13所述的方法，其特征在于，在每一個宏塊中的參數(shù)包括宏塊類型、宏塊大小、序列號、參考索引或丟失標(biāo)記。
17、 如權(quán)利要求11所述的方法，其特征在于，計算步驟包括計算空間丟失和時間丟失持續(xù)時間和受丟失事件影響的片或宏塊的步 驟。
18、 如權(quán)利要求11所述的方法，其特征在于，計算步驟包括如 下步驟將視頻編碼層信息和網(wǎng)絡(luò)層信息映射以便從視頻流的下游端到 頭端匹配IP/端口數(shù)據(jù)；在未加密狀態(tài)事件中保存存取單元表及所關(guān)聯(lián)的參照圖表； 將存取單元表與加密狀態(tài)事件匹配；和識別在存取單元表和關(guān)聯(lián)的參照圖表的離散段中的丟失的數(shù)據(jù)包。
19、 一種用于確定在加密的環(huán)境中的在基于數(shù)據(jù)包的視頻廣播系 統(tǒng)中的空間丟失和時間丟失的方法，包括如下步驟收集在視頻流的未加密的頭端處的具有相應(yīng)時間標(biāo)簽的視頻編 碼層信息；同時收集在該視頻流的加密的下游端處的具有相應(yīng)時間標(biāo)簽的 網(wǎng)絡(luò)層信息；在每一個收集步驟中收集與視頻流的存取單元、片或宏塊相對應(yīng) 的信息和參數(shù)；使用各自的時間標(biāo)簽將視頻編碼層信息與網(wǎng)絡(luò)層信息關(guān)聯(lián)； 將視頻編碼層信息和網(wǎng)絡(luò)層信息映射以便從視頻流的下游端到 頭端匹配iP/端口數(shù)據(jù)；在未加密狀態(tài)事件中保存存取單元表及所關(guān)聯(lián)的參照圖表； 將存取單元表與加密狀態(tài)事件匹配；識別在存取單元表和關(guān)聯(lián)的參照圖表的離散段中的丟失的數(shù)據(jù) 包；和使用關(guān)聯(lián)的和映射的信息、匹配的存取單元和識別的丟失的數(shù)據(jù) 包，計算視頻流中從頭端到下游端的空間丟失和時間丟失。
20、 如權(quán)利要求19所述的方法，其特征在于，在每一個存取單 元中的參數(shù)包括關(guān)聯(lián)時間、圖片分辨率、序列號或即時解碼器刷新號。
21、 如權(quán)利要求19所述的方法，其特征在于，在每一個片中的 參數(shù)包括片標(biāo)識、片類型或序列號。
22、 如權(quán)利要求19所述的方法，其特征在于，在每一個宏塊中 的參數(shù)包括宏塊類型、宏塊大小、序列號、參考索引或丟失標(biāo)記。
23、 如權(quán)利要求19所述的方法，其特征在于，同時收集網(wǎng)絡(luò)層 信息的步驟包括對視頻流中的丟失事件創(chuàng)建表示數(shù)據(jù)包丟失分布信 息的統(tǒng)計模型的步驟。
24、 如權(quán)利要求23所述的方法，其特征在于，計算步驟包括計 算空間丟失和時間丟失持續(xù)時間和受丟失事件影響的片或宏塊的步
25、 如權(quán)利要求19所述的方法，其特征在于，計算步驟包括使 用計算的空間丟失和時間丟失確定視頻流中的丟失的步驟。
全文摘要
本發(fā)明公開了一種在基于數(shù)據(jù)包的視頻廣播系統(tǒng)中的空間丟失和時間丟失的確定。其中，一種用于確定在加密的環(huán)境下的在基于數(shù)據(jù)包的視頻廣播系統(tǒng)中的空間丟失和時間丟失的方法，包括測量在視頻流的未加密的頭端處的視頻編碼層信息和在同一視頻流的加密的下游端處的網(wǎng)絡(luò)層信息。將視頻編碼層信息與具有相應(yīng)時間標(biāo)簽的網(wǎng)絡(luò)層信息關(guān)聯(lián)來計算空間丟失和時間丟失。視頻編碼層和網(wǎng)絡(luò)層信息來自包括存取單元、片或宏塊的視頻流。使用計算的空間丟失和時間丟失來確定視頻流中的損傷。
文檔編號H04L12/56GK101632265SQ200880001464
公開日2010年1月20日 申請日期2008年2月21日 優(yōu)先權(quán)日2007年2月22日
發(fā)明者P·A·莫漢達(dá)施 申請人:迅騰公司