一種可分級視頻傳輸方法、裝置及系統(tǒng)的制作方法
【專利摘要】本發(fā)明屬于多媒體通信技術(shù)領(lǐng)域，尤其涉及一種可分級視頻傳輸方法、裝置及系統(tǒng)。所述可分級視頻傳輸方法包括：步驟a：接收客戶端的硬件配置信息及實時網(wǎng)速信息；步驟b：根據(jù)所述硬件配置信息對客戶端進行硬件等級劃分；步驟c：根據(jù)所述硬件等級劃分及所述實時網(wǎng)速信息確定視頻等級，并根據(jù)所確定的視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù)。本發(fā)明使得視頻通信更加流暢，有效應(yīng)對異構(gòu)客戶端和網(wǎng)速變化時，仍能可以保持較好視頻通信質(zhì)量。
【專利說明】
一種可分級視頻傳輸方法、裝置及系統(tǒng)
技術(shù)領(lǐng)域
[0001] 本發(fā)明屬于多媒體通信技術(shù)領(lǐng)域，尤其涉及一種可分級視頻傳輸方法、裝置及系 統(tǒng)。
【背景技術(shù)】
[0002] 由于現(xiàn)在客戶端的異構(gòu)型越來越多，不同客戶端的硬件性能(例如分辨率，CPU，內(nèi) 存，GPU等)差異很大，導(dǎo)致不同客戶端的計算能力差異也很大。計算機網(wǎng)絡(luò)也越來越復(fù)雜， 固網(wǎng)容易波動，尤其是現(xiàn)在越來越多的二級、三級網(wǎng)絡(luò)運營商提供的寬帶接入，帶寬速度和 穩(wěn)定性都沒有保證，移動設(shè)備2.5G，3G，4G網(wǎng)絡(luò)同時存在，網(wǎng)速差異很大。這樣需要在服務(wù)器 上做視頻可分級轉(zhuǎn)碼，再根據(jù)客戶端硬件性能和實時網(wǎng)速做可分級視頻推送。
[0003] SIP(Session Ini tiat ion Protocol，會話初始協(xié)議）是由 IETF(Internet Engineering Task Force，因特網(wǎng)工程任務(wù)組)制定的多媒體通信協(xié)議。它是一個基于文本 的應(yīng)用層控制協(xié)議，用于創(chuàng)建、修改和釋放一個或多個參與者的會話，并能動態(tài)調(diào)整和修改 會話屬性，如會話帶寬要求、傳輸?shù)拿襟w類型(語音、視頻和數(shù)據(jù)等）、媒體的編解碼格式、對 多播和單播的支持等。廣泛應(yīng)用于CS(Circuit Switched，電路交換）、NGN(Next Generation Network，下一代網(wǎng)絡(luò)）以及IMS(IP Multimedia Subsystem，IP多媒體子系統(tǒng)） 的網(wǎng)絡(luò)中，可以支持并應(yīng)用于語音、視頻、數(shù)據(jù)等多媒體業(yè)務(wù)，同時也可以應(yīng)用于Presence (呈現(xiàn)）、Instant Message(即時消息）等特色業(yè)務(wù)。目前SIP服務(wù)器主要是對視頻數(shù)據(jù)進行 中繼透傳，增加轉(zhuǎn)碼模塊，很多都是用CPU、FFMPEG和X264軟轉(zhuǎn)碼，或者另外再用專門的音頻 視頻DSP(Digital Signal Processing數(shù)字信號處理)作為獨立的視頻處理MCU，也使得硬 件系統(tǒng)復(fù)雜帶來不穩(wěn)定，并且對于軟件開發(fā)人員增加了開發(fā)難度。
[0004] SDP協(xié)議（Session Description Protocol)是RFC2327(Session Description Protocol，話描述協(xié)議，）規(guī)定的內(nèi)容。SDP用于描述會話的各項信息，包括網(wǎng)絡(luò)IP、URL、音頻 流視頻流種類、編碼方式、尺寸、幀率、控制方式和時間信息等?？蛻舳丝衫眠@些詳細信息 完成解碼和播放。
[0005] Intel Quick Sync Video技術(shù)是一項硬件加速的視頻編解碼技術(shù)，和以往的顯卡 GPU加速不同，Intel Quick Sync Video在CPU內(nèi)融合了專有的視頻處理芯片，極大地提高 了CPU的視頻處理能力。該技術(shù)在2011年隨Sandy Bridge架構(gòu)CPU-起發(fā)布，其設(shè)計應(yīng)用場 景非常廣泛，包括高清視頻解碼、高清視頻轉(zhuǎn)碼、即時視頻通信等，支持Η. 264和MPEG-2格式 編碼和H.264、MPEG-2和VC-1 格式解碼。Intel Media SDK是隨著Quick Sync Video技術(shù)一 同發(fā)布的供開發(fā)者使用的多媒體開發(fā)包，其中包括了Quick Sync Video引擎的API。通過這 組API，我們可以很方便地訪問到硬件加速引擎，開發(fā)出具有硬件加速特性的視頻編碼器及 解碼器。
[0006] Intel Quick Sync的硬編碼大概是⑶DA的1.2~2倍，X264的4~6倍，而且視頻質(zhì) 量和x264相當，并且編碼時CPU的占用率也遠低于CUDA和x264。所以如果使用Intel Media SDK來做視頻轉(zhuǎn)碼的性價比一般要比NVIDIA CUDA要高。目前國內(nèi)使用Intel Media SDK在 產(chǎn)品化設(shè)計方面的公開文檔還不多。
[0007] 劉利川的《H.264/SVC可伸縮編碼及其傳輸系統(tǒng)若干問題研究》第三章 SVC時空域 組合可伸縮快速模式?jīng)Q策算法，講解了可伸縮視頻編碼的技術(shù)細節(jié)。范敏的《H.264可伸縮 編碼的算法研究及其應(yīng)用》中2.2節(jié)提到H.264-SVC的時間、空間、質(zhì)量可伸縮性，4.1節(jié)中提 到RTSP和SDP協(xié)議。郭獻的《基于Intel平臺的H_264硬件加速編解碼器的研究與應(yīng)用》一文 中，只提到Intel Quick Sync硬件視頻轉(zhuǎn)碼加速技術(shù)，第四章針對Intel Media SDK性能優(yōu) 化和時域視頻可分級做了一些描述，第五章使用Intel Media SDK硬件加速轉(zhuǎn)碼與FFMPEG、 x264比較，有明顯速度優(yōu)勢。金曙陽的《基于GPU并行編碼的全高清互動教學(xué)系統(tǒng)的設(shè)計與 實現(xiàn)》一文中，4.2.3節(jié)中提到使用11^6讀6虹 &301(來調(diào)用11^6161^來做編碼器，并且在 4.1.2節(jié)中得出結(jié)論Intel Gro硬件加速視頻編碼明顯。Web of Science中Journal of Korea Academia-Industrial cooperation Society一文《A Study on FPGA utilization For PC-based Full-HD DVR System Implementation Full-HD》中也提到在DVR system里 面使用Intel Media SDK技術(shù)。
[0008] 綜上所述，現(xiàn)有技術(shù)中的視頻傳輸技術(shù)只寫出了視頻可以做可分級編碼并傳輸， 也提到過硬件的異構(gòu)特性需要可分級視頻編碼和傳輸，但是并沒有詳細說明客戶端與服務(wù) 器通過某種協(xié)議進行可分級視頻的調(diào)度技術(shù)細節(jié)，也沒有結(jié)合具體的異構(gòu)硬件的性能做可 分級調(diào)度的決策方案，并且現(xiàn)有公開文檔都是基于RTSP協(xié)議來做簡要描述，難以在代碼級 別具體靈活實現(xiàn)。服務(wù)器端做視頻可分級轉(zhuǎn)碼的實現(xiàn)方式也沒有說明。

【發(fā)明內(nèi)容】

[0009] 本發(fā)明提供了一種可分級視頻傳輸方法、裝置及系統(tǒng)，旨在至少在一定程度上解 決現(xiàn)有技術(shù)中的上述技術(shù)問題之一。
[0010] 本發(fā)明是這樣實現(xiàn)的，一種可分級視頻傳輸方法，包括：
[0011] 步驟a:接收客戶端的硬件配置信息及實時網(wǎng)速信息；
[0012] 步驟b:根據(jù)所述硬件配置信息對客戶端進行硬件等級劃分；
[0013] 步驟c:根據(jù)所述硬件等級劃分及所述實時網(wǎng)速信息確定視頻等級，并根據(jù)所確定 的視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù)。
[0014] 本發(fā)明實施例采取的技術(shù)方案還包括:在所述步驟b中，所述對客戶端進行硬件等 級劃分的劃分方式包括:分別設(shè)定CHJ等級、內(nèi)存等級、屏幕分辨率等級、攝像頭分辨率等級 和網(wǎng)絡(luò)帶寬等級的性能指標，根據(jù)CPU等級、內(nèi)存等級、屏幕分辨率等級、攝像頭分辨率等級 和網(wǎng)絡(luò)帶寬等級的性能指標進行區(qū)間靜態(tài)匹配，根據(jù)匹配結(jié)果進行硬件等級劃分。
[0015] 本發(fā)明實施例采取的技術(shù)方案還包括:所述步驟c還包括:接通視頻通信，接收客 戶端上傳的視頻數(shù)據(jù)，并使用Intel Media SDK開發(fā)接口對上傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn) 碼加速處理。
[0016] 本發(fā)明實施例采取的技術(shù)方案還包括:在所述步驟c中，所述視頻等級包括下發(fā)視 頻等級和上傳視頻等級，所述下發(fā)視頻等級和上傳視頻等級分別包括時間、空間和質(zhì)量等 級，所述上傳視頻等級的時間、空間和質(zhì)量等級大于或等于所述下傳視頻等級的時間、空間 和質(zhì)量等級。
[0017] 本發(fā)明實施例采取的技術(shù)方案還包括:所述步驟c后還包括:根據(jù)實時網(wǎng)速信息判 斷是否需要調(diào)整下發(fā)視頻等級，如果不需要調(diào)整下發(fā)視頻等級，繼續(xù)按照當前的視頻等級 進行視頻通信；如果需要調(diào)整下發(fā)視頻等級，根據(jù)客戶端對應(yīng)的硬件等級劃分及實時網(wǎng)速 信息重新確定視頻等級，并根據(jù)重新確定的視頻等級下發(fā)視頻數(shù)據(jù)。
[0018] 本發(fā)明實施例采取的另一技術(shù)方案為：一種可分級視頻傳輸裝置，包括SIP服務(wù) 器，所述SIP服務(wù)器包括信息接收模塊、硬件等級劃分模塊和視頻等級劃分模塊；
[0019] 所述信息接收模塊用于接收客戶端的硬件配置信息及實時網(wǎng)速信息；
[0020] 所述硬件等級劃分模塊用于根據(jù)所述硬件配置信息對客戶端進行硬件等級劃分；
[0021] 所述視頻等級劃分模塊用于根據(jù)所述硬件等級劃分及所述實時網(wǎng)速信息確定視 頻等級，并根據(jù)所確定的視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù)。
[0022] 本發(fā)明實施例采取的技術(shù)方案還包括:所述硬件等級劃分模塊對客戶端進行硬件 等級劃分的劃分方式包括:分別設(shè)定CHJ等級、內(nèi)存等級、屏幕分辨率等級、攝像頭分辨率等 級和網(wǎng)絡(luò)帶寬等級的性能指標，根據(jù)CPU等級、內(nèi)存等級、屏幕分辨率等級、攝像頭分辨率等 級和網(wǎng)絡(luò)帶寬等級的性能指標進行區(qū)間靜態(tài)匹配，根據(jù)匹配結(jié)果進行硬件等級劃分;所述 視頻等級劃分模塊確定的視頻等級包括下發(fā)視頻等級和上傳視頻等級，所述下發(fā)視頻等級 和上傳視頻等級分別包括時間、空間和質(zhì)量等級，所述上傳視頻等級的時間、空間和質(zhì)量等 級大于或等于所述下傳視頻等級的時間、空間和質(zhì)量等級。
[0023]本發(fā)明實施例采取的技術(shù)方案還包括:所述SIP服務(wù)器還包括視頻處理模塊，所述 視頻處理模塊用于接通視頻通信，接收客戶端上傳的視頻數(shù)據(jù)，并使用Intel Media SDK開 發(fā)接口對上傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速處理。
[0024] 本發(fā)明實施例采取的技術(shù)方案還包括:所述SIP服務(wù)器還包括視頻等級判斷模塊， 所述視頻等級判斷模塊用于根據(jù)實時網(wǎng)速信息判斷是否需要調(diào)整下發(fā)視頻等級，如果不需 要調(diào)整下發(fā)視頻等級，繼續(xù)按照當前的視頻等級進行視頻通信;如果需要調(diào)整下發(fā)視頻等 級，通過所述視頻等級劃分模塊根據(jù)客戶端對應(yīng)的硬件等級劃分及實時網(wǎng)速信息重新確定 視頻等級，并根據(jù)重新確定的視頻等級下發(fā)視頻數(shù)據(jù)。
[0025] 本發(fā)明實施例米取的又一技術(shù)方案為：一種可分級視頻傳輸系統(tǒng)，包括客戶端和 SIP服務(wù)器，所述客戶端用于向SIP服務(wù)器上傳硬件配置信息及實時網(wǎng)速信息;所述SIP服務(wù) 器包括信息接收模塊、硬件等級劃分模塊和視頻等級劃分模塊；
[0026] 所述信息接收模塊用于接收所述客戶端的硬件配置信息及實時網(wǎng)速信息；
[0027] 所述硬件等級劃分模塊用于根據(jù)所述硬件配置信息對客戶端進行硬件等級劃分；
[0028] 所述視頻等級劃分模塊用于根據(jù)所述硬件等級劃分及所述實時網(wǎng)速信息確定視 頻等級，并根據(jù)所確定的視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù)。
[0029] 相對于現(xiàn)有技術(shù)，本發(fā)明產(chǎn)生的有益效果在于:本發(fā)明實施例的可分級視頻傳輸 方法、裝置及系統(tǒng)通過SIP/SDP協(xié)議向SIP服務(wù)器上傳硬件配置信息及實時網(wǎng)速信息，SIP服 務(wù)器根據(jù)硬件配置信息及實時網(wǎng)速信息對客戶端進行硬件等級劃分，定義視頻等級，并使 用Intel Media SDK開發(fā)接口對客戶端上傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速處理后，根據(jù) 定義的視頻等級下發(fā)視頻數(shù)據(jù);并在視頻通信過程中，根據(jù)客戶端的實時網(wǎng)速信息對視頻 等級進行實時調(diào)整，使得視頻通信更加流暢，有效應(yīng)對異構(gòu)客戶端和網(wǎng)速變化時，仍能可以 保持較好視頻通信質(zhì)量。
【附圖說明】
[0030] 圖1是本發(fā)明實施例的可分級視頻傳輸方法的流程圖；
[0031] 圖2是本發(fā)明實施例的可分級視頻傳輸裝置的結(jié)構(gòu)示意圖；
[0032] 圖3是本發(fā)明實施例的可分級視頻傳輸系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0033]為了使本發(fā)明的目的、技術(shù)方案及優(yōu)點更加清楚明白，以下結(jié)合附圖及實施例，對 本發(fā)明進行進一步詳細說明。應(yīng)當理解，此處所描述的具體實施例僅僅用以解釋本發(fā)明，并 不用于限定本發(fā)明。
[0034]請參閱圖1，是本發(fā)明實施例的可分級視頻傳輸方法的流程圖。本發(fā)明實施例的可 分級視頻傳輸方法包括以下步驟：
[0035] 步驟100:客戶端向SIP服務(wù)器發(fā)起SIP注冊請求；
[0036]步驟200: SIP服務(wù)器接收SIP注冊請求，獲取客戶端對應(yīng)的參數(shù)信息進行SIP注冊， 并向客戶端返回注冊成功信息；
[0037]在步驟200中，獲取的客戶端參數(shù)信息包括客戶端位置信息及被呼叫方號碼信息 等。
[0038]步驟300:客戶端接收注冊成功信息，并通過SIP/SDP協(xié)議向SIP服務(wù)器上傳硬件配 置信息及實時網(wǎng)速信息；
[0039]在步驟300中，硬件配置信息及實時網(wǎng)速信息上傳方式為:在SDP協(xié)議媒體層字段a 含CPU、內(nèi)存、最大支持視頻分辨率及屏幕分辨率等;在SDP協(xié)議中會話描述層字段b上報客 戶端檢測到的實時網(wǎng)速信息。
[0040]步驟400:SIP服務(wù)器接收硬件配置信息及實時網(wǎng)速信息，并根據(jù)硬件配置信息對 客戶端進行硬件等級劃分；
[0041 ] 在步驟400中，硬件等級劃分如下表1所示：
[0042]表 1
[0043]
[0044] 具體地，SIP服務(wù)器對客戶端進行硬件等級劃分的劃分方式包括:CPU等級為a，內(nèi) 存等級為b，屏幕分辨率等級為c，攝像頭分辨率等級為d，網(wǎng)絡(luò)帶寬等級為e，分別設(shè)定CPU等 級a、內(nèi)存等級b、屏幕分辨率等級c、攝像頭分辨率等級d和網(wǎng)絡(luò)帶寬等級e不同等級對應(yīng)的 性能指標，根據(jù)表1對CPU等級a、內(nèi)存等級b、屏蒂分辨率等級c、攝像頭分辨率等級d和網(wǎng)絡(luò) 帶寬等級e對應(yīng)的性能指標進行區(qū)間靜態(tài)匹配，根據(jù)匹配結(jié)果進行硬件等級劃分。
[0045] 步驟500: SIP服務(wù)器與客戶端接通視頻通信，接收客戶端上傳的視頻數(shù)據(jù)，并對上 傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速處理；
[0046] 在步驟500中，SIP服務(wù)器使用Intel Media SDK開發(fā)接口對上傳的視頻數(shù)據(jù)進行 可分級轉(zhuǎn)碼加速，使得視頻通信更加流暢;具體處理方式包括以下步驟：
[0047]步驟501:接收客戶端上傳的視頻流；
[0048] 步驟502:視頻流通過Intel Media SDK CDecodingPipeline.RunDecoding解碼出 視頻數(shù)據(jù)；
[0049] 步驟503:視頻數(shù)據(jù)通過Intel Media SDK CEncodingPipeline.Run做可分級編碼 視頻數(shù)據(jù)。
[0050] 步驟600:根據(jù)客戶端對應(yīng)的硬件等級劃分及實時網(wǎng)速信息確定對應(yīng)的視頻等級， 根據(jù)確定的視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù)；
[0051 ] 在步驟600中，如上述表1所示，視頻等級包括下發(fā)視頻等級和上傳視頻等級，下發(fā) 視頻等級和上傳視頻等級分別包括時間、空間和質(zhì)量等級。其中，下發(fā)視頻的時間等級為 td，空間等級為sd，質(zhì)量等級為qd。上傳的視頻數(shù)據(jù)的時間等級為tu，空間等級為su，質(zhì)量等 級為qu。
[0052] 時間分辨率與硬件和網(wǎng)速等級有關(guān)，CPU等級a權(quán)重為0.1，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 05，攝像頭分辨率等級d權(quán)重為0.05，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.5， 下發(fā)視頻的時間等級公式為：
[0053] td = a X 0.1+b X 0.3+c X 0.05+d X 0.05+e X 0.5 (1)
[0054] 空間分辨率與硬件和網(wǎng)速等級有關(guān)，CPU等級a權(quán)重為0.1，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 2，攝像頭分辨率等級d權(quán)重為0.2，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.2，下 發(fā)視頻的空間等級公式為：
[0055] sd = a X 0.1+b X 0.3+c X 0.2+d X 0.2+e X 0.2 (2)
[0056] 質(zhì)量等級與硬件等級靜態(tài)規(guī)劃有關(guān)，CPU等級a權(quán)重為0.2，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 2，攝像頭分辨率等級d群眾為0.2，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.1，下 發(fā)視頻的質(zhì)量等級公式為：
[0057] qd = a X 0.2+b X 0.3+c X 0.2+d X 0.2+e X 0.1 (3)
[0058] 上傳視頻等級的時間、空間和質(zhì)量等級必須大于或等于下傳視頻等級的時間、空 間和質(zhì)量等級。即：
[0059] tu^td
[0060] su^sd
[0061] qu^qd
[0062] 步驟700:根據(jù)實時網(wǎng)速信息判斷是否需要調(diào)整下發(fā)視頻等級，如果不需要調(diào)整下 發(fā)視頻等級，執(zhí)行步驟800;如果需要調(diào)整下發(fā)視頻等級，重新執(zhí)行步驟600;
[0063] 在步驟700中，本發(fā)明通過實時網(wǎng)速信息對下發(fā)視頻等級進行實時調(diào)整，有效應(yīng)對 異構(gòu)客戶端和網(wǎng)速變化時，仍能可以保持較好視頻通信質(zhì)量。當網(wǎng)速下降時，服務(wù)器調(diào)低下 發(fā)視頻等級，當網(wǎng)速上升時，服務(wù)器提升下發(fā)視頻等級。然后用媒體層字段a改變視頻媒體 分辨率。本實施例采用自定義的屬性描述，如:width: 352;height: 288; fps: 25; framenum: 10364;bitcount:24。
[0064] 步驟800:繼續(xù)按照當前的視頻等級進行視頻通信；
[0065] 步驟900: SIP服務(wù)器判斷客戶端是否通知結(jié)束視頻通信，如果客戶端通知結(jié)束視 頻通信，執(zhí)行步驟1〇〇〇;如果客戶端沒有通知結(jié)束視頻通信，重新執(zhí)行步驟700;
[0066] 步驟1000: SIP服務(wù)器掛斷本次視頻通信。
[0067] 本發(fā)明實施例的可分級視頻傳輸方法通過SIP/SDP協(xié)議向SIP服務(wù)器上傳硬件配 置信息及實時網(wǎng)速信息，SIP服務(wù)器根據(jù)硬件配置信息及實時網(wǎng)速信息對客戶端進行硬件 等級劃分，定義視頻等級，并使用Intel Media SDK開發(fā)接口對客戶端上傳的視頻數(shù)據(jù)進行 可分級轉(zhuǎn)碼加速處理后，根據(jù)定義的視頻等級下發(fā)視頻數(shù)據(jù);并在視頻通信過程中，根據(jù)客 戶端的實時網(wǎng)速信息對視頻等級進行實時調(diào)整，使得視頻通信更加流暢，有效應(yīng)對異構(gòu)客 戶端和網(wǎng)速變化時，仍能可以保持較好視頻通信質(zhì)量。
[0068]請參閱圖2,是本發(fā)明實施例的可分級視頻傳輸裝置的結(jié)構(gòu)示意圖。本發(fā)明實施例 的可分級視頻傳輸裝置包括SIP服務(wù)器;SIP服務(wù)器包括SIP注冊模塊、信息接收模塊、硬件 等級劃分模塊、視頻處理模塊、視頻等級劃分模塊、視頻等級判斷模塊和視頻結(jié)束判斷模 塊。
[0069] SIP注冊模塊用于接收客戶端發(fā)送的SIP注冊請求，獲取客戶端對應(yīng)的參數(shù)信息進 行SIP注冊，并向客戶端返回注冊成功信息;其中，SIP注冊模塊獲取的客戶端參數(shù)信息包括 客戶端位置信息及被呼叫方號碼信息等。
[0070] 信息接收模塊用于接收客戶端上傳的硬件配置信息及實時網(wǎng)速信息；
[0071] 硬件等級劃分模塊用于根據(jù)硬件配置信息對客戶端進行硬件等級劃分;其中，硬 件等級劃分如下表1所示：
[0072] 表 1
[0073]
[0075]具體地，等級劃分模塊對客戶端進行硬件等級劃分的劃分方式包括:CPU等級為a， 內(nèi)存等級為b，屏幕分辨率等級為c，攝像頭分辨率等級為d，網(wǎng)絡(luò)帶寬等級為e，分別設(shè)定CPU 等級a、內(nèi)存等級b、屏幕分辨率等級c、攝像頭分辨率等級d和網(wǎng)絡(luò)帶寬等級e不同等級對應(yīng) 的性能指標，根據(jù)表1對CPU等級a、內(nèi)存等級b、屏蒂分辨率等級c、攝像頭分辨率等級d和網(wǎng) 絡(luò)帶寬等級e對應(yīng)的性能指標進行區(qū)間靜態(tài)匹配，根據(jù)匹配結(jié)果進行硬件等級劃分。
[0076]視頻處理模塊用于與客戶端接通視頻通信，接收客戶端上傳的視頻數(shù)據(jù)，并對上 傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速處理;其中，視頻處理模塊使用Intel Media SDK開發(fā)接 口對上傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速，使得視頻通信更加流暢;具體地，視頻處理模塊 包括視頻接收單元、視頻解碼單元和視頻分級單元；
[0077] 視頻接收單元用于接收客戶端上傳的視頻流；
[0078] 視頻解碼單元用于通過Intel Media SDK CDecodingPipeline.RunDecoding解碼 出視頻數(shù)據(jù)；
[0079] 視頻分級單元用于通過Intel Media SDK CEncodingPipeline.Run對視頻數(shù)據(jù)做 可分級編碼。
[0080] 視頻等級劃分模塊用于根據(jù)客戶端對應(yīng)的硬件等級劃分及實時網(wǎng)速信息確定視 頻等級，根據(jù)視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù);其中，如上述表1所示，視頻等級包括下發(fā) 視頻等級和上傳視頻等級，下發(fā)視頻等級和上傳視頻等級分別包括時間、空間和質(zhì)量等級。 下發(fā)視頻的時間等級為t d，空間等級為s d，質(zhì)量等級為q d。上傳的視頻數(shù)據(jù)的時間等級為 tu，空間等級為su，質(zhì)量等級為qu。
[0081 ]時間分辨率與硬件和網(wǎng)速等級有關(guān)，CPU等級a權(quán)重為0.1，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 05，攝像頭分辨率等級d權(quán)重為0.05，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.5， 下發(fā)視頻的時間等級公式為：
[0082] td = a X 0.1+b X 0.3+c X 0.05+d X 0.05+e X 05 (1)
[0083] 空間分辨率與硬件和網(wǎng)速等級有關(guān)，CPU等級a權(quán)重為0.1，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 2，攝像頭分辨率等級d權(quán)重為0.2，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.2，下 發(fā)視頻的空間等級公式為：
[0084] sd = a X 0.1+b X 0.3+c X 0.2+d X 0.2+e X 0.2 (2)
[0085] 質(zhì)量等級與硬件等級靜態(tài)規(guī)劃有關(guān)，CPU等級a權(quán)重為0.2，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 2，攝像頭分辨率等級d群眾為0.2，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.1，下 發(fā)視頻的質(zhì)量等級公式為：
[0086] qd = a X 0.2+b X 0.3+c X 0.2+d X 0.2+e X 0.1 (3)
[0087] 上傳視頻等級的時間、空間和質(zhì)量等級必須大于或等于下傳視頻等級的時間、空 間和質(zhì)量等級。即：
[0088] tu^td
[0089] su^sd
[0090] qu^qd
[0091] 視頻等級判斷模塊用于根據(jù)實時網(wǎng)速信息判斷是否需要調(diào)整下發(fā)視頻等級，如果 不需要調(diào)整下發(fā)視頻等級，繼續(xù)按照當前的視頻等級進行視頻通信;如果需要調(diào)整下發(fā)視 頻等級，則通過視頻等級劃分模塊重新確定視頻等級，并根據(jù)新的視頻等級下發(fā)對應(yīng)級別 的視頻數(shù)據(jù);其中，本發(fā)明實施例通過實時網(wǎng)速信息對下發(fā)視頻等級進行實時調(diào)整，有效應(yīng) 對異構(gòu)客戶端和網(wǎng)速變化時，仍能可以保持較好視頻通信質(zhì)量。當網(wǎng)速下降時，服務(wù)器調(diào)低 下發(fā)視頻等級，當網(wǎng)速上升時，服務(wù)器提升下發(fā)視頻等級。然后用媒體層字段a改變視頻媒 體分辨率。本實施例采用自定義的屬性描述，如：width:352 ;height:288;fps:25; framenum:10364；bitcount:24〇
[0092] 視頻結(jié)束判斷模塊用于判斷客戶端是否通知結(jié)束視頻通信，如果客戶端通知結(jié)束 視頻通信，掛斷本次視頻通信。
[0093] 本發(fā)明實施例的可分級視頻傳輸裝置根據(jù)客戶端的硬件配置信息及實時網(wǎng)速信 息對客戶端進行硬件等級劃分，定義視頻等級，并使用Intel Media SDK開發(fā)接口對客戶端 上傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速處理后，根據(jù)定義的視頻等級下發(fā)視頻數(shù)據(jù);并在視 頻通信過程中，根據(jù)客戶端的實時網(wǎng)速信息對視頻等級進行實時調(diào)整，使得視頻通信更加 流暢，有效應(yīng)對異構(gòu)客戶端和網(wǎng)速變化時，仍能可以保持較好視頻通信質(zhì)量。
[0094] 請參閱圖3,是本發(fā)明實施例的可分級視頻傳輸系統(tǒng)的結(jié)構(gòu)示意圖。本發(fā)明實施例 的可分級視頻傳輸系統(tǒng)包括客戶端和SIP服務(wù)器;客戶端和SIP服務(wù)器網(wǎng)絡(luò)連接。
[0095] 客戶端包括注冊請求模塊和信息上傳模塊；
[0096] 注冊請求模塊用于向SIP服務(wù)器發(fā)起SIP注冊請求；
[0097]信息上傳模塊用于接收SIP服務(wù)器返回的注冊成功信息，并通過SIP/SDP協(xié)議向 SIP服務(wù)器上傳硬件配置信息及實時網(wǎng)速信息;其中，硬件配置信息及實時網(wǎng)速信息上傳方 式為:在SDP協(xié)議媒體層字段a含CPU、內(nèi)存、最大支持視頻分辨率及屏幕分辨率等;在SDP協(xié) 議中會話描述層字段b上報客戶端檢測到的實時網(wǎng)速信息。
[0098] SIP服務(wù)器包括SIP注冊模塊、信息接收模塊、硬件等級劃分模塊、視頻處理模塊、 視頻等級劃分模塊、視頻等級判斷模塊和視頻結(jié)束判斷模塊；
[0099] SIP注冊模塊用于接收客戶端發(fā)送的SIP注冊請求，獲取客戶端對應(yīng)的參數(shù)信息進 行SIP注冊，并向客戶端返回注冊成功信息;其中，SIP注冊模塊獲取的客戶端參數(shù)信息包括 客戶端位置信息及被呼叫方號碼信息等。
[0100] 信息接收模塊用于接收客戶端上傳的硬件配置信息及實時網(wǎng)速信息；
[0101] 硬件等級劃分模塊用于根據(jù)硬件配置信息對客戶端進行硬件等級劃分;其中，硬 件等級劃分如下表1所示：
[0102] 表1
[0103]
[0104] 具體地，等級劃分模塊對客戶端進行硬件等級劃分的劃分方式包括:CPU等級為a， 內(nèi)存等級為b，屏幕分辨率等級為c，攝像頭分辨率等級為d，網(wǎng)絡(luò)帶寬等級為e，分別設(shè)定CPU 等級a、內(nèi)存等級b、屏幕分辨率等級c、攝像頭分辨率等級d和網(wǎng)絡(luò)帶寬等級e不同等級對應(yīng) 的性能指標，根據(jù)表1對CPU等級a、內(nèi)存等級b、屏蒂分辨率等級c、攝像頭分辨率等級d和網(wǎng) 絡(luò)帶寬等級e對應(yīng)的性能指標進行區(qū)間靜態(tài)匹配，根據(jù)匹配結(jié)果進行硬件等級劃分。
[0105] 視頻處理模塊用于與客戶端接通視頻通信，接收客戶端上傳的視頻數(shù)據(jù)，并對上 傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速處理;其中，視頻處理模塊使用Intel Media SDK開發(fā)接 口對上傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速，使得視頻通信更加流暢;具體地，視頻處理模塊 包括視頻接收單元、視頻解碼單元和視頻分級單元；
[0106] 視頻接收單元用于接收客戶端上傳的視頻流；
[0107] 視頻解碼單元用于通過Intel Media SDK CDecodingPipeline.RunDecoding解碼 出視頻數(shù)據(jù)；
[0108] 視頻分級單元用于通過Intel Media SDK CEncodingPipeline.Run對視頻數(shù)據(jù)做 可分級編碼。
[0109] 視頻等級劃分模塊用于根據(jù)客戶端對應(yīng)的硬件等級劃分及實時網(wǎng)速信息確定視 頻等級，根據(jù)視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù);其中，如上述表1所示，視頻等級包括下發(fā) 視頻等級和上傳視頻等級，下發(fā)視頻等級和上傳視頻等級分別包括時間、空間和質(zhì)量等級。 下發(fā)視頻的時間等級為t d，空間等級為s d，質(zhì)量等級為q d。上傳的視頻數(shù)據(jù)的時間等級為 tu，空間等級為su，質(zhì)量等級為qu。
[0110] 時間分辨率與硬件和網(wǎng)速等級有關(guān)，CPU等級a權(quán)重為0.1，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 05，攝像頭分辨率等級d權(quán)重為0.05，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.5， 下發(fā)視頻的時間等級公式為：
[0111] td = a X 0.1+b X 0.3+c X 0.05+d X 0.05+e X 0.5 (1)
[0112] 空間分辨率與硬件和網(wǎng)速等級有關(guān)，CPU等級a權(quán)重為0.1，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 2，攝像頭分辨率等級d權(quán)重為0.2，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.2，下 發(fā)視頻的空間等級公式為：
[0113] sd = a X 0.1+b X 0.3+c X 0.2+d X 0.2+e X 0.2 (2)
[0114] 質(zhì)量等級與硬件等級靜態(tài)規(guī)劃有關(guān)，CPU等級a權(quán)重為0.2，內(nèi)存等級b權(quán)重為0.3， 屏幕分辨率等級c權(quán)重為〇. 2，攝像頭分辨率等級d群眾為0.2，網(wǎng)絡(luò)帶寬等級e權(quán)重為0.1，下 發(fā)視頻的質(zhì)量等級公式為：
[0115] qd = a X 0.2+b X 0.3+c X 0.2+d X 0.2+e X 0.1 (3)
[0116] 上傳視頻等級的時間、空間和質(zhì)量等級必須大于或等于下傳視頻等級的時間、空 間和質(zhì)量等級。即：
[0117] tu^td
[0118] su^sd
[0119] qu^qd
[0120] 視頻等級判斷模塊用于根據(jù)實時網(wǎng)速信息判斷是否需要調(diào)整下發(fā)視頻等級，如果 不需要調(diào)整下發(fā)視頻等級，繼續(xù)按照當前的視頻等級進行視頻通信;如果需要調(diào)整下發(fā)視 頻等級，則通過視頻等級劃分模塊重新確定視頻等級，并根據(jù)新的視頻等級下發(fā)對應(yīng)級別 的視頻數(shù)據(jù);其中，本發(fā)明實施例通過實時網(wǎng)速信息對下發(fā)視頻等級進行實時調(diào)整，有效應(yīng) 對異構(gòu)客戶端和網(wǎng)速變化時，仍能可以保持較好視頻通信質(zhì)量。當網(wǎng)速下降時，服務(wù)器調(diào)低 下發(fā)視頻等級，當網(wǎng)速上升時，服務(wù)器提升下發(fā)視頻等級。然后用媒體層字段a改變視頻媒 體分辨率。本實施例采用自定義的屬性描述，如：width:352 ;height:288;fps:25; framenum:10364;bitcount:24〇
[0121] 視頻結(jié)束判斷模塊用于判斷客戶端是否通知結(jié)束視頻通信，如果客戶端通知結(jié)束 視頻通信，掛斷本次視頻通信。
[0122] 本發(fā)明實施例的可分級視頻傳輸系統(tǒng)通過SIP/SDP協(xié)議向SIP服務(wù)器上傳硬件配 置信息及實時網(wǎng)速信息，SIP服務(wù)器根據(jù)硬件配置信息及實時網(wǎng)速信息對客戶端進行硬件 等級劃分，定義視頻等級，并使用Intel Media SDK開發(fā)接口對客戶端上傳的視頻數(shù)據(jù)進行 可分級轉(zhuǎn)碼加速處理后，根據(jù)定義的視頻等級下發(fā)視頻數(shù)據(jù);并在視頻通信過程中，根據(jù)客 戶端的實時網(wǎng)速信息對視頻等級進行實時調(diào)整，使得視頻通信更加流暢，有效應(yīng)對異構(gòu)客 戶端和網(wǎng)速變化時，仍能可以保持較好視頻通信質(zhì)量。
[0123] 以上所述僅為本發(fā)明的較佳實施例而已，并不用以限制本發(fā)明，凡在本發(fā)明的精 神和原則之內(nèi)所作的任何修改、等同替換和改進等，均應(yīng)包含在本發(fā)明的保護范圍之內(nèi)。
【主權(quán)項】
1. 一種可分級視頻傳輸方法，包括： 步驟a:接收客戶端的硬件配置信息及實時網(wǎng)速信息； 步驟b:根據(jù)所述硬件配置信息對客戶端進行硬件等級劃分； 步驟c:根據(jù)所述硬件等級劃分及所述實時網(wǎng)速信息確定視頻等級，并根據(jù)所確定的視 頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù)。2. 根據(jù)權(quán)利要求1所述的可分級視頻傳輸方法，其特征在于，在所述步驟b中，所述對客 戶端進行硬件等級劃分的劃分方式包括:分別設(shè)定CHJ等級、內(nèi)存等級、屏幕分辨率等級、攝 像頭分辨率等級和網(wǎng)絡(luò)帶寬等級的性能指標，根據(jù)CHJ等級、內(nèi)存等級、屏幕分辨率等級、攝 像頭分辨率等級和網(wǎng)絡(luò)帶寬等級的性能指標進行區(qū)間靜態(tài)匹配，根據(jù)匹配結(jié)果進行硬件等 級劃分。3. 根據(jù)權(quán)利要求2所述的可分級視頻傳輸方法，其特征在于，所述步驟c還包括:接通視 頻通信，接收客戶端上傳的視頻數(shù)據(jù)，并使用Intel MediaSDK開發(fā)接口對上傳的視頻數(shù)據(jù) 進行可分級轉(zhuǎn)碼加速處理。4. 根據(jù)權(quán)利要求1所述的可分級視頻傳輸方法，其特征在于，在所述步驟c中，所述視頻 等級包括下發(fā)視頻等級和上傳視頻等級，所述下發(fā)視頻等級和上傳視頻等級分別包括時 間、空間和質(zhì)量等級，所述上傳視頻等級的時間、空間和質(zhì)量等級大于或等于所述下傳視頻 等級的時間、空間和質(zhì)量等級。5. 根據(jù)權(quán)利要求1至4任一項所述的可分級視頻傳輸方法，其特征在于，所述步驟c后還 包括:根據(jù)實時網(wǎng)速信息判斷是否需要調(diào)整下發(fā)視頻等級，如果不需要調(diào)整下發(fā)視頻等級， 繼續(xù)按照當前的視頻等級進行視頻通信；如果需要調(diào)整下發(fā)視頻等級，根據(jù)客戶端對應(yīng)的 硬件等級劃分及實時網(wǎng)速信息重新確定視頻等級，并根據(jù)重新確定的視頻等級下發(fā)視頻數(shù) 據(jù)。6. -種可分級視頻傳輸裝置，其特征在于，包括SIP服務(wù)器，所述SIP服務(wù)器包括信息接 收模塊、硬件等級劃分模塊和視頻等級劃分模塊； 所述信息接收模塊用于接收客戶端的硬件配置信息及實時網(wǎng)速信息； 所述硬件等級劃分模塊用于根據(jù)所述硬件配置信息對客戶端進行硬件等級劃分； 所述視頻等級劃分模塊用于根據(jù)所述硬件等級劃分及所述實時網(wǎng)速信息確定視頻等 級，并根據(jù)所確定的視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù)。7. 根據(jù)權(quán)利要求6所述的可分級視頻傳輸裝置，其特征在于，所述硬件等級劃分模塊對 客戶端進行硬件等級劃分的劃分方式包括:分別設(shè)定CHJ等級、內(nèi)存等級、屏幕分辨率等級、 攝像頭分辨率等級和網(wǎng)絡(luò)帶寬等級的性能指標，根據(jù)CHJ等級、內(nèi)存等級、屏幕分辨率等級、 攝像頭分辨率等級和網(wǎng)絡(luò)帶寬等級的性能指標進行區(qū)間靜態(tài)匹配，根據(jù)匹配結(jié)果進行硬件 等級劃分;所述視頻等級劃分模塊確定的視頻等級包括下發(fā)視頻等級和上傳視頻等級，所 述下發(fā)視頻等級和上傳視頻等級分別包括時間、空間和質(zhì)量等級，所述上傳視頻等級的時 間、空間和質(zhì)量等級大于或等于所述下傳視頻等級的時間、空間和質(zhì)量等級。8. 根據(jù)權(quán)利要求7所述的可分級視頻傳輸裝置，其特征在于，所述SIP服務(wù)器還包括視 頻處理模塊，所述視頻處理模塊用于接通視頻通信，接收客戶端上傳的視頻數(shù)據(jù)，并使用 Intel Media SDK開發(fā)接口對上傳的視頻數(shù)據(jù)進行可分級轉(zhuǎn)碼加速處理。9. 根據(jù)權(quán)利要求6至8任一項所述的可分級視頻傳輸裝置，其特征在于，所述SIP服務(wù)器 還包括視頻等級判斷模塊，所述視頻等級判斷模塊用于根據(jù)實時網(wǎng)速信息判斷是否需要調(diào) 整下發(fā)視頻等級，如果不需要調(diào)整下發(fā)視頻等級，繼續(xù)按照當前的視頻等級進行視頻通信； 如果需要調(diào)整下發(fā)視頻等級，通過所述視頻等級劃分模塊根據(jù)客戶端對應(yīng)的硬件等級劃分 及實時網(wǎng)速信息重新確定視頻等級，并根據(jù)重新確定的視頻等級下發(fā)視頻數(shù)據(jù)。10.-種可分級視頻傳輸系統(tǒng)，其特征在于，包括客戶端和SIP服務(wù)器，所述客戶端用于 向SIP服務(wù)器上傳硬件配置信息及實時網(wǎng)速信息;所述SIP服務(wù)器包括信息接收模塊、硬件 等級劃分模塊和視頻等級劃分模塊； 所述信息接收模塊用于接收所述客戶端的硬件配置信息及實時網(wǎng)速信息； 所述硬件等級劃分模塊用于根據(jù)所述硬件配置信息對客戶端進行硬件等級劃分； 所述視頻等級劃分模塊用于根據(jù)所述硬件等級劃分及所述實時網(wǎng)速信息確定視頻等 級，并根據(jù)所確定的視頻等級下發(fā)對應(yīng)級別的視頻數(shù)據(jù)。
【文檔編號】H04N21/6437GK105898621SQ201610371308
【公開日】2016年8月24日
【申請日】2016年5月30日
【發(fā)明人】王卡風(fēng), 須成忠, 周旭智
【申請人】中國科學(xué)院深圳先進技術(shù)研究院, 深圳中科捷云科技有限公司