一種流媒體數(shù)據(jù)傳輸方法及裝置的制造方法
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及流媒體傳輸領(lǐng)域，尤其涉及一種流媒體數(shù)據(jù)傳輸方法及裝置。
【背景技術(shù)】
[0002]隨著計(jì)算機(jī)技術(shù)和無線通信技術(shù)的發(fā)展，數(shù)字多媒體進(jìn)入產(chǎn)業(yè)化階段，各種多媒體應(yīng)用平臺也在產(chǎn)業(yè)化過程中逐漸走向成熟。無線局域網(wǎng)(WLAN)、藍(lán)牙(Bluetooth)以及第三代移動通信(3G)技術(shù)已能夠提供基本的帶寬來滿足各種多媒體以及實(shí)時(shí)視頻傳輸應(yīng)用的需求；同時(shí)，嵌入式系統(tǒng)的計(jì)算能力也使得在移動設(shè)備上實(shí)現(xiàn)實(shí)時(shí)多媒體信息處理逐步成為現(xiàn)實(shí)。對國內(nèi)外，實(shí)時(shí)流媒體傳輸主要應(yīng)用于視頻會議、多屏幕共享等領(lǐng)域。相比于其他的多媒體業(yè)務(wù)，流媒體數(shù)據(jù)傳輸對于實(shí)時(shí)性、網(wǎng)絡(luò)帶寬、容錯(cuò)性、媒體同步、播放平滑性等方面均有嚴(yán)格要求。
[0003]一方面，流媒體對網(wǎng)絡(luò)可用帶寬的要求較高，而當(dāng)前的Internet (互聯(lián)網(wǎng))并沒有為流媒體預(yù)留出足夠的帶寬，而且，現(xiàn)有的路由器一般采用的是存儲轉(zhuǎn)發(fā)、隊(duì)列被動丟棄的發(fā)送數(shù)據(jù)的方式，當(dāng)網(wǎng)絡(luò)可用帶寬小于實(shí)時(shí)流媒體所要求的最小帶寬時(shí)，這種發(fā)送數(shù)據(jù)的方式容易導(dǎo)致流媒體數(shù)據(jù)包在路由器上大量擁塞，這種情況下，路由器會按照丟包策略，將流媒體數(shù)據(jù)包中的一部分丟棄，從而對流媒體的播放質(zhì)量造成很大的影響。
[0004]另一方面，流媒體對于延遲的要求也顯著高于一般數(shù)據(jù)。如實(shí)時(shí)語音的延遲不能高于250ms，實(shí)時(shí)視頻則不能大于ls，由于流媒體數(shù)據(jù)和一般數(shù)據(jù)一樣，都需要通過路由器的存儲、排隊(duì)、轉(zhuǎn)發(fā)等過程，當(dāng)網(wǎng)絡(luò)出現(xiàn)擁塞時(shí)，路由器不能將流媒體數(shù)據(jù)及時(shí)輸出，流媒體數(shù)據(jù)僅在路由器上的延遲往往就會超過流媒體所要求的最小延遲，延遲到達(dá)接收端的媒體數(shù)據(jù)包在播放時(shí)會造成停頓、抖動等較差的播放效果。

【發(fā)明內(nèi)容】

[0005]本發(fā)明實(shí)施例提供一種流媒體傳輸方法及裝置，用以減少流媒體傳輸時(shí)的延遲現(xiàn)象。
[0006]本發(fā)明實(shí)施例提供一種流媒體傳輸方法，該方法包括:
[0007]當(dāng)判斷待傳輸流媒體數(shù)據(jù)是視頻流數(shù)據(jù)時(shí)，獲取所述視頻流數(shù)據(jù)中的圖像序列的全部編碼幀；
[0008]根據(jù)每個(gè)編碼幀的類型和/或當(dāng)前網(wǎng)絡(luò)時(shí)延狀態(tài)，確定出重要編碼幀；
[0009]優(yōu)先向接收端發(fā)送確定出的重要編碼幀。
[0010]本發(fā)明實(shí)施例還提供一種流媒體數(shù)據(jù)傳輸裝置，該裝置包括:
[0011]獲取單元，用于當(dāng)判斷待傳輸流媒體數(shù)據(jù)是視頻流數(shù)據(jù)時(shí)，獲取所述視頻流數(shù)據(jù)中的圖像序列的全部編碼幀；
[0012]確定單元，用于根據(jù)每個(gè)編碼幀的類型和/或當(dāng)前網(wǎng)絡(luò)時(shí)延狀態(tài)，確定出重要編碼幀；
[0013]發(fā)送單元，用于優(yōu)先向接收端發(fā)送確定出的重要編碼幀。
[0014]從上述技術(shù)方案可以看出，當(dāng)待傳輸流媒體數(shù)據(jù)是視頻流數(shù)據(jù)時(shí)，根據(jù)每個(gè)編碼幀的類型和/或當(dāng)前網(wǎng)絡(luò)時(shí)延狀態(tài)，在全部編碼幀中選擇部分重要編碼幀進(jìn)行優(yōu)先傳輸，而現(xiàn)有技術(shù)需要傳輸視頻流數(shù)據(jù)的全部編碼幀。當(dāng)網(wǎng)絡(luò)擁塞時(shí)，相比現(xiàn)有技術(shù)，本發(fā)明實(shí)施例僅需傳輸部分編碼幀，只要保證接收端能夠根據(jù)這部分編碼幀中包含的圖像信息進(jìn)行基本完整的播放即可，由于待傳輸?shù)木幋a幀的數(shù)量降低了，從而減少了視頻流數(shù)據(jù)傳輸時(shí)的時(shí)延現(xiàn)象，提高了傳輸效率，而且保證接收端能夠流暢播放流媒體文件。
【附圖說明】
[0015]為了更清楚地說明本發(fā)明實(shí)施例中的技術(shù)方案，下面將對實(shí)施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實(shí)施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動性的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0016]圖1為本發(fā)明實(shí)施例提供的流媒體傳輸方法的流程示意圖；
[0017]圖2為本發(fā)明實(shí)施例提供的一種發(fā)送端的結(jié)構(gòu)示意圖；
[0018]圖3為本發(fā)明實(shí)施例提供的一種發(fā)送端向接收端傳輸流媒體數(shù)據(jù)的流程示意圖；
[0019]圖4為本發(fā)明實(shí)施例提供的流媒體數(shù)據(jù)傳輸裝置的結(jié)構(gòu)示意圖。
【具體實(shí)施方式】
[0020]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點(diǎn)更加清楚，下面將結(jié)合附圖對本發(fā)明作進(jìn)一步地詳細(xì)描述，顯然，所描述的實(shí)施例僅僅是本發(fā)明一部分實(shí)施例，而不是全部的實(shí)施例?；诒景l(fā)明中的實(shí)施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實(shí)施例，都屬于本發(fā)明保護(hù)的范圍。
[0021]本發(fā)明實(shí)施例可以應(yīng)用于通過Internet網(wǎng)絡(luò)傳輸各種類型的流媒體數(shù)據(jù)的應(yīng)用場景，本發(fā)明實(shí)施例尤其可以適用于基于時(shí)間重要性和內(nèi)容重要性進(jìn)行實(shí)時(shí)流媒體傳輸?shù)膽?yīng)用場景。在本發(fā)明實(shí)施例中，流媒體數(shù)據(jù)的發(fā)送端可以為各種具有音頻和視頻編碼能力的設(shè)備，流媒體數(shù)據(jù)的接收端可以為各種具有音頻和視頻解碼能力的設(shè)備。
[0022]本發(fā)明實(shí)施例針對現(xiàn)有技術(shù)中當(dāng)網(wǎng)絡(luò)擁塞時(shí)，流媒體數(shù)據(jù)大量延遲的現(xiàn)象，使流媒體數(shù)據(jù)能夠適應(yīng)現(xiàn)有Internet網(wǎng)絡(luò)傳輸?shù)奶攸c(diǎn)，提高端到端的流媒體服務(wù)質(zhì)量。本發(fā)明實(shí)施例提供了一種實(shí)時(shí)流媒體數(shù)據(jù)的傳輸算法，可以根據(jù)實(shí)時(shí)流媒體數(shù)據(jù)所承載的音視頻的時(shí)間重要性和內(nèi)容要重要性的高低，有選擇的發(fā)送實(shí)時(shí)流媒體數(shù)據(jù)的內(nèi)容，減少實(shí)時(shí)流媒體數(shù)據(jù)端到端的延時(shí)，控制無線網(wǎng)絡(luò)網(wǎng)絡(luò)擁塞，增強(qiáng)觀看效果。
[0023]圖1示出了本發(fā)明實(shí)施例提供的流媒體傳輸方法的流程示意圖，如圖1所示，該方法可以包括:
[0024]步驟11:當(dāng)判斷待傳輸流媒體數(shù)據(jù)是視頻流數(shù)據(jù)時(shí)，獲取視頻流數(shù)據(jù)中的圖像序列的全部編碼幀。
[0025]步驟12:根據(jù)每個(gè)編碼幀的類型和/或當(dāng)前網(wǎng)絡(luò)時(shí)延狀態(tài)，確定出重要編碼幀。
[0026]步驟13:優(yōu)先向接收端發(fā)送確定出的重要編碼幀。
[0027]可選的，重要編碼幀用于表征該圖像序列中的圖像信息。
[0028]可選的，在上述步驟12中，圖像序列由一個(gè)幀內(nèi)編碼幀和若干個(gè)前向預(yù)測編碼幀組成；將圖像序列中的幀內(nèi)編碼幀確定為重要編碼幀；將圖像序列中的若干個(gè)前向預(yù)測編碼幀中符合當(dāng)前網(wǎng)絡(luò)傳輸時(shí)延要求的前向預(yù)測編碼幀確定為重要編碼幀。
[0029]可選的，在上述步驟12中，確定前向預(yù)測編碼幀的采樣時(shí)間；并將前向預(yù)測編碼幀的采樣時(shí)間與當(dāng)前時(shí)間的差值作為該前向預(yù)測編碼幀的采樣時(shí)間差；判斷采樣時(shí)間差是否小于當(dāng)前網(wǎng)絡(luò)時(shí)延，若是，則將該前向預(yù)測編碼幀確定為重要編碼幀。
[0030]可選的，在上述步驟13之后，還包括:確定是否需要將全部編碼幀中除重要編碼幀以外的編碼幀發(fā)送給接收端，若需要，則將除重要編碼幀以外的編碼幀發(fā)送給接收端；否貝1J，丟棄除重要編碼幀以外的編碼幀。
[0031]可選的，在上述步驟11之前，還包括:根據(jù)待傳輸流媒體數(shù)據(jù)的標(biāo)識信息，確定待傳輸流媒體數(shù)據(jù)的類型；若待傳輸流媒體數(shù)據(jù)的類型為音頻流數(shù)據(jù)，則將音頻流數(shù)據(jù)的全部編碼幀發(fā)送給接收端。
[0032]下面對本發(fā)明實(shí)施例進(jìn)行詳細(xì)描述。
[0033]目前的實(shí)時(shí)流媒體傳輸方案中，大多采用H.264 (H.264是新一代數(shù)字視頻壓縮格式)標(biāo)準(zhǔn)進(jìn)行視頻編碼。在H.264標(biāo)準(zhǔn)中，圖像以圖像序列為單位進(jìn)行組織，一個(gè)圖像序列是一段圖像編碼后的數(shù)據(jù)流，以I幀(幀內(nèi)編碼幀)開始，到下一個(gè)I幀結(jié)束。一個(gè)圖像序列的第一個(gè)圖像叫做IDR圖像(Instantaneous Decoding Refresh，立即刷新圖像)，IDR圖像都是I幀圖像。H.264中引入IDR圖像是為了解碼的重同步，當(dāng)解碼器解碼到IDR圖像時(shí)，立即將參考幀隊(duì)列清空，將已解碼的數(shù)據(jù)全部輸出或拋棄，重新查找參數(shù)集，開始一個(gè)新的序列。這樣，如果前一個(gè)序列出現(xiàn)重大錯(cuò)誤，在這里可以獲得重新同步的機(jī)會。IDR圖像之后的圖像永遠(yuǎn)不會使用IDR之前的圖像的數(shù)據(jù)來解碼。
[0034]在H.264中，I幀為幀內(nèi)編碼幀，I幀屬于關(guān)鍵幀，可以為某一幀畫面的完整保留；解碼時(shí)只需要本幀數(shù)據(jù)就可以完成。I幀是一個(gè)全幀壓縮編碼幀，它將全幀圖像信息進(jìn)行類似JPEG(國際圖像壓縮標(biāo)準(zhǔn))標(biāo)準(zhǔn)的幀內(nèi)壓縮編碼方法，解碼時(shí)僅用I幀的數(shù)據(jù)就可重構(gòu)完整圖像，I幀描述了圖像背景和運(yùn)動主體的詳情，I幀不需要參考其他畫面而生成，I幀是P幀(前向預(yù)測編碼幀)和B幀(后向預(yù)測編碼幀)的參考幀(其質(zhì)量直接影響到同組中以后各幀的質(zhì)量)，I幀是幀組GOP (Group of Pictures，策略影響編碼質(zhì)量)的基礎(chǔ)幀(第一幀)，在一組中只有一個(gè)I幀，I幀不需要考慮運(yùn)動矢量，幀所占數(shù)據(jù)的信息量比較大。
[0035]P幀是前向預(yù)測編碼幀。P幀表示的是這一幀跟之前的一個(gè)關(guān)鍵幀(或P幀)的差另IJ，解碼時(shí)需要用之前緩存的畫面疊加上本幀定義的差別，生成最終畫面，也就是差別幀。P幀沒有完整畫面數(shù)據(jù)，只有與前一幀的畫面差別的數(shù)據(jù)。對于P幀的預(yù)測與重構(gòu):P幀是以I幀為參考幀，在I幀中找出P幀“某點(diǎn)”的預(yù)測值和運(yùn)動矢量，取預(yù)測差值和運(yùn)動矢量一起傳送。在接收端根據(jù)運(yùn)