專利名稱：一種利用小波變換實(shí)現(xiàn)視頻實(shí)時(shí)傳輸?shù)姆椒?br> 技術(shù)領(lǐng)域：
本發(fā)明屬于計(jì)算機(jī)的數(shù)字圖像處理領(lǐng)域和多媒體消息服務(wù)技術(shù)領(lǐng)域，具體是一種利用小波變換實(shí)現(xiàn)視頻實(shí)時(shí)傳輸?shù)姆椒ā?br> 背景技術(shù)：
目前數(shù)字媒體產(chǎn)業(yè)正值高速發(fā)展之際，視頻含有海量信息這一特征使得它成為人們?cè)谖磥?lái)數(shù)字生活中獲取信息的一個(gè)重要來(lái)源。同時(shí)，隨著網(wǎng)絡(luò)技術(shù)、嵌入式技術(shù)的飛速發(fā)展，嵌入式實(shí)時(shí)視頻系統(tǒng)面臨著迫需解決的新技術(shù)瓶頸問(wèn)題。
當(dāng)前，視頻傳輸?shù)木幗獯a方式最主要有MEPG，H.264，AVS等。各有各的特點(diǎn)H.264能實(shí)現(xiàn)D1分辨率(720*480)視頻的實(shí)時(shí)編碼，而對(duì)于解碼，普通的PC機(jī)就能實(shí)現(xiàn)x264編碼的DVDrip電影的流暢播放。AVS具有的技術(shù)特點(diǎn)就是速度快、解碼率高、帶寬占用率少。
但是，這些方法都廣泛被用于個(gè)人電腦，他們以高速的有線網(wǎng)絡(luò)為基礎(chǔ)。而針對(duì)無(wú)線的移動(dòng)設(shè)備，就無(wú)法滿足移動(dòng)設(shè)備實(shí)時(shí)視頻傳輸?shù)男枨?。因?yàn)?，移?dòng)設(shè)備的計(jì)算能力一般比較低，CPU速度也相差甚多，有些智能手機(jī)具有300MHz的處理速度，有些低端的PDA卻只有幾十MHz，因此對(duì)視頻的編解碼能力很有限；同時(shí)無(wú)線的網(wǎng)絡(luò)具有不穩(wěn)定性，帶寬較低。

發(fā)明內(nèi)容
為了解決上述技術(shù)問(wèn)題，本發(fā)明提出一種一種利用小波變換實(shí)現(xiàn)視頻實(shí)時(shí)傳輸?shù)姆椒?，可以?shí)現(xiàn)移動(dòng)終端之間的實(shí)時(shí)的視頻傳輸，適應(yīng)無(wú)線傳輸網(wǎng)絡(luò)帶寬低，不穩(wěn)定的特點(diǎn)，同時(shí)屏蔽移動(dòng)終端的計(jì)算處理能力的不同，減小由于移動(dòng)終端的計(jì)算處理能力不同所帶來(lái)的視頻流傳輸?shù)牟环€(wěn)定性。
本發(fā)明方法所采用的技術(shù)方案為本發(fā)明方法主要包括視頻發(fā)送和視頻接收兩個(gè)過(guò)程，所述視頻發(fā)送過(guò)程的步驟如下a.視頻發(fā)送端與視頻接收端建立連接，然后向視頻接收端發(fā)送一個(gè)檢測(cè)數(shù)據(jù)包，視頻接收端接收到檢測(cè)數(shù)據(jù)包之后，發(fā)送給視頻發(fā)送端一個(gè)回饋數(shù)據(jù)包；b.視頻發(fā)送端通過(guò)視頻捕獲設(shè)備捕獲視頻信息；c.對(duì)視頻信息的第一幀進(jìn)行HAAR小波變換，得到視頻信息的高低頻分離的信息；d.根據(jù)從第一步得到的視頻接收端的配置信息來(lái)確定進(jìn)行量化的系數(shù)，根據(jù)量化系數(shù)對(duì)視頻信息進(jìn)行量化；e.對(duì)量化后的視頻信息數(shù)據(jù)進(jìn)行反量化之后，存取在幀緩存區(qū)，同時(shí)對(duì)反量化后的數(shù)據(jù)進(jìn)行感興趣區(qū)域的判斷；f.對(duì)每一幀的視頻進(jìn)行感興趣區(qū)域分析，生成FGS(Fine GranularScalability)編碼優(yōu)先發(fā)送給視頻接收端；g.當(dāng)視頻的下一幀到達(dá)時(shí)，先做HAAR小波變換，然后與幀緩存中的上一幀的數(shù)據(jù)進(jìn)行相減操作，得到殘差并發(fā)送到視頻接收端；所述視頻發(fā)送過(guò)程的步驟如下①視頻接收端在收到視頻發(fā)送端發(fā)送過(guò)來(lái)的數(shù)據(jù)后，首先接收到的是FGS編碼，先對(duì)其進(jìn)行解碼；②然后接收到的殘差數(shù)據(jù)進(jìn)行解碼和反量化；
③解碼后的數(shù)據(jù)經(jīng)過(guò)RHAR(HAAR反變換)，加上幀緩存中的上一幀視頻的信息，得到下一幀視頻的信息；④接收端輸出視頻信息。
所述視頻發(fā)送過(guò)程步驟a中所述回饋數(shù)據(jù)包包含視頻接收端配置信息，具體包括接收端的CPU速度、內(nèi)存大小、屏幕分辨率等。
所述視頻發(fā)送過(guò)程步驟b中所述視頻捕獲設(shè)備可以是攝像頭、可攝像手機(jī)、數(shù)碼相機(jī)的一種或者多種。
所述視頻發(fā)送過(guò)程步驟d中所述量化的系數(shù)根據(jù)從步驟a中得到的接收端的硬件配置信息來(lái)確定，硬件配置越高則量化系數(shù)的值越小，這樣有損壓縮的損失就小一些，根據(jù)量化系數(shù)對(duì)視頻信息進(jìn)行量化，這樣可以得到適合視頻接收端的信息量，使得接收端不會(huì)因?yàn)榻邮盏降男畔⒘窟^(guò)大，處理速度有限，從而造成的視頻播放不流暢的問(wèn)題。
所述視頻發(fā)送過(guò)程步驟e中所述感興趣區(qū)域的判斷是根據(jù)小波變換后主體部分縮微到一個(gè)點(diǎn)象素或者四個(gè)象素的級(jí)別的時(shí)候，將其象素跟相鄰分塊的相同級(jí)別的象素進(jìn)行比較和計(jì)算梯度等方向值，根據(jù)這些值來(lái)決定此分塊是否處在梯度變換較大的部分，從而判斷是否為感興趣區(qū)域。
所述視頻發(fā)送過(guò)程步驟f中所述FGS編碼可以將感興趣區(qū)域的位平面進(jìn)行移位，通過(guò)移位來(lái)增加感興趣區(qū)域的權(quán)值，使其處在碼流的前面而不易被丟棄，接著求出位平面的移位大小，對(duì)每一層位平面進(jìn)行編碼然后傳輸。
本發(fā)明方法的有益效果是采用HAAR變換以及分快重要性判斷，達(dá)到處理速度是現(xiàn)有設(shè)備的4倍左右，以及更高的壓縮比。視頻傳輸可根據(jù)視頻接收端的配置情況，提供不同的數(shù)據(jù)量，使得接收端得到適合自己配置情況的數(shù)據(jù)量，從而解決因?yàn)閿?shù)據(jù)量與處理速度等不匹配所造成的視頻播放不流暢的問(wèn)題，達(dá)到實(shí)時(shí)傳輸?shù)男Ч?br>

圖1視頻發(fā)送端的視頻編碼與發(fā)送過(guò)程；圖2視頻接收端的視頻編碼與接收過(guò)程。
具體實(shí)施例方式
下面結(jié)合

其中的一個(gè)實(shí)施例，如圖1、圖2所示，視頻發(fā)送端和視頻接收端雙方包括以下步驟視頻發(fā)送端包括以下步驟1)當(dāng)視頻發(fā)送端與接收端建立了連接之后，視頻發(fā)送端在發(fā)送視頻數(shù)據(jù)之前先發(fā)送一個(gè)檢測(cè)數(shù)據(jù)包。接收端接收到數(shù)據(jù)之后，發(fā)送一個(gè)包含接收端配置信息的回饋數(shù)據(jù)包，回饋數(shù)據(jù)包包括接收端的CPU速度，內(nèi)存大小，屏幕分辨率等。
2)視頻發(fā)送端通過(guò)攝像頭捕獲視頻信息，視頻信息的第一幀經(jīng)過(guò)HAAR小波變換，得到視頻信息的高低頻分離的信息。由于DCT變換屬于頻率域上的變換，不具備空間信息，因此在現(xiàn)有的編碼系統(tǒng)中必須將已經(jīng)編碼完成的殘差視頻幀再次反量化計(jì)算，以及與下一輸入幀進(jìn)行殘差計(jì)算等。我們采用具有時(shí)空特性的HAAR小波變換來(lái)代替DCT變換。
3)在編碼方(即視頻發(fā)送方)，對(duì)輸入幀還是進(jìn)行同樣的殘差計(jì)算和量化編碼等，但當(dāng)輸入幀轉(zhuǎn)化作為前一幀的時(shí)候，我們只需進(jìn)行反量化，而不必進(jìn)行HAAR逆變換，也就是說(shuō)將殘差計(jì)算的部分提到進(jìn)行HAAR變換后進(jìn)行，這樣就省下了在編碼方進(jìn)行逆變換的過(guò)程。而在解碼方(即視頻接收方)基本上同基于DCT變換的是一樣的。這是利用了HAAR變換具有時(shí)空特性的特點(diǎn)?，F(xiàn)有視頻編碼系統(tǒng)是在編碼方將輸入幀與前一幀之間的殘差進(jìn)行DCT變換，接著在DCT變換的基礎(chǔ)上進(jìn)行量化并編碼，編碼后的視頻傳輸?shù)浇獯a方。在解碼方，進(jìn)行反量化和DCT逆變換，再與前一幀進(jìn)行殘差的合并，便可得到由編碼方傳輸過(guò)來(lái)的視頻信息。但是在編碼方處，為了讓輸入幀作為前一幀與下一個(gè)輸入幀進(jìn)行殘差計(jì)算，以及一些運(yùn)動(dòng)估計(jì)、運(yùn)動(dòng)補(bǔ)償?shù)?，編碼后的殘差視頻幀除了發(fā)送給解碼方以外，在編碼方也要重新進(jìn)行反量化和DCT逆變換，與前一幀進(jìn)行殘差合并得到恢復(fù)后的輸入幀。
4)根據(jù)從第一步得到的接收端的配置信息來(lái)確定進(jìn)行量化的系數(shù)，假若接收端的硬件配置高，則系數(shù)的值小一些，這樣有損壓縮的損失就小一些。根據(jù)量化系數(shù)對(duì)視頻信息進(jìn)行量化。這樣可以得到適合視頻接收端的信息量，使得接收端不會(huì)因?yàn)榻邮盏降男畔⒘窟^(guò)大，處理速度有限，從而造成的視頻播放不流暢的問(wèn)題。
5)對(duì)量化后的數(shù)據(jù)進(jìn)行反量化之后，存取在幀緩存區(qū)，同時(shí)對(duì)反量化后的數(shù)據(jù)進(jìn)行感興趣區(qū)域的判斷。在編碼方進(jìn)行感興趣區(qū)域編碼的工作也要轉(zhuǎn)換到進(jìn)行HAAR變換后的過(guò)程中來(lái)了，基于人類視覺(jué)特性，人類的眼睛對(duì)視頻的低頻部分(也就是主體輪廓)比較敏感，而對(duì)高頻部分(也就是細(xì)節(jié))相對(duì)來(lái)說(shuō)敏感度要弱得多。我們要盡量保證主體輪廓的可見(jiàn)性，同時(shí)也要保證重要區(qū)域的細(xì)節(jié)部分質(zhì)量相對(duì)要高。根據(jù)小波變換后主體部分縮微到一個(gè)點(diǎn)象素或者四個(gè)象素的級(jí)別的時(shí)候，我們將其象素跟相鄰分塊的相同級(jí)別的象素進(jìn)行比較和計(jì)算梯度等方向值，根據(jù)這些值來(lái)決定此分塊是否處在梯度變換較大的部分，從而判斷是否為感興趣區(qū)域。
6)對(duì)每一幀的視頻進(jìn)行感興趣區(qū)域分析，生成FGS(Fine GranularScalability)編碼發(fā)送給視頻接收端。FGS增強(qiáng)編碼可以將感興趣區(qū)域的位平面進(jìn)行移位，通過(guò)移位來(lái)增加感興趣區(qū)域的權(quán)值，使其處在碼流的前面而不易被丟棄。接著求出位平面的移位大小，對(duì)每一層位平面進(jìn)行編碼然后傳輸。
7)當(dāng)視頻的下一幀到達(dá)時(shí)，先做HAAR小波變換，然后與幀緩存中的上一幀的數(shù)據(jù)進(jìn)行相減操作，得到殘差，發(fā)送到視頻接收端。
視頻接收端的接收過(guò)程如下1)視頻接收端在收到視頻發(fā)送端發(fā)送過(guò)來(lái)的數(shù)據(jù)后，首先接收到的是FGS編碼，先對(duì)其進(jìn)行解碼。
2)把解碼后的FGS編碼與接收到的解碼后的殘差數(shù)據(jù)相加然后反量化，并把它存放在幀緩存中。
3)反量化后的數(shù)據(jù)經(jīng)過(guò)RHAR(HAAR反變換)，加緩存中的上一幀視頻的信息，得到下一幀視頻的信息。
4)接收端輸出視頻信息。
權(quán)利要求
1.一種利用小波變換實(shí)現(xiàn)視頻實(shí)時(shí)傳輸?shù)姆椒?，包括視頻發(fā)送和視頻接收兩個(gè)過(guò)程，其特征在于所述視頻發(fā)送過(guò)程的步驟如下a.視頻發(fā)送端與視頻接收端建立連接，然后向視頻接收端發(fā)送一個(gè)檢測(cè)數(shù)據(jù)包，視頻接收端接收到檢測(cè)數(shù)據(jù)包之后，發(fā)送給視頻發(fā)送端一個(gè)回饋數(shù)據(jù)包；b.視頻發(fā)送端通過(guò)視頻捕獲設(shè)備捕獲視頻信息；c.對(duì)視頻信息的第一幀進(jìn)行HAAR小波變換，得到視頻信息的高低頻分離的信息；d.根據(jù)從第一步得到的視頻接收端的配置信息來(lái)確定進(jìn)行量化的系數(shù)，根據(jù)量化系數(shù)對(duì)視頻信息進(jìn)行量化；e.對(duì)量化后的視頻信息數(shù)據(jù)進(jìn)行反量化之后，存取在幀緩存區(qū)，同時(shí)對(duì)反量化后的數(shù)據(jù)進(jìn)行感興趣區(qū)域的判斷；f.對(duì)每一幀的視頻進(jìn)行感興趣區(qū)域分析，生成FGS(Fine GranularScalability)編碼優(yōu)先發(fā)送給視頻接收端；g.當(dāng)視頻的下一幀到達(dá)時(shí)，先做HAAR小波變換，然后與幀緩存中的上一幀的數(shù)據(jù)進(jìn)行相減操作，得到殘差并發(fā)送到視頻接收端；所述視頻發(fā)送過(guò)程的步驟如下①視頻接收端在收到視頻發(fā)送端發(fā)送過(guò)來(lái)的數(shù)據(jù)后，首先接收到的是FGS編碼，先對(duì)其進(jìn)行解碼；②然后接收到的殘差數(shù)據(jù)進(jìn)行解碼和反量化；③解碼后的數(shù)據(jù)經(jīng)過(guò)RHAR(HAAR反變換)，加上幀緩存中的上一幀視頻的信息，得到下一幀視頻的信息；④接收端輸出視頻信息。
2.根據(jù)權(quán)利要求1所述的視頻實(shí)時(shí)傳輸?shù)姆椒?，其特征是視頻發(fā)送過(guò)程步驟a中所述回饋數(shù)據(jù)包包含視頻接收端配置信息，具體包括接收端的CPU速度、內(nèi)存大小、屏幕分辨率等。
3.根據(jù)權(quán)利要求1所述的視頻實(shí)時(shí)傳輸?shù)姆椒ǎ涮卣魇且曨l發(fā)送過(guò)程步驟b中所述視頻捕獲設(shè)備可以是攝像頭、可攝像手機(jī)、數(shù)碼相機(jī)的一種或者多種。
4.根據(jù)權(quán)利要求1所述的視頻實(shí)時(shí)傳輸?shù)姆椒?，其特征是視頻發(fā)送過(guò)程步驟d中所述量化的系數(shù)根據(jù)從步驟a中得到的接收端的硬件配置信息來(lái)確定，硬件配置越高則量化系數(shù)的值越小，這樣有損壓縮的損失就小一些，根據(jù)量化系數(shù)對(duì)視頻信息進(jìn)行量化，這樣可以得到適合視頻接收端的信息量，使得接收端不會(huì)因?yàn)榻邮盏降男畔⒘窟^(guò)大，處理速度有限，從而造成的視頻播放不流暢的問(wèn)題。
5.根據(jù)權(quán)利要求1所述的視頻實(shí)時(shí)傳輸?shù)姆椒?，其特征是視頻發(fā)送過(guò)程步驟e中所述感興趣區(qū)域的判斷是根據(jù)小波變換后主體部分縮微到一個(gè)點(diǎn)象素或者四個(gè)象素的級(jí)別的時(shí)候，將其象素跟相鄰分塊的相同級(jí)別的象素進(jìn)行比較和計(jì)算梯度等方向值，根據(jù)這些值來(lái)決定此分塊是否處在梯度變換較大的部分，從而判斷是否為感興趣區(qū)域。
6.根據(jù)權(quán)利要求1所述的視頻實(shí)時(shí)傳輸?shù)姆椒ǎ涮卣魇且曨l發(fā)送過(guò)程步驟f中所述FGS編碼可以將感興趣區(qū)域的位平面進(jìn)行移位，通過(guò)移位來(lái)增加感興趣區(qū)域的權(quán)值，使其處在碼流的前面而不易被丟棄，接著求出位平面的移位大小，對(duì)每一層位平面進(jìn)行編碼然后傳輸。
全文摘要
本發(fā)明公開(kāi)一種利用小波變換實(shí)現(xiàn)視頻實(shí)時(shí)傳輸?shù)姆椒?，屬于?jì)算機(jī)的數(shù)字圖像處理領(lǐng)域和多媒體消息服務(wù)技術(shù)領(lǐng)域。本方法具體包括視頻發(fā)送和視頻接收兩個(gè)過(guò)程，視頻發(fā)送過(guò)程首先是視頻發(fā)送端獲得視頻接收端的配置信息，確定量化系數(shù)；然后視頻發(fā)送端通過(guò)視頻捕獲裝置獲得視頻信息，并進(jìn)行HAAR小波變換處理，再根據(jù)上述量化系數(shù)進(jìn)行量化，然后發(fā)送到視頻接收端；視頻接收過(guò)程是視頻接收端在收到視頻發(fā)送端發(fā)送過(guò)來(lái)的數(shù)據(jù)后，先進(jìn)行解碼，再進(jìn)行RHAR變換，并將最終的視頻信息輸出。采用本方法進(jìn)行視頻傳輸可以達(dá)到更高的處理速度和壓縮比，解決了數(shù)據(jù)量與處理速度等不匹配所造成的視頻播放不流暢的問(wèn)題，達(dá)到實(shí)時(shí)傳輸?shù)男Ч?br> 文檔編號(hào)H04N7/14GK101031083SQ20071002741
公開(kāi)日2007年9月5日 申請(qǐng)日期2007年4月4日 優(yōu)先權(quán)日2007年4月4日
發(fā)明者吳佳文, 羅笑南 申請(qǐng)人:中山大學(xué)