專(zhuān)利名稱(chēng)：用于發(fā)送可縮放的視頻比特流的方法和設(shè)備的制作方法
技術(shù)領(lǐng)域：
本發(fā)明涉及一種用于發(fā)送可縮放的(scalable)視頻流的方法和設(shè)備，具體上涉及一種用于通過(guò)按照用戶(hù)的發(fā)送請(qǐng)求處理可縮放的比特流而提供適合于網(wǎng)絡(luò)和用戶(hù)的環(huán)境的視頻內(nèi)容的方法和設(shè)備。
背景技術(shù)：
隨著包括因特網(wǎng)的信息通信技術(shù)的發(fā)展，視頻通信以及文本和語(yǔ)音通信已經(jīng)得到爆炸性的增長(zhǎng)。
因?yàn)槎嗝襟w數(shù)據(jù)的數(shù)量通常較大，所以多媒體數(shù)據(jù)需要大容量存儲(chǔ)媒體和用于傳輸?shù)膶拵?。因此，需要一種壓縮編碼方法來(lái)發(fā)送包括文本、視頻和音頻的多媒體數(shù)據(jù)。
數(shù)據(jù)壓縮的基本原則在于消除數(shù)據(jù)冗余?？梢酝ㄟ^(guò)下述方式來(lái)壓縮數(shù)據(jù)通過(guò)消除空間冗余、時(shí)間冗余或考慮到人的視力和對(duì)高頻的有限感知的心理視覺(jué)冗余(mental visual redundancy)，其中在所述空間冗余中，在圖像中重復(fù)同一顏色或?qū)ο?，在所述時(shí)間冗余中，在運(yùn)動(dòng)圖像中的相鄰幀之間有很小的改變，或在音頻中重復(fù)同一聲音。
數(shù)據(jù)壓縮可以按照源數(shù)據(jù)是否丟失而分類(lèi)成有損/無(wú)損壓縮、按照是否獨(dú)立地壓縮各個(gè)幀而分類(lèi)成幀內(nèi)/幀間壓縮、按照壓縮所需要的時(shí)間是否與恢復(fù)所需要的時(shí)間相同而分類(lèi)成對(duì)稱(chēng)/不對(duì)稱(chēng)壓縮。
當(dāng)壓縮/恢復(fù)時(shí)延不超過(guò)50毫秒時(shí)，數(shù)據(jù)壓縮被定義為實(shí)時(shí)壓縮，當(dāng)幀具有不同的分辨率時(shí)，數(shù)據(jù)壓縮被定義為可伸縮的壓縮。
對(duì)于文本或醫(yī)療數(shù)據(jù)，通常使用無(wú)損壓縮。對(duì)于多媒體數(shù)據(jù)，通常使用有損壓縮。
同時(shí)，通常使用幀內(nèi)壓縮來(lái)消除空間冗余，而通常使用幀間壓縮來(lái)消除時(shí)間冗余。
用于多媒體的不同類(lèi)型的傳輸媒體具有不同的性能。
當(dāng)前使用的傳輸媒體具有各種傳輸率。例如，超高速通信網(wǎng)絡(luò)可以傳輸每秒幾十兆比特的數(shù)據(jù)，而移動(dòng)通信網(wǎng)絡(luò)具有每秒384千比特的傳輸率。
在諸如運(yùn)動(dòng)圖像專(zhuān)家組(MPEG)-1、MPEG-2、H.263和H.264之類(lèi)的傳統(tǒng)視頻編碼方法中，通過(guò)基于運(yùn)動(dòng)估計(jì)和補(bǔ)償?shù)倪\(yùn)動(dòng)補(bǔ)償來(lái)消除時(shí)間冗余，而通過(guò)變換編碼來(lái)消除空間冗余。
這些方法具有滿(mǎn)意的壓縮率，但是它們不具有實(shí)際的可伸縮比特流的靈活性，這是因?yàn)樗鼈冊(cè)谥饕惴ㄖ惺褂米苑词侄?reflexive approach)。
因此，為了支持具有各種速度的傳輸媒體或以適合于傳輸環(huán)境的數(shù)據(jù)率來(lái)發(fā)送多媒體，諸如子波視頻編碼和子帶視頻編碼之類(lèi)的、具有可伸縮性的數(shù)據(jù)編碼方法可適合于多媒體環(huán)境。
可伸縮性表示部分解碼單個(gè)壓縮比特流的能力。可伸縮性包括空間可伸縮性，用于表示視頻分辨率；信噪比(SNR)可伸縮性，用于表示視頻質(zhì)量級(jí)；時(shí)間可伸縮性，用于表示幀速率；及其組合。
可伸縮的視頻編碼涉及壓縮原始圖像，并且將其轉(zhuǎn)換為具有期望質(zhì)量的視頻信號(hào)以發(fā)送到解碼器。解碼器解壓縮和重放所接收的視頻信號(hào)。

發(fā)明內(nèi)容
技術(shù)問(wèn)題通常，因?yàn)橄M(fèi)者在購(gòu)買(mǎi)之前需要知道內(nèi)容是否是他/她所需要的，因此消費(fèi)者需要預(yù)覽所述內(nèi)容的細(xì)節(jié)。在這種情況下，內(nèi)容提供者為預(yù)覽的目的向用戶(hù)提供內(nèi)容的低質(zhì)量版本，而在購(gòu)買(mǎi)時(shí)提供內(nèi)容的高質(zhì)量版本。當(dāng)需要以各種分辨率來(lái)發(fā)送或接收單個(gè)內(nèi)容時(shí)，可以使用可伸縮的視頻編碼方法。
但是，傳統(tǒng)的可伸縮視頻編碼方法具有缺陷由于總是在不考慮用戶(hù)請(qǐng)求的情況下提供用于表示原始內(nèi)容的各種質(zhì)量的高質(zhì)量?jī)?nèi)容比特流，使得傳輸速度下降。
另一個(gè)缺陷是所述傳統(tǒng)方法需要用于從所接收的比特流提取期望質(zhì)量的內(nèi)容的單獨(dú)處理。
技術(shù)方案本發(fā)明提供適合于用戶(hù)的各種需要和內(nèi)容提供者的商業(yè)目的的內(nèi)容。
本發(fā)明也通過(guò)下述方式以高傳輸率向用戶(hù)提供期望質(zhì)量的內(nèi)容，而不需要任何額外的處理通過(guò)按照由用戶(hù)的發(fā)送請(qǐng)求確定的質(zhì)量來(lái)處理內(nèi)容。
在查看了下面的說(shuō)明、附圖和所附的權(quán)利要求后，本發(fā)明的上述目的以及其他目的、特征和優(yōu)點(diǎn)對(duì)于本領(lǐng)域技術(shù)人員來(lái)說(shuō)，將變得清楚。
按照本發(fā)明的一個(gè)方面，提供了一種用于發(fā)送可伸縮視頻流的設(shè)備，包括可伸縮比特流的源，它包含用戶(hù)請(qǐng)求的視頻內(nèi)容；控制器，用于根據(jù)用戶(hù)請(qǐng)求和用戶(hù)概況信息(user profile information)來(lái)確定所述視頻內(nèi)容的質(zhì)量；以及預(yù)解碼器，用于按照所確定的發(fā)送質(zhì)量來(lái)處理所述可伸縮比特流。
按照本發(fā)明的另一個(gè)方面，提供了一種用于發(fā)送可伸縮視頻流的方法，包括確定包含用戶(hù)請(qǐng)求的視頻內(nèi)容的可伸縮比特流；以及按照所確定的發(fā)送質(zhì)量來(lái)處理所述可伸縮比特流。
所述比特流的質(zhì)量的確定可以包括執(zhí)行用戶(hù)鑒別，確定所選擇的視頻內(nèi)容的用戶(hù)請(qǐng)求，以及根據(jù)用戶(hù)請(qǐng)求和用戶(hù)概況信息來(lái)確定要發(fā)送的比特流的質(zhì)量。
用戶(hù)請(qǐng)求可以是對(duì)視頻內(nèi)容的預(yù)覽或購(gòu)買(mǎi)，而用戶(hù)概況信息可以是關(guān)于視頻內(nèi)容的費(fèi)用支付的信息。


通過(guò)參照附圖來(lái)詳細(xì)說(shuō)明本發(fā)明的例證實(shí)施例，本發(fā)明的上述和其他特征和優(yōu)點(diǎn)將變得更清楚，其中圖1是按照本發(fā)明的一個(gè)實(shí)施例的編碼器的示意方框圖；圖2是按照本發(fā)明的一個(gè)實(shí)施例的解碼器的示意方框圖；圖3是按照本發(fā)明的一個(gè)實(shí)施例的、用于發(fā)送可伸縮視頻流的設(shè)備的方框圖；圖4是圖解用于發(fā)送可伸縮視頻流的方法的流程圖；圖5示意性地圖解了按照本發(fā)明的一個(gè)實(shí)施例的、在基于運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)的可伸縮視頻編碼和解碼中的時(shí)間分割處理(temporaldecomposition process)；圖6示意性地圖解了按照本發(fā)明的一個(gè)實(shí)施例的、用于通過(guò)子波變換(wavelet transform)而將輸入圖像或幀分解為子帶的處理；以及圖7是圖解按照本發(fā)明的另一個(gè)實(shí)施例的、用于發(fā)送可伸縮視頻流的方法的流程圖。
具體實(shí)施例方式
可以通過(guò)參照下面對(duì)于例證實(shí)施例的詳細(xì)說(shuō)明和附圖來(lái)更容易地明白本發(fā)明的優(yōu)點(diǎn)和特征以及用于實(shí)現(xiàn)所述優(yōu)點(diǎn)和特征的方法。但是，本發(fā)明可以以不同形式來(lái)體現(xiàn)，并且不應(yīng)當(dāng)被理解為限于在此給出的實(shí)施例。而且，提供這些實(shí)施例以便本公開(kāi)是徹底和完整的，以及向本領(lǐng)域技術(shù)人員全面地傳輸本發(fā)明的思想，本發(fā)明僅僅由所附的權(quán)利要求來(lái)限定。在說(shuō)明書(shū)中，相同的附圖標(biāo)號(hào)表示相同的元件。
現(xiàn)在說(shuō)明按照本發(fā)明的一個(gè)實(shí)施例的，用于發(fā)送可伸縮視頻流的設(shè)備的配置和操作。為了幫助明白本發(fā)明，下面依序說(shuō)明可伸縮視頻編碼器，用于執(zhí)行支持可伸縮性的視頻編碼；解碼器，用于解碼從所述編碼器接收的視頻比特流；以及用于通過(guò)處理要發(fā)送到解碼器的、從編碼器接收的視頻比特流來(lái)發(fā)送可伸縮視頻流的裝置。
圖1是按照本發(fā)明的一個(gè)實(shí)施例的編碼器的示意方框圖。
參見(jiàn)圖1，按照本發(fā)明的一個(gè)實(shí)施例的編碼器100包括分段單元101、運(yùn)動(dòng)估計(jì)單元102、時(shí)間變換單元103、空間變換單元104、嵌入量化單元105和熵編碼單元106。
分段單元101將輸入的視頻劃分為基本編碼單元，即圖像組(GOP)。
運(yùn)動(dòng)估計(jì)單元102對(duì)于在每個(gè)GOP中包含的幀進(jìn)行運(yùn)動(dòng)估計(jì)，由此獲得運(yùn)動(dòng)向量。可以使用諸如分層可變尺寸塊匹配(Hierarchical Variable Size BlockMatching，HVSBM)之類(lèi)的分層方法來(lái)實(shí)現(xiàn)所述運(yùn)動(dòng)估計(jì)。
時(shí)間變換單元103使用由運(yùn)動(dòng)估計(jì)單元102獲得的運(yùn)動(dòng)向量來(lái)在時(shí)間方向上將幀分解為低頻和高頻幀，由此減少時(shí)間冗余。
例如，可以將幀的平均值定義為低頻分量，并且可以將在兩個(gè)幀之間的差的一半定義為高頻分量。以GOP為單位來(lái)分解幀。
可以通過(guò)不使用運(yùn)動(dòng)向量而比較在兩個(gè)幀中相同位置的像素來(lái)將幀分解為高頻和低頻幀。但是，不使用運(yùn)動(dòng)向量的方法在降低時(shí)間冗余上不如使用運(yùn)動(dòng)向量的方法有效。
換句話(huà)說(shuō)，當(dāng)在第二幀中移動(dòng)第一幀的一部分時(shí)，可以通過(guò)運(yùn)動(dòng)向量來(lái)表示運(yùn)動(dòng)量。將所述第一幀的所述部分與將所述第一幀的所述部分相同位置上的、所述第二幀的一部分移動(dòng)所述運(yùn)動(dòng)向量而至的一部分相比較，即補(bǔ)償時(shí)間運(yùn)動(dòng)。其后，將第一和第二幀分解為低頻和高頻幀。
對(duì)于時(shí)間濾波，可以使用運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)。
空間變換單元104從已經(jīng)消除時(shí)間冗余的幀中去除空間冗余，并且建立變換系數(shù)。對(duì)于空間變換，本發(fā)明使用子波變換。在此，使用子波變換來(lái)將一個(gè)幀分解為低頻和高頻子帶，并且確定變換系數(shù)，即相應(yīng)子帶的子波系數(shù)。
具體上，所述幀被分解為四個(gè)部分。在所述幀的左上部分中顯示與整個(gè)圖像類(lèi)似的四分之一大小的圖像(L圖像)，并且在其他三個(gè)部分中顯示用于從所述L圖像重建整個(gè)圖像所需要的信息(H圖像)。以相同的方式，可以將所述L圖像分解為四分之一大小的LL圖像和重建所述L圖像所需要的信息。
使用子波變換的圖像壓縮被應(yīng)用于JPEG 2000標(biāo)準(zhǔn)，并且消除在幀之間的空間冗余。而且，與離散余弦變換(DCT)方法相反，所述子波變換使得原始圖像信息能夠被存儲(chǔ)在作為原始圖像的縮小版本的變換圖像中，由此允許通過(guò)使用縮小的圖像來(lái)提供空間可伸縮性的視頻編碼。
但是，在本發(fā)明中，子波變換僅僅是被提供來(lái)用于說(shuō)明的。在不必然意欲實(shí)現(xiàn)空間可伸縮性的情況下，可以使用DCT方法，所述DCT方法已經(jīng)傳統(tǒng)上被廣泛地用于運(yùn)動(dòng)圖像壓縮中(就像在MPEG-2中)。
嵌入量化單元105對(duì)于每個(gè)子波塊的、由空間變換單元104獲得的子波系數(shù)執(zhí)行嵌入的量化，并且按照重要性而重新布置所述量化系數(shù)?？梢允褂们度肓銟?shù)子波算法(Embedded Zerotrees Wavelet，EZW)、在分層樹(shù)中的設(shè)置分區(qū)(Set Partitioning in Hierarchical Trees，SPIHT)和嵌入的零塊編碼(EmbeddedZeroBlock Coding，EZBC)來(lái)作為以這種方式對(duì)于每個(gè)子波塊的子波系數(shù)執(zhí)行嵌入量化。
這些算法良好地使用在本發(fā)明中使用的子波域中的像素之間的空間關(guān)系，因此適合于用在按照本發(fā)明的嵌入量化處理中。
以樹(shù)的形狀來(lái)表達(dá)在像素之間的空間關(guān)系。可以使用下述事實(shí)來(lái)執(zhí)行有效的編碼當(dāng)在樹(shù)中的根是0時(shí)，在樹(shù)中的子孫具有為0的高概率。當(dāng)正在掃描與在L帶中的像素相關(guān)聯(lián)的像素時(shí)，執(zhí)行多種算法。
熵編碼單元106將由嵌入量化單元105量化的子波系數(shù)和由運(yùn)動(dòng)估計(jì)單元102產(chǎn)生的關(guān)于運(yùn)動(dòng)向量的信息和首標(biāo)信息轉(zhuǎn)換為適合于傳輸或存儲(chǔ)的壓縮比特流?？梢允褂妙A(yù)測(cè)編碼、可變長(zhǎng)度編碼(例如霍夫曼編碼)、算術(shù)編碼等來(lái)執(zhí)行所述熵編碼。
本發(fā)明可以應(yīng)用于運(yùn)動(dòng)視頻以及靜止視頻(圖像)。與運(yùn)動(dòng)視頻類(lèi)似地，輸入靜止圖像在通過(guò)空間變換單元104、嵌入量化單元105和熵編碼單元106之后可被轉(zhuǎn)換成比特流。
圖2是按照本發(fā)明的一個(gè)實(shí)施例的解碼器的示意方框圖。
解碼器300包括熵解碼單元301、逆嵌入量化單元302、逆空間變換單元303和逆時(shí)間變換單元304。
解碼器300以與編碼器100基本上相反的方向運(yùn)行。但是，當(dāng)已經(jīng)由編碼器100的運(yùn)動(dòng)估計(jì)單元102執(zhí)行了運(yùn)動(dòng)估計(jì)以確定運(yùn)動(dòng)向量時(shí)，解碼器300不執(zhí)行逆運(yùn)動(dòng)估計(jì)處理，因?yàn)榻獯a器300僅僅接收運(yùn)動(dòng)估計(jì)單元102以使用。
像在編碼器100中那樣，按照本發(fā)明的一個(gè)實(shí)施例的解碼器300的操作可以被應(yīng)用于運(yùn)動(dòng)視頻以及靜止圖像。與運(yùn)動(dòng)視頻類(lèi)似，從編碼器100接收的比特流可以在通過(guò)熵解碼單元301、逆嵌入量化單元302、逆空間變換單元303和逆時(shí)間變換單元304后被往回轉(zhuǎn)換成輸出圖像。
圖3示出了按照本發(fā)明的一個(gè)實(shí)施例的用于發(fā)送可伸縮視頻流的設(shè)備200。所述設(shè)備200包括可伸縮比特流源210、用戶(hù)概況220、用戶(hù)鑒別器230、用戶(hù)信號(hào)輸入240和控制器250。
可伸縮比特流源210從可伸縮視頻編碼器100接收被編碼以具有時(shí)間、空間和信噪比(SNR)可伸縮性的可伸縮比特流。所述比特流是通過(guò)以高質(zhì)量壓縮原始圖像而被產(chǎn)生的，并且可以被劃分為具有各種質(zhì)量的信號(hào)。
可伸縮比特流也可以在可伸縮視頻編碼器100中編碼后由外部視頻內(nèi)容提供器發(fā)送。
用戶(hù)概況220包含用戶(hù)概況信息，諸如關(guān)于視頻內(nèi)容使用和支付的細(xì)節(jié)。
用戶(hù)鑒別器230確定用戶(hù)是否被授權(quán)使用與期望的視頻內(nèi)容相關(guān)聯(lián)的服務(wù)，即通過(guò)檢查是否已經(jīng)進(jìn)行了對(duì)于適當(dāng)?shù)谋忍亓髻|(zhì)量的支付。
用戶(hù)信號(hào)輸入240接收表示視頻內(nèi)容的期望質(zhì)量的信號(hào)。低質(zhì)量信號(hào)僅僅是為預(yù)覽目的而被發(fā)送的，而在購(gòu)買(mǎi)所述內(nèi)容時(shí)發(fā)送高質(zhì)量信號(hào)。通過(guò)關(guān)于嵌入比特流的幀速率、分辨率、圖像質(zhì)量的信息來(lái)確定質(zhì)量。
控制器250按照從用戶(hù)鑒別器230接收的信息來(lái)確定用戶(hù)的可靠性，并且根據(jù)從用戶(hù)信號(hào)輸入240接收的信息來(lái)確定期望視頻內(nèi)容的比特流的質(zhì)量。
預(yù)編碼器260由控制器250控制，并且提取和處理可伸縮比特流，所述可伸縮比特流包含要發(fā)送到用戶(hù)的、關(guān)于所需要的幀速率、分辨率和圖像質(zhì)量的信息。
圖4是圖解按照本發(fā)明的一個(gè)實(shí)施例的用于發(fā)送可伸縮視頻流的方法的流程圖。
參見(jiàn)圖3和4，所述方法主要包括確定包含由用戶(hù)請(qǐng)求的視頻內(nèi)容的可伸縮比特流的質(zhì)量(步驟S1)，并且按照所確定的發(fā)送質(zhì)量來(lái)處理所述可伸縮比特流(步驟S2)。
用于確定比特流的質(zhì)量的步驟S1包括執(zhí)行用戶(hù)鑒別(步驟S10)，確定用戶(hù)請(qǐng)求(步驟S12)，分析用戶(hù)請(qǐng)求和用戶(hù)概況信息(步驟S14)，并且確定要發(fā)送的比特流的質(zhì)量(步驟S16)。
在步驟S10，根據(jù)在用戶(hù)鑒別器230中記錄的用戶(hù)鑒別信息而確定用戶(hù)是否被授權(quán)能夠被提供視頻內(nèi)容。
為了實(shí)施用戶(hù)鑒別，每個(gè)用戶(hù)可以被分配唯一的用戶(hù)ID或密碼，在每次他/她被提供視頻內(nèi)容時(shí)，必須輸入所述唯一的用戶(hù)ID或密碼。對(duì)于付費(fèi)的用戶(hù)鑒別，僅僅對(duì)預(yù)付用戶(hù)分配用戶(hù)ID或密碼。或者，可以首先向每個(gè)用戶(hù)分配用戶(hù)ID或密碼，然后對(duì)于從菜單選擇的期望視頻內(nèi)容支付費(fèi)用。在這種情況下，在用戶(hù)概況220中記錄所述費(fèi)用的支付。
為了在步驟S12中確定用戶(hù)請(qǐng)求，用戶(hù)信號(hào)輸入240分析所接收的用戶(hù)請(qǐng)求，其中所述用戶(hù)請(qǐng)求包含對(duì)于期望視頻或視頻內(nèi)容的質(zhì)量要求，諸如分辨率、圖像質(zhì)量和幀速率。在此，所述幀速率確定所接收的視頻流被重放的速度，所述分辨率確定圖像的銳度和清楚程度，而所述圖像質(zhì)量確定諸如色調(diào)和亮度之類(lèi)的圖像的質(zhì)量。
例如，為了在從菜單選擇電影之前觀(guān)看電影的預(yù)覽，用戶(hù)可以請(qǐng)求具有低分辨率和低圖像質(zhì)量的視頻內(nèi)容以減少要發(fā)送的比特流的數(shù)量，因?yàn)樗鲱A(yù)覽僅僅需要提供選擇電影所需的信息。所述視頻內(nèi)容也可以具有高速重放所需要的高幀速率，以迅速地搜索期望電影的菜單。在這種情況下，向用戶(hù)信號(hào)輸入240發(fā)送由用戶(hù)請(qǐng)求的關(guān)于分辨率、圖像質(zhì)量和幀速率的信息以備在處理具有可伸縮性的比特流的過(guò)程中使用。
同時(shí)，所述用戶(hù)請(qǐng)求可以是關(guān)于像在所述說(shuō)明性實(shí)施例中那樣的視頻內(nèi)容的一個(gè)質(zhì)量的信息或關(guān)于所述視頻內(nèi)容的多個(gè)質(zhì)量的信息。當(dāng)用戶(hù)請(qǐng)求具有多個(gè)質(zhì)量的視頻內(nèi)容時(shí)，因?yàn)楦哔|(zhì)量視頻內(nèi)容具有大尺寸，所以期望在網(wǎng)絡(luò)的容量和用戶(hù)環(huán)境超過(guò)預(yù)定水平時(shí)開(kāi)始發(fā)送視頻內(nèi)容。
在步驟S14分析用戶(hù)請(qǐng)求和用戶(hù)概況信息后獲得的結(jié)果用于控制器250以確定視頻內(nèi)容的質(zhì)量。
例如，對(duì)于頻繁使用已經(jīng)付費(fèi)的電影內(nèi)容的用戶(hù)，所述用戶(hù)概況信息可以包含關(guān)于電影內(nèi)容的使用和支付的細(xì)節(jié)以及包含提供給用戶(hù)的、對(duì)于內(nèi)容使用和支付的獎(jiǎng)勵(lì)(incentive)的加權(quán)信息。所述獎(jiǎng)勵(lì)可以包括對(duì)于10次使用付費(fèi)電影內(nèi)容或總支付10％的累積而對(duì)圖像質(zhì)量的一個(gè)級(jí)別的升級(jí)。
在步驟S16，控制器250根據(jù)從用戶(hù)信號(hào)輸入240接收的用戶(hù)請(qǐng)求信號(hào)和從用戶(hù)概況220接收的用戶(hù)概況信息來(lái)確定要發(fā)送的可伸縮比特流的質(zhì)量。
即，在來(lái)自用戶(hù)的對(duì)于任意電影的內(nèi)容的預(yù)覽版本的請(qǐng)求時(shí)，發(fā)送低質(zhì)量信號(hào)，而僅僅當(dāng)在請(qǐng)求高質(zhì)量?jī)?nèi)容時(shí)根據(jù)搜索在用戶(hù)概況220中記錄的信息的結(jié)果而確定適合于發(fā)送高質(zhì)量信號(hào)時(shí)發(fā)送高質(zhì)量信號(hào)。預(yù)解碼器260根據(jù)所確定的質(zhì)量來(lái)調(diào)整要發(fā)送的比特流的數(shù)量。
按照確定的發(fā)送質(zhì)量來(lái)處理可伸縮比特流的步驟S2可以被劃分為兩個(gè)分步驟按照所確定的質(zhì)量來(lái)處理可伸縮比特流(步驟S20)，和向用戶(hù)發(fā)送所提取的比特流(步驟S22)。
在步驟S20中，通過(guò)刪節(jié)比特流的不必要部分而根據(jù)所確定的質(zhì)量處理可伸縮比特流。所述可伸縮比特流是指具有可伸縮性并且由可伸縮視頻編碼器100編碼的視頻信號(hào)。視頻內(nèi)容提供者或外部提供者可以執(zhí)行在可伸縮視頻編碼器100中的視頻內(nèi)容編碼。在后一種情況下，可以通過(guò)獨(dú)立的裝置來(lái)執(zhí)行視頻內(nèi)容編碼和比特流處理。
現(xiàn)在說(shuō)明用于處理可伸縮比特流的方法。
為了確定諸如幀速率、分辨率和圖像質(zhì)量之類(lèi)的比特流的質(zhì)量，可以通過(guò)提取或去除比特流的預(yù)定部分來(lái)執(zhí)行由可伸縮視頻編碼器100編碼可伸縮比特流以具有時(shí)間、空間和SNR伸縮性。因此，現(xiàn)在結(jié)合由圖1的可伸縮視頻編碼器100執(zhí)行的編碼處理來(lái)說(shuō)明用于處理可伸縮比特流的方法。
現(xiàn)在說(shuō)明用于通過(guò)MCTF方法來(lái)處理被編碼以具有時(shí)間可伸縮性的比特流和調(diào)整幀速率的處理。
首先，將說(shuō)明基于運(yùn)動(dòng)補(bǔ)償時(shí)間濾波(MCTF)的可伸縮視頻編碼和解碼。
如圖5中所示，在編碼處理中，在低時(shí)間級(jí)的幀的對(duì)(pair of frame)被時(shí)間濾波，并且然后被分解成在更高時(shí)間級(jí)的L幀和H幀的對(duì)，并且，L幀的對(duì)被再次時(shí)間濾波和分解為在更高時(shí)間級(jí)的幀。編碼器對(duì)于在最高時(shí)間級(jí)的一個(gè)L幀和多個(gè)H幀執(zhí)行子波變換，并且產(chǎn)生比特流。在此，L幀是對(duì)應(yīng)于幀的平均值的低頻幀，而H幀是對(duì)應(yīng)于在幀之間的差的高頻幀。
換句話(huà)說(shuō)，編碼器100編碼從低時(shí)間級(jí)到高時(shí)間級(jí)的幀，而解碼器對(duì)于從高級(jí)到低級(jí)的、通過(guò)加陰影而指示和通過(guò)逆子波變換而獲得的幀執(zhí)行與編碼器100相逆的操作以重建。
在時(shí)間級(jí)3的L和H幀用于重建在時(shí)間級(jí)2上的兩個(gè)L幀，在時(shí)間級(jí)2上的所述兩個(gè)L幀和兩個(gè)H幀用于重建在時(shí)間級(jí)1上的四個(gè)L幀。最后，在時(shí)間級(jí)1上的四個(gè)L幀和四個(gè)H幀用于重建8個(gè)幀。
現(xiàn)在說(shuō)明用于通過(guò)處理根據(jù)MCTF方法而編碼的可伸縮視頻流來(lái)調(diào)整幀速率的方法。
例如，當(dāng)在選擇預(yù)覽時(shí)需要調(diào)整時(shí)間可伸縮性以用于發(fā)送內(nèi)容的低質(zhì)量版本時(shí)，僅僅在圖像組(GOP)中的一些幀可以被切除以用于發(fā)送。即，當(dāng)僅僅發(fā)送對(duì)應(yīng)于被稱(chēng)為GOP的8個(gè)幀中的兩個(gè)的比特流時(shí)，因?yàn)橐缘偷膸俾蕘?lái)解碼所述比特流，所以重放低質(zhì)量視頻。
雖然已經(jīng)參照使用基于MCTF的視頻編碼方案的說(shuō)明性實(shí)施例而示出和說(shuō)明了本發(fā)明，但是本領(lǐng)域技術(shù)人員將明白，可以在其中進(jìn)行在形式和細(xì)節(jié)上的各種改變。即，本發(fā)明可以實(shí)現(xiàn)各種模塊，所述各種模塊被設(shè)計(jì)成通過(guò)解碼按照提供時(shí)間可伸縮性的MCTF、UMCTF或其他視頻編碼方案編碼的可伸縮視頻流來(lái)改變幀速率，通過(guò)按照適合于設(shè)置的屏幕尺寸的幀速率來(lái)調(diào)整時(shí)間級(jí)，所述時(shí)間可伸縮性是可能的。
在此，提供時(shí)間可伸縮性的其他視頻編碼方案可以使用在有限的時(shí)間級(jí)上執(zhí)行時(shí)間變換的連續(xù)時(shí)間近似和引用(Successive Temporal Approximationand Referencing，STRAR)，以在盡可能保持時(shí)間可伸縮性的同時(shí)控制延遲時(shí)間。
接著，現(xiàn)在結(jié)合圖6來(lái)說(shuō)明用于通過(guò)處理被以子波變換編碼以具有空間可伸縮性的比特流來(lái)調(diào)整分辨率的方法。
圖6圖解了按照本發(fā)明的一個(gè)實(shí)施例的、通過(guò)在空間變換單元104中的兩層子波變換而將輸入圖像或幀分解為子帶的處理。
參見(jiàn)圖6，所述幀被分解為在幀的左上四分之一的被稱(chēng)為低-低(LL)(1)的一個(gè)低頻子帶和被稱(chēng)為低-高(LH)(1)的三個(gè)高頻子帶。子帶LL(1)還被第二級(jí)子波變換分解為三個(gè)高頻子帶LH(2)和一個(gè)低頻子帶LL(2)。
可以通過(guò)從以子波變換編碼的比特流去除除了必要子帶之外的信息而實(shí)現(xiàn)所述用于調(diào)整分辨率的所述方法。
例如，需要在選擇預(yù)覽功能后以作為由視頻提供者提供的屏幕的分辨率的四分之一的分辨率來(lái)發(fā)送視頻流，預(yù)解碼器260由控制器240控制以從要發(fā)送到用戶(hù)的比特流中去除除了子帶LL(1)之外的信息。而且，當(dāng)用戶(hù)請(qǐng)求具有為1/16的屏幕分辨率的分辨率的視頻流以便使用畫(huà)中畫(huà)(PIP)功能時(shí)，可以在發(fā)送之前從所述比特流中去除除了子帶LL(2)之外的信息。
現(xiàn)在說(shuō)明用于處理可伸縮比特流以便調(diào)整被編碼為具有信噪比(SNR)的比特流的質(zhì)量級(jí)的方法。
SNR可伸縮性通過(guò)下述方式來(lái)執(zhí)行嵌入的量化通過(guò)僅僅編碼具有大于預(yù)定門(mén)限值的值的像素，在編碼后減小所述門(mén)限值，并且重復(fù)上述處理?？梢酝ㄟ^(guò)所述門(mén)限值來(lái)確定所述質(zhì)量級(jí)。
因此，對(duì)于要使用被編碼以具有SNR可伸縮性的比特流來(lái)產(chǎn)生預(yù)定質(zhì)量的比特流的用戶(hù)，必須提取包含關(guān)于具有大于給定門(mén)限值的值的像素的信息的比特流。
例如，當(dāng)用戶(hù)請(qǐng)求具有低分辨率的視頻內(nèi)容時(shí)，視頻內(nèi)容提供者根據(jù)用戶(hù)的請(qǐng)求分配低質(zhì)量視頻所需的門(mén)限值，并且然后去除包含關(guān)于具有大于所述門(mén)限值的值的像素的信息的、不需要的比特流。即，僅僅提取包含關(guān)于具有大于所分配門(mén)限值的值的像素的信息的比特流以將其提供到用戶(hù)。
圖7是圖解按照本發(fā)明的另一個(gè)實(shí)施例的、用于使用視頻點(diǎn)播(VOD)方案來(lái)發(fā)送可伸縮視頻流的方法的流程圖。
通過(guò)在進(jìn)行請(qǐng)求之前向用戶(hù)發(fā)送視頻內(nèi)容的低質(zhì)量版本和在支付之后提供內(nèi)容的高質(zhì)量版本來(lái)實(shí)現(xiàn)所述VOD方案。
參見(jiàn)圖3和7，首先，在步驟S100，向用戶(hù)提供視頻內(nèi)容的預(yù)覽屏幕?？梢栽谟脩?hù)的請(qǐng)求下或在視頻內(nèi)容提供者的推薦下提供預(yù)覽屏幕。
然后，在觀(guān)看了視頻內(nèi)容的預(yù)覽屏幕后，用戶(hù)在步驟S102確定是否購(gòu)買(mǎi)內(nèi)容。
所述內(nèi)容可以包含由編碼器(圖1的100)編碼的整個(gè)比特流，或者具有比預(yù)覽版本好的視頻質(zhì)量。所述內(nèi)容也可以根據(jù)購(gòu)買(mǎi)它的價(jià)格而具有各種質(zhì)量。
在支付后購(gòu)買(mǎi)內(nèi)容的情況下，視頻內(nèi)容提供者在步驟S104向用戶(hù)發(fā)送視頻內(nèi)容。在執(zhí)行此處理的同時(shí)，關(guān)于所選擇的視頻內(nèi)容和支付費(fèi)用的信息被記錄在用戶(hù)概況220中。所述用戶(hù)概況信息被視頻內(nèi)容提供者用于推薦視頻內(nèi)容。所述信息也可以被用作用于提供諸如圖像質(zhì)量升級(jí)或價(jià)格折扣的獎(jiǎng)勵(lì)的材料。
產(chǎn)業(yè)上的應(yīng)用按照本發(fā)明的用于發(fā)送可伸縮視頻流的方法和設(shè)備能夠提供適合于用戶(hù)的各種需要和內(nèi)容提供者的商業(yè)目的的內(nèi)容。本發(fā)明也可以通過(guò)按照由用戶(hù)請(qǐng)求確定的質(zhì)量而處理內(nèi)容來(lái)以高傳輸速度提供內(nèi)容的期望質(zhì)量，而不需要另外的處理。
在結(jié)束詳細(xì)說(shuō)明后，本領(lǐng)域技術(shù)人員可以明白，在基本上不脫離本發(fā)明的精神的情況下，可以對(duì)于例證實(shí)施例進(jìn)行許多改變和修改。因此，本發(fā)明的所公開(kāi)的例證實(shí)施例僅僅在上位和描述性含義上被使用，而不用于限制的目的。
權(quán)利要求
1.一種用于發(fā)送可伸縮視頻流的方法，包括確定包含由用戶(hù)請(qǐng)求的視頻內(nèi)容的可伸縮比特流的質(zhì)量；以及按照所確定的發(fā)送質(zhì)量來(lái)處理所述可伸縮比特流。
2.按照權(quán)利要求1的方法，其中，通過(guò)分辨率、圖像質(zhì)量或幀速率來(lái)確定所述可伸縮比特流的質(zhì)量。
3.按照權(quán)利要求1的方法，其中，所述比特流的質(zhì)量的確定包括執(zhí)行用戶(hù)鑒別；確定視頻內(nèi)容的用戶(hù)請(qǐng)求；以及根據(jù)用戶(hù)請(qǐng)求和用戶(hù)概況信息來(lái)確定要發(fā)送的比特流的質(zhì)量。
4.按照權(quán)利要求3的方法，其中，所述用戶(hù)請(qǐng)求是對(duì)視頻內(nèi)容的預(yù)覽或購(gòu)買(mǎi)。
5.按照權(quán)利要求3的方法，其中，所述用戶(hù)概況信息是關(guān)于視頻內(nèi)容的費(fèi)用支付的信息。
6.一種用于發(fā)送可伸縮視頻流的設(shè)備，包括可伸縮比特流的源，它包含用戶(hù)請(qǐng)求的視頻內(nèi)容；控制器，用于根據(jù)用戶(hù)請(qǐng)求和用戶(hù)概況信息而確定所述視頻內(nèi)容的質(zhì)量；以及預(yù)解碼器，用于按照所確定的發(fā)送質(zhì)量來(lái)處理所述可伸縮比特流。
7.按照權(quán)利要求6的設(shè)備，其中，通過(guò)分辨率、圖像質(zhì)量或幀速率來(lái)確定所述比特流的質(zhì)量。
8.按照權(quán)利要求6的設(shè)備，其中，所述控制器包括用戶(hù)鑒別器，用于執(zhí)行用戶(hù)鑒別；用戶(hù)信號(hào)輸入，用于接收對(duì)于視頻內(nèi)容的用戶(hù)請(qǐng)求；以及用戶(hù)概況，包含關(guān)于用戶(hù)的信息。
9.按照權(quán)利要求6的設(shè)備，其中，所述用戶(hù)概況包含關(guān)于視頻內(nèi)容的費(fèi)用支付的信息。
全文摘要
本發(fā)明提供了一種方法和設(shè)備，用于通過(guò)按照用戶(hù)請(qǐng)求而處理可伸縮比特流來(lái)發(fā)送適合于用戶(hù)請(qǐng)求的可伸縮視頻流。所述設(shè)備包括可伸縮比特流的源，包含用戶(hù)請(qǐng)求的視頻內(nèi)容；控制器，用于根據(jù)用戶(hù)請(qǐng)求和用戶(hù)概況信息而確定所述視頻內(nèi)容的質(zhì)量；以及預(yù)解碼器，用于按照所確定的發(fā)送質(zhì)量來(lái)處理所述可伸縮比特流。
文檔編號(hào)H04N7/173GK1906938SQ200480041092
公開(kāi)日2007年1月31日 申請(qǐng)日期2004年12月30日 優(yōu)先權(quán)日2004年1月28日
發(fā)明者申成撤, 李培根 申請(qǐng)人:三星電子株式會(huì)社