視頻數(shù)據(jù)的發(fā)送、接收方法及其裝置以及傳輸系統(tǒng)的制作方法
【專利摘要】本發(fā)明公開了一種視頻數(shù)據(jù)的發(fā)送、接收方法及其裝置以及傳輸系統(tǒng)，該發(fā)送方法包括：根據(jù)用于表示當(dāng)前幀為背景幀和/或非背景幀的標(biāo)識信息，確定視頻圖像的原始編碼碼流中的背景幀；將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流；將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝，形成主碼流；發(fā)送所述輔碼流和主碼流。由于將背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成輔碼流，后續(xù)發(fā)送輔碼流和主碼流，避免了直接傳輸背景幀，減少因碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失，同時也沒有降低作為背景幀的高質(zhì)量背景圖像的質(zhì)量，兼顧了傳輸帶寬和圖像質(zhì)量。
【專利說明】視頻數(shù)據(jù)的發(fā)送、接收方法及其裝置以及傳輸系統(tǒng)
【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻編解碼技術(shù)，尤其涉及一種視頻數(shù)據(jù)的發(fā)送、接收方法及其裝置以及傳輸系統(tǒng)。
【背景技術(shù)】
[0002]目前，對于數(shù)字視頻的訪問終端已從傳統(tǒng)個人計算機(PC)向智能手機、個人數(shù)碼助理(Personal Digital Assistant,PDA)、平板等多種終端發(fā)展。數(shù)字視頻信號也面臨著不同的傳輸環(huán)境，包括無線網(wǎng)絡(luò)、第三代移動通信(3G)網(wǎng)絡(luò)等。不同的接收終端具有不同的處理能力和存儲能力，不同的網(wǎng)絡(luò)環(huán)境具有不同的傳輸帶寬，這對數(shù)字視頻的傳輸提出了很大的挑戰(zhàn)。
[0003]基于上述原因，能降低對網(wǎng)絡(luò)的傳輸帶寬要求的視頻壓縮技術(shù)也越來越受到重視。通常，數(shù)字視頻中通常包含大量的冗余信息，例如:空間冗余、時間冗余和信息熵冗余。視頻壓縮主要目的就是去除數(shù)字視頻中的冗余信息。由于視頻信號數(shù)據(jù)量較大，需要很大的傳輸帶寬，因此在傳輸數(shù)字視頻信號之前需要對視頻信號進行壓縮。此外，視頻壓縮有兩個要求:a) —定的壓縮比；b)保證一定的質(zhì)量。
[0004]預(yù)測編碼是消除數(shù)字視頻中冗余信息的重要技術(shù)手段之一。預(yù)測編碼即利用信號間的相關(guān)性，用前面一個或多個信號作為當(dāng)前信號的預(yù)測值，對當(dāng)前信號的實際值與預(yù)測值的差進行編碼。在幀間預(yù)測編碼中，作為當(dāng)前信號預(yù)測值的圖像稱為參考圖像，參考圖像常常具有較高的質(zhì)量和碼率。
[0005]通常，背景幀會作為后續(xù)圖像的參考圖像，然而，對于固定帶寬和低帶寬的網(wǎng)絡(luò)傳輸環(huán)境，背景幀成為傳輸?shù)钠款i。這是因為，背景幀是由序列中圖像建模得到的高質(zhì)量背景圖像，如果建模理想的話，會得到?jīng)]有任何前景的一幅圖像，為了后續(xù)圖像高效壓縮(參考背景幀)，通常對背景幀采用高質(zhì)量編碼方法，其編碼過程就是采用了編碼關(guān)鍵幀(I幀)的過程，編碼后數(shù)據(jù)量較大，具有較高的質(zhì)量。若直接傳輸背景幀，容易導(dǎo)致碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失；若降低作為背景幀的高質(zhì)量背景圖像的質(zhì)量，將影響后續(xù)需要參考該高質(zhì)量的背景圖像進行編碼的非背景幀的壓縮效果，造成整體性能的下降。因此，現(xiàn)有技術(shù)中針對含有背景幀的視頻數(shù)據(jù)進行傳輸時，存在不能兼顧傳輸帶寬和圖像質(zhì)量的問題。
【發(fā)明內(nèi)容】
[0006]有鑒于此，本發(fā)明實施例提供了一種視頻數(shù)據(jù)的發(fā)送、接收方法及其裝置以及傳輸系統(tǒng)，用以解決現(xiàn)有技術(shù)中不能兼顧傳輸帶寬和圖像質(zhì)量的問題。
[0007]本發(fā)明實施例提供一種視頻數(shù)據(jù)的發(fā)送、接收方法及其裝置以及傳輸系統(tǒng)，具體如下:
[0008]第一方面，一種視頻數(shù)據(jù)的發(fā)送方法，所述方法包括:
[0009]根據(jù)用于表示當(dāng)前幀為背景幀和/或非背景幀的標(biāo)識信息，確定視頻圖像的原始編碼碼流中的背景幀；
[0010]將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流；
[0011]將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝，形成主碼流；
[0012]發(fā)送所述輔碼流和主碼流。
[0013]通過這種可能的實施方式，將背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成輔碼流，后續(xù)發(fā)送輔碼流和主碼流，避免了直接傳輸背景幀，減少因碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失，同時也沒有降低作為背景幀的高質(zhì)量背景圖像的質(zhì)量，不會影響后續(xù)需要參考該高質(zhì)量的背景圖像進行編碼的非高質(zhì)量背景圖像的壓縮效果，兼顧了傳輸帶寬和圖像質(zhì)量。
[0014]結(jié)合第一方面，在第一種可能的實現(xiàn)方式中，所述發(fā)送所述輔碼流和主碼流，包括:
[0015]分時發(fā)送所述輔碼流和主碼流，其中，所述輔碼流的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流的發(fā)送完畢時間點。
[0016]結(jié)合第一方面的第一種可能的實現(xiàn)方式，在第二種可能的實現(xiàn)方式中，所述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流，包括:
[0017]根據(jù)背景幀的數(shù)據(jù)量大小、當(dāng)前帶寬下的信道容量和網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的要求，將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流。
[0018]結(jié)合第一方面，第一方面的第一種可能的實現(xiàn)方式或者第一方面的第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，所述原始編碼碼流中包含用于表示各幀圖像的播放順序的圖像序列號，所述方法還包括:
[0019]確定原始編碼碼流中的圖像序列號的最大值小于所述原始編碼碼流中包含的圖像幀數(shù)量；
[0020]生成各主碼流和各輔碼流在原始編碼碼流中的位置偏移量，該位置偏移量表不相對于原始編碼碼流中的序列頭位置的偏移量；
[0021 ] 所述發(fā)送所述主碼流和輔碼流包括:
[0022]發(fā)送主碼流時，將該主碼流的位置偏移量隨同該主碼流發(fā)送；
[0023]發(fā)送輔碼流時，將該輔碼流的位置偏移量隨同該輔碼流發(fā)送。
[0024]結(jié)合第一方面，第一方面的第一種可能的實現(xiàn)方式或者第一方面的第二種可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，所述原始編碼碼流中包含用于表示各幀圖像的播放順序的圖像序列號，所述方法還包括:
[0025]確定原始編碼碼流中的圖像序列號的最大值等于所述原始編碼碼流中包含的圖像幀數(shù)量；
[0026]在所述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包之后，分別加入輔碼流標(biāo)識后進行封裝之前，所述方法還包括:
[0027]對分割得到的所述數(shù)據(jù)包進行編號，將編號加入相應(yīng)的數(shù)據(jù)包，所述編號用于確定該數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
[0028]第二方面，一種視頻數(shù)據(jù)的接收方法，所述方法包括:
[0029]接收視頻數(shù)據(jù)碼流，所述視頻數(shù)據(jù)碼流包括含有主碼流標(biāo)識的主碼流和含有輔碼流標(biāo)識的輔碼流，所述輔碼流是將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成的，所述主碼流是將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝形成的；
[0030]根據(jù)碼流中包含的標(biāo)識，確定接收的碼流中的主碼流和輔碼流；
[0031]將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
[0032]通過這種可能的實施方式，由于接收的是將背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成輔碼流以及主碼流，減少因碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失，同時也沒有降低作為背景幀的高質(zhì)量背景圖像的質(zhì)量，不會影響后續(xù)需要參考該高質(zhì)量的背景圖像進行編碼的非高質(zhì)量背景圖像的壓縮效果，兼顧了傳輸帶寬和圖像質(zhì)量。
[0033]結(jié)合第二方面，在第一種可能的實現(xiàn)方式中，接收的每一個主碼流或輔碼流中隨同有該主碼流或輔碼流的在原始編碼碼流中的位置偏移量，該位置偏移量是相對于原始編碼碼流中的序列頭位置的偏移量；
[0034]所述將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼，包括:
[0035]利用接收的每一個主碼流或輔碼流中隨同有該主碼流或輔碼流的在原始編碼碼流中的位置偏移量，將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
[0036]結(jié)合第二方面，在第二種可能的實現(xiàn)方式中，所述輔碼流中包括編號，所述主碼流中包括圖像序列號，所述圖像序列號用于表示各幀圖像的播放順序，所述編號用于確定該輔碼流包含的數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置；
[0037]所述將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼，包括:
[0038]利用所述編號將確定的輔碼流還原為背景幀，以及確定還原的背景幀的圖像序列號;
[0039]利用還原的背景幀的圖像序列號和主碼流中包括的圖像序列號，將該背景幀和主碼流還原為原始編碼碼流，供解碼器解碼。
[0040]第三方面，所述裝置包括:
[0041]第一確定單元，用于根據(jù)用于表示當(dāng)前幀為背景幀和/或非背景幀的標(biāo)識信息，確定視頻圖像的原始編碼碼流中的背景幀；
[0042]輔碼流形成單元，用于將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，加入輔碼流標(biāo)識后進行封裝，形成輔碼流；
[0043]主碼流形成單元，用于將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝，形成主碼流；
[0044]發(fā)送單元，用于發(fā)送所述輔碼流和主碼流。
[0045]通過這種可能的實施方式，將背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成輔碼流，后續(xù)發(fā)送輔碼流和主碼流，避免了直接傳輸背景幀，減少因碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失，同時也沒有降低作為背景幀的高質(zhì)量背景圖像的質(zhì)量，不會影響后續(xù)需要參考該高質(zhì)量的背景圖像進行編碼的非高質(zhì)量背景圖像的壓縮效果，兼顧了傳輸帶寬和圖像質(zhì)量。
[0046]結(jié)合第三方面，在第一種可能的實現(xiàn)方式中，所述發(fā)送單元，進一步用于分時發(fā)送所述輔碼流和主碼流，其中，所述輔碼流的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流的發(fā)送完畢時間點。
[0047]結(jié)合第三方面，在第二種可能的實現(xiàn)方式中，所述輔碼流形成單元，進一步用于根據(jù)背景幀的數(shù)據(jù)量大小、當(dāng)前帶寬下的信道容量和網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的要求，將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流。
[0048]結(jié)合第三方面，第三方面的第一種可能的實現(xiàn)方式或者第三方面的第二種可能的實現(xiàn)方式，在第三種可能的實現(xiàn)方式中，所述裝置還包括:
[0049]第二確定單元，用于確定原始編碼碼流中的圖像序列號的最大值小于所述原始編碼碼流中包含的圖像幀數(shù)量；
[0050]位置偏移量生成單元，用于生成各主碼流和各輔碼流在原始編碼碼流中的位置偏移量，該位置偏移量表示相對于原始編碼碼流中的序列頭位置的偏移量。
[0051]所述發(fā)送單元，進一步用于發(fā)送主碼流時，將該主碼流的位置偏移量隨同該主碼流發(fā)送；發(fā)送輔碼流時，將該輔碼流的位置偏移量隨同該輔碼流發(fā)送。
[0052]結(jié)合第三方面，第三方面的第一種可能的實現(xiàn)方式或者第三方面的第二種可能的實現(xiàn)方式，在第四種可能的實現(xiàn)方式中，所述裝置還包括:
[0053]第三確定單元，用于確定原始編碼碼流中的圖像序列號的最大值等于所述原始編碼碼流中包含的圖像幀數(shù)量；
[0054]編號單元，用于在所述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包之后，分別加入輔碼流標(biāo)識后進行封裝之前，對分割得到的所述數(shù)據(jù)包進行編號，將編號加入相應(yīng)的數(shù)據(jù)包，所述編號用于確定該數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
[0055]第四方面，一種視頻數(shù)據(jù)的接收裝置，所述裝置包括:
[0056]接收單元，用于接收視頻數(shù)據(jù)碼流，所述視頻數(shù)據(jù)碼流包括含有主碼流標(biāo)識的主碼流和含有輔碼流標(biāo)識的輔碼流，所述輔碼流是將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成的，所述主碼流是將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝形成的；
[0057]碼流類型確定單元，用于根據(jù)碼流中包含的標(biāo)識，確定接收的碼流中的主碼流和輔碼流；
[0058]還原單元，用于將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
[0059]通過這種可能的實施方式，由于接收的是將背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成輔碼流以及主碼流，減少因碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失，同時也沒有降低作為背景幀的高質(zhì)量背景圖像的質(zhì)量，不會影響后續(xù)需要參考該高質(zhì)量的背景圖像進行編碼的非高質(zhì)量背景圖像的壓縮效果，兼顧了傳輸帶寬和圖像質(zhì)量。
[0060]結(jié)合第四方面，在第一種可能的實現(xiàn)方式中，接收的每一個主碼流或輔碼流中隨同有該主碼流或輔碼流的在原始編碼碼流中的位置偏移量，該位置偏移量是相對于原始編碼碼流中的序列頭位置的偏移量；
[0061]所述還原單元，進一步用于利用接收的每一碼流中隨同有該碼流的在原始編碼碼流中的位置偏移量，將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
[0062]結(jié)合第四方面，在第二種可能的實現(xiàn)方式中，所述輔碼流中包括編號，所述主碼流中包括圖像序列號，所述圖像序列號用于表示各幀圖像的播放順序，所述編號用于確定該輔碼流包含的數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置；
[0063]所述還原單元，進一步用于利用所述編號將確定的輔碼流還原為背景幀，以及確定還原的背景幀的圖像序列號；
[0064]利用還原的背景幀的圖像序列號和主碼流中包括的圖像序列號，將該背景幀和主碼流還原為原始編碼碼流，供解碼器解碼。
[0065]第五方面，一種視頻數(shù)據(jù)的傳輸系統(tǒng)，所述系統(tǒng)包括:上述任一視頻數(shù)據(jù)的發(fā)送裝置和上述任一視頻數(shù)據(jù)的接收裝置。
[0066]通過這種可能的實施方式，將背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成輔碼流，后續(xù)發(fā)送輔碼流和主碼流，避免了直接傳輸背景幀，減少因碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失，同時也沒有降低作為背景幀的高質(zhì)量背景圖像的質(zhì)量，不會影響后續(xù)需要參考該高質(zhì)量的背景圖像進行編碼的非高質(zhì)量背景圖像的壓縮效果，兼顧了傳輸帶寬和圖像質(zhì)量。
【專利附圖】
【附圖說明】
[0067]為了更清楚地說明本發(fā)明實施例中的技術(shù)方案，下面將對實施例描述中所需要使用的附圖作簡要介紹，顯而易見地，下面描述中的附圖僅僅是本發(fā)明的一些實施例，對于本領(lǐng)域的普通技術(shù)人員來講，在不付出創(chuàng)造性勞動的前提下，還可以根據(jù)這些附圖獲得其他的附圖。
[0068]圖1為本發(fā)明實施例一中的一種視頻數(shù)據(jù)的發(fā)送方法的流程圖；
[0069]圖2為本發(fā)明實施例一中的將原始碼流數(shù)據(jù)提取出來加入標(biāo)識后重新封裝形成主碼流和輔碼流的示意圖；
[0070]圖3為本發(fā)明實施例一中的視頻序列的編碼層次示意圖；
[0071]圖4為本發(fā)明實施例一中的對圖3所示的視頻序列進行編碼后得到的層次的碼流結(jié)構(gòu)示意圖；
[0072]圖5為本發(fā)明實施例一中的另一種視頻數(shù)據(jù)的發(fā)送方法的流程圖；
[0073]圖6為本發(fā)明實施例二中的一種視頻數(shù)據(jù)的接收方法的流程圖；
[0074]圖7為本發(fā)明實施例二中利用接收的碼流確定出主碼流和輔碼流后還原為原始編碼碼流的不意圖；
[0075]圖8為本發(fā)明實施例三中的一種視頻數(shù)據(jù)的發(fā)送裝置的結(jié)構(gòu)示意圖之一；
[0076]圖9為本發(fā)明實施例三中的一種視頻數(shù)據(jù)的發(fā)送裝置的結(jié)構(gòu)示意圖之二 ；
[0077]圖10為本發(fā)明實施例三中的一種視頻數(shù)據(jù)的發(fā)送裝置的結(jié)構(gòu)示意圖之三；
[0078]圖11為本發(fā)明實施例四中的視頻數(shù)據(jù)的接收裝置的結(jié)構(gòu)示意圖；
[0079]圖12為本發(fā)明實施例五中的視頻數(shù)據(jù)的傳輸系統(tǒng)的結(jié)構(gòu)示意圖。
【具體實施方式】
[0080]為了使本發(fā)明的目的、技術(shù)方案和優(yōu)點更加清楚，下面將結(jié)合附圖對本發(fā)明作進一步地詳細描述，顯然，所描述的實施例僅僅是本發(fā)明一部份實施例，而不是全部的實施例。基于本發(fā)明中的實施例，本領(lǐng)域普通技術(shù)人員在沒有做出創(chuàng)造性勞動前提下所獲得的所有其它實施例，都屬于本發(fā)明保護的范圍。
[0081]為了解決現(xiàn)有技術(shù)中的不能兼顧傳輸帶寬和圖像質(zhì)量的問題，本發(fā)明實施例提供一種視頻數(shù)據(jù)的發(fā)送、接收方法及其裝置以及傳輸系統(tǒng)。
[0082]下面通過具體實施例對本發(fā)明方案進行詳細描述，當(dāng)然，本發(fā)明并不限于以下實施例。
[0083]實施例一
[0084]本發(fā)明實施例一提供一種視頻數(shù)據(jù)的發(fā)送方法，其流程圖如圖1所示，具體包括以下步驟:
[0085]步驟101:根據(jù)用于表示當(dāng)前幀為背景幀和/或非背景幀的標(biāo)識信息，確定視頻圖像的原始編碼碼流中的背景幀；
[0086]通常，視頻編碼中的圖像類型有5種，分別為幀內(nèi)編碼幀(Intra picture,I中貞，也稱關(guān)鍵巾貞)、前向預(yù)測編碼巾貞(Predictive-frame, P巾貞)、雙向預(yù)測內(nèi)插編碼中貞(B1-direct1nal interpolated predict1n frame,B 中貞)、背景中貞(backGround frame,G幀)和切換幀(Switched，S幀)。其中，I巾貞、P巾貞、B幀和S幀可以稱為非背景幀。當(dāng)然，并不限于上述圖像類型，也可以根據(jù)實際需要定義其它圖像類型。將視頻利用幀的編碼方式進行編碼后，即得到視頻圖像的原始編碼碼流；碼流中會有標(biāo)志位標(biāo)識當(dāng)前幀是何種幀的標(biāo)識信息，如標(biāo)志位或起始碼信息。
[0087]以背景幀為高質(zhì)量的碼流，其他幀為高壓縮率的碼流的音視頻編碼標(biāo)準(zhǔn)(Aud1Video coding Standard, AVS)為例，背景幀和非背景幀是在同一個碼流中，AVS碼流中會有標(biāo)志位標(biāo)識當(dāng)前幀是否是背景幀。更具體的，如果碼流中存在背景，背景圖像標(biāo)志位(background_picture_flag)且為 I,且背景圖像輸出標(biāo)志位(background_picture_output_flag)標(biāo)志位為O,則確定當(dāng)前巾貞為背景中貞。
[0088]步驟102:將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流；
[0089]較優(yōu)的，本步驟102包括:
[0090]根據(jù)背景幀的數(shù)據(jù)量大小、當(dāng)前帶寬下的信道容量和網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的要求，將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流。
[0091]上述步驟102具體包括:將對背景幀的圖像進行編碼后得到原始碼流分割后得到的每段碼流分別依次加入應(yīng)用層協(xié)議數(shù)據(jù)單元(Protocol Data Unit,PDU)、傳輸層的FOU、網(wǎng)絡(luò)層的PDU和數(shù)據(jù)鏈路層的rou，即得到對背景幀進行分割后的數(shù)據(jù)包，最后加上輔碼流標(biāo)識進行封裝，轉(zhuǎn)成輔碼流從物理層出來。
[0092]更進一步地，上述步驟102的優(yōu)選步驟還可以進一步具體為以下步驟A至步驟D:
[0093]步驟A:判斷確定的背景幀的數(shù)據(jù)量是否大于當(dāng)前帶寬下的信道容量；若判斷結(jié)果為是，則執(zhí)行步驟B，若判斷結(jié)果為否，則執(zhí)行步驟C ；
[0094]步驟B:依據(jù)當(dāng)前帶寬下的信道容量和網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的數(shù)據(jù)量的要求，將該確定的背景幀分割為至少兩個數(shù)據(jù)包，將該至少兩個數(shù)據(jù)包分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流，上述至少兩個數(shù)據(jù)包中的任一數(shù)據(jù)包的大小均不大于當(dāng)前帶寬下的信道容量；
[0095]步驟C:判斷上述確定的背景幀的數(shù)據(jù)量是否大于網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的數(shù)據(jù)量的最大值的限定，若是，則執(zhí)行步驟D ;若否，則執(zhí)行步驟E ;
[0096]步驟D:則按照網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的數(shù)據(jù)量的要求，將該確定的背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流。
[0097]執(zhí)行步驟E:直接將確定的背景幀加入輔碼流標(biāo)識后進行封裝，形成輔碼流。
[0098]較優(yōu)的，為了獲得分割后的數(shù)據(jù)包在原始碼流中的位置信息，便于后續(xù)接收方對背景幀進行還原，在上述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包之后，分別加入輔碼流標(biāo)識后進行封裝之前，上述方法還包括:
[0099]對分割得到的數(shù)據(jù)包進行編號，將編號加入相應(yīng)的數(shù)據(jù)包，該編號用于確定該數(shù)據(jù)包所屬的背景幀以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
[0100]步驟103:將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝，形成主碼流；
[0101]具體實現(xiàn)時確定原始編碼碼流中的背景幀后，剩余的編碼碼流即為非背景幀。
[0102]考慮到背景幀是由視頻序列中的圖像建模得到的高質(zhì)量背景圖像，編碼后數(shù)據(jù)量較大(例如:AVS中背景幀通常是I幀的幾倍)，較大的數(shù)據(jù)量意味著較高瞬時碼率，若將背景幀和非背景幀在同一碼流中進行傳輸，在帶寬較低的情況下，將會導(dǎo)致背景幀的不能及時傳輸，這就會造成對需要該背景圖像作為參考幀進行解碼的后續(xù)幀的解碼延時，因此，上述步驟102和步驟103中將背景幀和非背景幀重新組織成不同的碼流，并且對背景幀進行分割，分割為至少兩個數(shù)據(jù)包，避免了直接傳輸背景幀，減少因碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失的出現(xiàn)。
[0103]步驟102和步驟103中的輔碼流標(biāo)識及主碼流標(biāo)識可以是一個標(biāo)識位，例如:用O標(biāo)識主碼流，用I標(biāo)識輔碼流；
[0104]需要說明的是，上述中是先執(zhí)行步驟102后執(zhí)行步驟103，也可以步驟102和步驟103可以同時進行，還可以先執(zhí)行步驟103后執(zhí)行步驟102。
[0105]圖2給出了將原始碼流數(shù)據(jù)提取出來加入標(biāo)識后重新封裝形成主碼流和輔碼流的示意圖；從圖2中可知原始編碼碼流中包括序列頭、圖像數(shù)據(jù)(也即非背景幀)、高質(zhì)量圖像數(shù)據(jù)(也即背景幀)；提取出來加入標(biāo)識后變?yōu)橛蓤D像數(shù)據(jù)構(gòu)成的主碼流和由高質(zhì)量圖像數(shù)據(jù)構(gòu)成的輔碼流，需要說明的是圖2中輔碼流中的高質(zhì)量圖像數(shù)據(jù)是對原始編碼碼流中的高質(zhì)量圖像數(shù)據(jù)分割后得到的高質(zhì)量圖像數(shù)據(jù)。
[0106]步驟104:發(fā)送上述輔碼流和主碼流。
[0107]較優(yōu)的，本步驟104包括:
[0108]分時發(fā)送上述輔碼流和主碼流，其中，上述輔碼流的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流的發(fā)送完畢時間點。
[0109]具體地，將輔碼流分散到主碼流之間后發(fā)送，可實現(xiàn)分時發(fā)送。
[0110]由于視頻序列中背景幀的個數(shù)通常較少，并且在碼流中位于需要參考其進行解碼的非背景幀之前的位置，因此，分時發(fā)送由背景幀分割后得到的數(shù)據(jù)包轉(zhuǎn)化的輔碼流和由非背景幀轉(zhuǎn)化的主碼流，并且保證該輔碼流的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流的發(fā)送完畢時間點，可使構(gòu)成背景幀的數(shù)據(jù)包優(yōu)先發(fā)送，確保非背景幀需要背景幀進行解碼時該背景幀已經(jīng)傳輸完畢，可避免因背景幀的傳輸不及時造成的對需要該背景幀作為參考幀進行解碼的非背景幀的解碼延時。
[0111]進一步地，盡管輔碼流的實質(zhì)是對背景幀進行分割得到的數(shù)據(jù)包，但由于分割得到的數(shù)據(jù)包的數(shù)據(jù)量仍然較大，將兩個或多個輔碼流集中發(fā)送，仍然可能會引起碼流的瞬時發(fā)送速率突增，為了避免碼流瞬時發(fā)送速率的突增，將輔碼流分散到主碼流之間后發(fā)送，其中，與每一輔碼流相鄰的碼流均為主碼流，可實現(xiàn)分時發(fā)送。
[0112]此外，編碼器對視頻圖像進行編碼后，每幀圖像的編碼碼流中均包含用于表示該中貞圖像的播放順序的圖像序列號(Picture Order Count, POC);下面通過圖3和圖4對該圖像序列號在編碼碼流中的位置進行說明:
[0113]圖3中所示為視頻序列的編碼層次示意圖；其中，視頻序列由圖像組成；圖像由片組成；片由編碼塊組成。
[0114]圖4為對圖3所示的視頻序列進行編碼后得到的層次的碼流結(jié)構(gòu)示意圖，由圖4可知，視頻的原始編碼碼流由序列組成；序列包含序列頭和圖像數(shù)據(jù)；圖像數(shù)據(jù)包含圖像頭和片數(shù)據(jù)；片數(shù)據(jù)包含片頭和宏塊數(shù)據(jù)；其中，圖像頭中包括圖像序列號。
[0115]由于每幀圖像的原始編碼碼流中均包含圖像序列號，圖像序列號用于表示各幀圖像的播放順序，因此，在將主碼流和輔碼流發(fā)送出去之后，通?？梢岳迷搱D像序列號進行碼流的還原；然而，考慮到一部分編碼器編碼出的圖像序列號的位數(shù)較小(例如只有2個字節(jié))，故圖像序列號最大值是255，超過255后重新從O開始編號；本發(fā)明實施例中由于是將輔碼流分散到主碼流后發(fā)送的，圖像幀的發(fā)送順序并不是按照圖像序列號的順序進行的，因此，該被分散的輔碼流的圖像序列號可能會與后續(xù)的其它碼流的圖像序列號出現(xiàn)重復(fù)，這將可能導(dǎo)致接收方的解碼出現(xiàn)錯誤，為了確保接收方正確還原出出原始編碼碼流，進而正確進行解碼，較優(yōu)的，上述視頻數(shù)據(jù)的發(fā)送方法還包括以下步驟，其流程如圖5所示。
[0116]步驟501:判斷確定原始編碼碼流中的圖像序列號的最大值是否小于上述原始編碼碼流中包含的圖像幀數(shù)量；若是，執(zhí)行步驟502 ;若否，執(zhí)行步驟503。
[0117]該步驟501可在上述步驟101-步驟103之后或之前的任一步驟執(zhí)行，也可以與步驟101-步驟103中的任一步驟同時執(zhí)行。
[0118]步驟502:生成各主碼流和各輔碼流在原始編碼碼流中的位置偏移量，該位置偏移量表示相對于原始編碼碼流中的序列頭位置的偏移量。
[0119]具體地，上述位置偏移量可用偏移序列頭多少個單位來表示，其中每一單位表示一個主碼流或一個輔碼流。
[0120]該步驟502可在上述步驟103之后且步驟104之前執(zhí)行。
[0121]在完成這里的步驟502后，發(fā)送主碼流時，將該主碼流的位置偏移量隨同該主碼流發(fā)送；發(fā)送輔碼流時，將該輔碼流的位置偏移量隨同該輔碼流發(fā)送。
[0122]步驟503:判斷確定原始編碼碼流中的圖像序列號的最大值是否等于上述原始編碼碼流中包含的圖像幀數(shù)量；若是，執(zhí)行步驟504 ;若否，則提示編碼碼流出錯。
[0123]步驟504:在上述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包之后，分別加入輔碼流標(biāo)識后進行封裝之前，對分割得到的數(shù)據(jù)包進行編號，將編號加入相應(yīng)的數(shù)據(jù)包，該編號用于確定該數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
[0124]下面通過一個具體的例子對上述視頻數(shù)據(jù)的發(fā)送方法進行更為詳細地說明。
[0125]假設(shè)原始編碼碼流為:11P2 P3 P4 P5 P6 P7 P8 P9 PlO Pll P12 P13 P14 P15G16 P17 P18。
[0126]其中，Il中的I是表示幀內(nèi)編碼幀，I是表示該I幀的圖像序列號為I ;P2中的P是表不如向預(yù)測編碼巾貞，2是表該P巾貞的圖像序列號為2,G16中的G是表背景巾貞，16是表示該G幀的圖像序列號為16，其余類似，不再贅述。
[0127]第一步:確定原始編碼碼流中的背景幀為G16 ；
[0128]第二步:將確定的背景幀G16分割為10個數(shù)據(jù)包，對分割得到的數(shù)據(jù)包進行編號，下標(biāo)用abcdefghij表示，分別加入輔碼流標(biāo)識后封裝，形成的輔碼流為:G16a G16b G16cG16d G16e G16f G16g G16h G16i G16j ；
[0129]第三步:將每一非背景幀加入主碼流標(biāo)識后進行封裝，形成的主碼流為:11 P2 P3P4 P5 P6 P7 P8 P9 PlO Pll P12 P13 P14 P15 P17 P18 ；
[0130]第四步:分時發(fā)送第二步中的輔碼流和第三步中的主碼流，其中，輔碼流G16aG16b G16c G16d G16e G16f G16g G16h G16i G16j的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流P17、P18的發(fā)送完畢時間點。
[0131]滿足上述輔碼流G16aG16b G16c G16d G16e G16f G16g G16h G16i G16 j 的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流P17、P18的發(fā)送完畢時間點這一條件的一種可能的發(fā)送結(jié)果為:11 G16a P2 G16b P3 G16c P4 G16d P5 G16e P6 G16f P7 G16gG16h P8 G16i P9 G16j PlO Pll P12 P13 P14 P15 P17 P18。
[0132]當(dāng)然，也可以為其它發(fā)送結(jié)果，只要滿足將第二步中的輔碼流和第三步中的主碼流分時發(fā)送，且確保輔碼流的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流的發(fā)送完畢時間點即可。
[0133]由上述具體的例子可知，本實施例的方案中實現(xiàn)了提前傳送G幀數(shù)據(jù)，并且構(gòu)成G幀的數(shù)據(jù)包不是同時傳送的(每個構(gòu)成G幀的數(shù)據(jù)包提前的時間不同)，也就是將數(shù)據(jù)打散之后分時傳輸。
[0134]在本發(fā)明實施例一的技術(shù)方案中，將背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成輔碼流，后續(xù)發(fā)送輔碼流和主碼流，避免了直接傳輸背景幀，減少因碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失，同時也沒有降低作為背景幀的高質(zhì)量背景圖像的質(zhì)量，不會影響后續(xù)需要參考該高質(zhì)量的背景圖像進行編碼的非高質(zhì)量背景圖像的壓縮效果，兼顧了傳輸帶寬和圖像質(zhì)量。
[0135]實施例二
[0136]基于與實施例一的同一發(fā)明構(gòu)思，本發(fā)明實施例二提供一種視頻數(shù)據(jù)的接收方法，其流程如圖6所示，包括以下步驟:
[0137]步驟601:接收視頻數(shù)據(jù)碼流，該視頻數(shù)據(jù)碼流包括含有主碼流標(biāo)識的主碼流和含有輔碼流標(biāo)識的輔碼流，該輔碼流是將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成的，該主碼流是將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝形成的；
[0138]步驟602:根據(jù)碼流中包含的標(biāo)識，確定接收的碼流中的主碼流和輔碼流；
[0139]步驟603:將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
[0140]由于接收的視頻數(shù)據(jù)碼流中通常包含圖像序列號，因此，在本發(fā)明實施例二的方案中，可利用碼流中包含的圖像序列號，將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
[0141]圖7給出了利用接收的碼流確定出主碼流和輔碼流后還原為原始編碼碼流的示意圖；
[0142]較優(yōu)的，上述輔碼流的接收完畢時間點不晚于需要該輔碼流進行解碼的主碼流的接收完畢時間點。此時，也即確保了非背景幀需要背景幀進行解碼時該背景幀已經(jīng)傳輸完畢，避免了因背景幀的傳輸不及時造成的對需要該背景幀作為參考幀進行解碼的非背景幀的解碼延時。
[0143]較優(yōu)的，為了便于正確的還原原碼流，在上述接收的每一主碼流或輔碼流中隨同有該主碼流或輔碼流的在原始編碼碼流中的位置偏移量時，利用接收的每一主碼流或輔碼流中隨同有該主碼流或輔碼流的在原始編碼碼流中的位置偏移量，將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼，該位置偏移量是相對于原始編碼碼流中的序列頭位置的偏移量。
[0144]在上述輔碼流中包括編號，上述主碼流中包括圖像序列號時，利用上述編號將確定的輔碼流還原為背景幀，以及確定還原的背景幀的圖像序列號；利用還原的背景幀的圖像序列號和主碼流中包括的圖像序列號，將該背景幀和主碼流還原為原始編碼碼流，供解碼器解碼，上述圖像序列號用于表示各幀圖像的播放順序，該編號用于確定該輔碼流包含的數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
[0145]下面通過一個具體的例子對本發(fā)明實施例二中的視頻數(shù)據(jù)的接收方法進行說明。
[0146]假設(shè)接收到的是實施例一中發(fā)送的Il G16a P2 G16b P3 G16c P4 G16d P5 G16eP6 G16f P7 G16g G16h P8 G16i P9 G16j PlO Pll P12 P13 P14 P15 P17 P18碼流，此時，可知接收的輔碼流中包括編號，上述主碼流中包括圖像序列號，則利用本發(fā)明實施例二中的視頻數(shù)據(jù)的接收方法，具體執(zhí)行的步驟如下:
[0147]第一步:解封裝數(shù)據(jù)包，在該數(shù)據(jù)包中包含的標(biāo)識為主碼流標(biāo)識時，確定該碼流為主碼流，在該數(shù)據(jù)包縱包含的標(biāo)識為輔碼流標(biāo)識時，確定該碼流為輔碼流；此時確定出主碼流為 Il P2 P3 P4 P5 P6 P7 P8 P9 PlO Pll P12 P13 P14 P15 P17 P18，輔碼流為:G16aG16b G16c G16d G16e G16f G16g G16h G16i G16j ；
[0148]第二步:利用輔碼流中包含的編碼16a 16b 16c 16d 16e 16f 16g 16h 16i 16j將輔碼流還原為背景幀G，以及確定該背景幀的圖像序列號為16 ；
[0149]第三步:利用各主碼流的圖像序列號和確定的背景幀的圖像序列號，將主碼流和還原的上述背景幀G還原為原始編碼碼流，即為:11 P2 P3 P4 P5 P6 P7 P8 P9 PlO PllP12 P13 P14 P15 G16 P17 P18。
[0150]在本發(fā)明實施例二的方案中，由于接收的輔碼流是將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成的，因此，很大程度上避免了碼流傳輸中圖像瞬時碼率過高造成后續(xù)非背景幀的延時或丟失，使得接收到的碼流較大程度上為完整的碼流，并且是壓縮效果較好的圖像的碼流，因此，還原后得到的原始編碼碼流完整性較高，為后續(xù)解碼出高質(zhì)量的視頻圖像提供了較好的基礎(chǔ)。
[0151]實施例三
[0152]基于與實施例一的同一發(fā)明構(gòu)思，本發(fā)明實施例三提供一種視頻數(shù)據(jù)的發(fā)送裝置，其結(jié)構(gòu)示意圖如圖8所示，包括:第一確定單元81、輔碼流形成單元82、主碼流形成單元83和發(fā)送單元84 ;其中:
[0153]第一確定單元81，用于根據(jù)用于表示當(dāng)前幀為背景幀和/或非背景幀的標(biāo)識信息，確定視頻圖像的原始編碼碼流中的背景幀；
[0154]輔碼流形成單元82，用于將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，加入輔碼流標(biāo)識后進行封裝，形成輔碼流；
[0155]主碼流形成單元83，用于將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝，形成主碼流；
[0156]發(fā)送單元84，用于發(fā)送輔碼流和主碼流。
[0157]較優(yōu)的，上述發(fā)送單元84，進一步用于分時發(fā)送上述輔碼流和主碼流，其中，上述輔碼流的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流的發(fā)送完畢時間點。
[0158]較優(yōu)的，上述輔碼流形成單元82，進一步用于根據(jù)背景幀的數(shù)據(jù)量大小、當(dāng)前帶寬下的信道容量和網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的要求，將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流。
[0159]在上述圖8上述的裝置的基礎(chǔ)上，本發(fā)明實施例二還提出一種視頻數(shù)據(jù)的發(fā)送裝置，該裝置的結(jié)構(gòu)示意圖如圖9所示，除包括圖8上述的裝置中的單元外，還包括:
[0160]第二確定單元91，用于確定原始編碼碼流中的圖像序列號的最大值小于上述原始編碼碼流中包含的圖像幀數(shù)量；
[0161]位置偏移量生成單元92，用于生成各主碼流和各輔碼流在原始編碼碼流中的位置偏移量，該位置偏移量表示相對于原始編碼碼流中的序列頭位置的偏移量。
[0162]上述發(fā)送單元84，進一步用于發(fā)送主碼流時，將該主碼流的位置偏移量隨同該主碼流發(fā)送；發(fā)送輔碼流時，將該輔碼流的位置偏移量隨同該輔碼流發(fā)送。
[0163]在上述圖8上述的裝置的基礎(chǔ)上，本發(fā)明實施例二還提出一種視頻數(shù)據(jù)的發(fā)送裝置，該裝置的結(jié)構(gòu)示意圖如圖10所示，除包括圖8上述的裝置中的單元外，還包括:
[0164]第三確定單元1001，用于確定原始編碼碼流中的圖像序列號的最大值等于上述原始編碼碼流中包含的圖像幀數(shù)量；
[0165]編號單元1002，用于在上述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包之后，分別加入輔碼流標(biāo)識后進行封裝之前，對分割得到的上述數(shù)據(jù)包進行編號，將編號加入相應(yīng)的數(shù)據(jù)包，該編號用于確定該數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
[0166]實施例四
[0167]基于與實施例二的同一發(fā)明構(gòu)思，本發(fā)明實施例四提供一種視頻數(shù)據(jù)的接收裝置，其結(jié)構(gòu)示意圖如圖11所示，包括:接收單元111、碼流類型確定單元112和還原單元113 ;其中:
[0168]接收單元111，用于接收視頻數(shù)據(jù)碼流，該視頻數(shù)據(jù)碼流含有主碼流標(biāo)識的主碼流和含有輔碼流標(biāo)識的輔碼流，上述輔碼流是將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成的，上述主碼流是將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝形成的；
[0169]碼流類型確定單元112，用于根據(jù)碼流中包含的標(biāo)識，確定接收的碼流中的主碼流和輔碼流；
[0170]還原單元113，用于將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
[0171]較優(yōu)的，上述接收的每一碼流中隨同有該碼流的在原始編碼碼流中的位置偏移量，該位置偏移量是相對于原始編碼碼流中的序列頭位置的偏移量；
[0172]上述還原單元113，進一步用于利用接收的每一碼流中隨同有該碼流的在原始編碼碼流中的位置偏移量，將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
[0173]較優(yōu)的，上述輔碼流中包括編號，上述主碼流中包括圖像序列號，上述圖像序列號用于表示各幀圖像的播放順序，上述編號用于確定該輔碼流包含的數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
[0174]上述還原單元113，進一步用于利用上述編號將確定的輔碼流還原為背景幀，以及確定還原的背景幀的圖像序列號；利用還原的背景幀的圖像序列號和主碼流中包括的圖像序列號，將該背景幀和主碼流還原為原始編碼碼流，供解碼器解碼。
[0175]實施例五
[0176]基于與本發(fā)明實施例一至實施例四的同一發(fā)明構(gòu)思，本發(fā)明實施例五提供一種視頻數(shù)據(jù)的傳輸系統(tǒng)，其結(jié)構(gòu)示意圖如圖12所示，上述系統(tǒng)包括:視頻數(shù)據(jù)的發(fā)送裝置120和視頻數(shù)據(jù)的接收裝置121 ；
[0177]其中，上述視頻數(shù)據(jù)的發(fā)送裝置120為實施例三中的任一視頻數(shù)據(jù)的發(fā)送裝置，上述視頻數(shù)據(jù)的接收裝置121為實施例四中的任一視頻數(shù)據(jù)的接收裝置。
[0178]本領(lǐng)域內(nèi)的技術(shù)人員應(yīng)明白，本發(fā)明的實施例可提供為方法、系統(tǒng)、或計算機程序產(chǎn)品。因此，本發(fā)明可采用完全硬件實施例、完全軟件實施例、或結(jié)合軟件和硬件方面的實施例的形式。而且，本發(fā)明可采用在一個或多個其中包含有計算機可用程序代碼的計算機可用存儲介質(zhì)(包括但不限于磁盤存儲器、CD-ROM、光學(xué)存儲器等)上實施的計算機程序產(chǎn)品的形式。
[0179]本發(fā)明是參照根據(jù)本發(fā)明實施例的方法、設(shè)備(系統(tǒng))、和計算機程序產(chǎn)品的流程圖和/或方框圖來描述的。應(yīng)理解可由計算機程序指令實現(xiàn)流程圖和/或方框圖中的每一流程和/或方框、以及流程圖和/或方框圖中的流程和/或方框的結(jié)合?？商峁┻@些計算機程序指令到通用計算機、專用計算機、嵌入式處理機或其他可編程數(shù)據(jù)處理設(shè)備的處理器以產(chǎn)生一個機器，使得通過計算機或其他可編程數(shù)據(jù)處理設(shè)備的處理器執(zhí)行的指令產(chǎn)生用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的裝置。
[0180]這些計算機程序指令也可存儲在能引導(dǎo)計算機或其他可編程數(shù)據(jù)處理設(shè)備以特定方式工作的計算機可讀存儲器中，使得存儲在該計算機可讀存儲器中的指令產(chǎn)生包括指令裝置的制造品，該指令裝置實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能。
[0181]這些計算機程序指令也可裝載到計算機或其他可編程數(shù)據(jù)處理設(shè)備上，使得在計算機或其他可編程設(shè)備上執(zhí)行一系列操作步驟以產(chǎn)生計算機實現(xiàn)的處理，從而在計算機或其他可編程設(shè)備上執(zhí)行的指令提供用于實現(xiàn)在流程圖一個流程或多個流程和/或方框圖一個方框或多個方框中指定的功能的步驟。
[0182]盡管已描述了本發(fā)明的優(yōu)選實施例，但本領(lǐng)域內(nèi)的技術(shù)人員一旦得知了基本創(chuàng)造性概念，則可對這些實施例作出另外的變更和修改。所以，所附權(quán)利要求意欲解釋為包括優(yōu)選實施例以及落入本發(fā)明范圍的所有變更和修改。
[0183]顯然，本領(lǐng)域的技術(shù)人員可以對本發(fā)明進行各種改動和變型而不脫離本發(fā)明的精神和范圍。這樣，倘若本發(fā)明的這些修改和變型屬于本發(fā)明權(quán)利要求及其等同技術(shù)的范圍之內(nèi)，則本發(fā)明也意圖包含這些改動和變型在內(nèi)。
【權(quán)利要求】
1.一種視頻數(shù)據(jù)的發(fā)送方法，其特征在于，所述方法包括: 根據(jù)用于表示當(dāng)前幀為背景幀和/或非背景幀的標(biāo)識信息，確定視頻圖像的原始編碼碼流中的背景幀； 將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流； 將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝，形成主碼流； 發(fā)送所述輔碼流和主碼流。
2.如權(quán)利要求1所述的視頻數(shù)據(jù)的發(fā)送方法，其特征在于，所述發(fā)送所述輔碼流和主碼流，包括: 分時發(fā)送所述輔碼流和主碼流，其中，所述輔碼流的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流的發(fā)送完畢時間點。
3.如權(quán)利要求1所述的視頻數(shù)據(jù)的發(fā)送方法，其特征在于，所述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流，包括: 根據(jù)背景幀的數(shù)據(jù)量大小、當(dāng)前帶寬下的信道容量和網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的要求，將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流。
4.如權(quán)利要求1-3任一所述的視頻數(shù)據(jù)的發(fā)送方法，其特征在于，所述原始編碼碼流中包含用于表示各幀圖像的播放順序的圖像序列號，所述方法還包括: 確定原始編碼碼流中的圖像序列號的最大值小于所述原始編碼碼流中包含的圖像幀數(shù)量； 生成各主碼流和各輔碼流在原始編碼碼流中的位置偏移量，該位置偏移量表示相對于原始編碼碼流中的序列頭位置的偏移量； 所述發(fā)送所述主碼流和輔碼流包括: 發(fā)送主碼流時，將該主碼流的位置偏移量隨同該主碼流發(fā)送； 發(fā)送輔碼流時，將該輔碼流的位置偏移量隨同該輔碼流發(fā)送。
5.如權(quán)利要求1-3任一所述的視頻數(shù)據(jù)的發(fā)送方法，其特征在于，所述原始編碼碼流中包含用于表示各幀圖像的播放順序的圖像序列號，所述方法還包括: 確定原始編碼碼流中的圖像序列號的最大值等于所述原始編碼碼流中包含的圖像幀數(shù)量； 在所述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包之后，分別加入輔碼流標(biāo)識后進行封裝之前，所述方法還包括: 對分割得到的所述數(shù)據(jù)包進行編號，將編號加入相應(yīng)的數(shù)據(jù)包，所述編號用于確定該數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
6.—種視頻數(shù)據(jù)的接收方法，其特征在于，所述方法包括: 接收視頻數(shù)據(jù)碼流，所述視頻數(shù)據(jù)碼流包括含有主碼流標(biāo)識的主碼流和含有輔碼流標(biāo)識的輔碼流，所述輔碼流是將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成的，所述主碼流是將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝形成的； 根據(jù)碼流中包含的標(biāo)識，確定接收的碼流中的主碼流和輔碼流； 將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
7.如權(quán)利要求6所述的視頻數(shù)據(jù)的接收方法，其特征在于，接收的每一個主碼流或輔碼流中隨同有該主碼流或輔碼流的在原始編碼碼流中的位置偏移量，該位置偏移量是相對于原始編碼碼流中的序列頭位置的偏移量； 所述將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼，包括: 利用接收的每一個主碼流或輔碼流中隨同有該主碼流或輔碼流的在原始編碼碼流中的位置偏移量，將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
8.如權(quán)利要求6所述的視頻數(shù)據(jù)的接收方法，其特征在于，所述輔碼流中包括編號，所述主碼流中包括圖像序列號，所述圖像序列號用于表示各幀圖像的播放順序，所述編號用于確定該輔碼流包含的數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置； 所述將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼，包括: 利用所述編號將確定的輔碼流還原為背景幀，以及確定還原的背景幀的圖像序列號；利用還原的背景幀的圖像序列號和主碼流中包括的圖像序列號，將該背景幀和主碼流還原為原始編碼碼流，供解碼器解碼。
9.一種視頻數(shù)據(jù)的發(fā)送裝置，其特征在于，所述裝置包括: 第一確定單元，用于根據(jù)用于表示當(dāng)前幀為背景幀和/或非背景幀的標(biāo)識信息，確定視頻圖像的原始編碼碼流中的背景幀； 輔碼流形成單元，用于將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，加入輔碼流標(biāo)識后進行封裝，形成輔碼流； 主碼流形成單元，用于將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝，形成主碼流； 發(fā)送單元，用于發(fā)送所述輔碼流和主碼流。
10.如權(quán)利要求9所述的視頻數(shù)據(jù)的發(fā)送裝置，其特征在于，所述發(fā)送單元，進一步用于分時發(fā)送所述輔碼流和主碼流，其中，所述輔碼流的發(fā)送完畢時間點不晚于需要該輔碼流進行解碼的主碼流的發(fā)送完畢時間點。
11.如權(quán)利要求9所述的視頻數(shù)據(jù)的發(fā)送裝置，其特征在于，所述輔碼流形成單元，進一步用于根據(jù)背景幀的數(shù)據(jù)量大小、當(dāng)前帶寬下的信道容量和網(wǎng)絡(luò)協(xié)議中對數(shù)據(jù)包的要求，將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝，形成輔碼流。
12.如權(quán)利要求9-11任一所述的視頻數(shù)據(jù)的發(fā)送裝置，其特征在于，所述裝置還包括: 第二確定單元，用于確定原始編碼碼流中的圖像序列號的最大值小于所述原始編碼碼流中包含的圖像幀數(shù)量； 位置偏移量生成單元，用于生成各主碼流和各輔碼流在原始編碼碼流中的位置偏移量，該位置偏移量表示相對于原始編碼碼流中的序列頭位置的偏移量； 所述發(fā)送單元，進一步用于發(fā)送主碼流時，將該主碼流的位置偏移量隨同該主碼流發(fā)送；發(fā)送輔碼流時，將該輔碼流的位置偏移量隨同該輔碼流發(fā)送。
13.如權(quán)利要求9-11任一所述的視頻數(shù)據(jù)的發(fā)送裝置，其特征在于，所述裝置還包括: 第三確定單元，用于確定原始編碼碼流中的圖像序列號的最大值等于所述原始編碼碼流中包含的圖像幀數(shù)量； 編號單元，用于在所述將確定的每一背景幀分割為至少兩個數(shù)據(jù)包之后，分別加入輔碼流標(biāo)識后進行封裝之前，對分割得到的所述數(shù)據(jù)包進行編號，將編號加入相應(yīng)的數(shù)據(jù)包，所述編號用于確定該數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置。
14.一種視頻數(shù)據(jù)的接收裝置，其特征在于，所述裝置包括: 接收單元，用于接收視頻數(shù)據(jù)碼流，所述視頻數(shù)據(jù)碼流包括含有主碼流標(biāo)識的主碼流和含有輔碼流標(biāo)識的輔碼流，所述輔碼流是將確定的每一背景幀分割為至少兩個數(shù)據(jù)包，分別加入輔碼流標(biāo)識后進行封裝形成的，所述主碼流是將原始編碼碼流中每一非背景幀加入主碼流標(biāo)識后進行封裝形成的； 碼流類型確定單元，用于根據(jù)碼流中包含的標(biāo)識，確定接收的碼流中的主碼流和輔碼流； 還原單元，用于將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
15.如權(quán)利要求14所述的視頻數(shù)據(jù)的接收裝置，其特征在于，接收的每一個主碼流或輔碼流中隨同有該主碼流或輔碼流的在原始編碼碼流中的位置偏移量，該位置偏移量是相對于原始編碼碼流中的序列頭位置的偏移量； 所述還原單元，進一步用于利用接收的每一碼流中隨同有該碼流的在原始編碼碼流中的位置偏移量，將確定的主碼流和輔碼流還原為視頻圖像的原始編碼碼流，供解碼器解碼。
16.如權(quán)利要求14所述的視頻數(shù)據(jù)的接收裝置，其特征在于，所述輔碼流中包括編號，所述主碼流中包括圖像序列號，所述圖像序列號用于表示各幀圖像的播放順序，所述編號用于確定該輔碼流包含的數(shù)據(jù)包所屬的背景幀的圖像序列號以及該數(shù)據(jù)包中的數(shù)據(jù)在該背景幀中的位置； 所述還原單元，進一步用于利用所述編號將確定的輔碼流還原為背景幀，以及確定還原的背景幀的圖像序列號； 利用還原的背景幀的圖像序列號和主碼流中包括的圖像序列號，將該背景幀和主碼流還原為原始編碼碼流，供解碼器解碼。
17.—種視頻數(shù)據(jù)的傳輸系統(tǒng)，其特征在于，所述系統(tǒng)包括:權(quán)利要求9-13任一所述的視頻數(shù)據(jù)的發(fā)送裝置和權(quán)利要求14-16任一所述的視頻數(shù)據(jù)的接收裝置。
【文檔編號】H04N19/37GK104253996SQ201410478748
【公開日】2014年12月31日 申請日期:2014年9月18日 優(yōu)先權(quán)日:2014年9月18日
【發(fā)明者】田永鴻, 邢培銀, 王耀威, 黃鐵軍 申請人:中安消技術(shù)有限公司, 北京大學(xué)