將視頻數(shù)據(jù)從h.264轉(zhuǎn)碼成h.265的方法和設(shè)備的制造方法
【專利摘要】一種將H.264格式的視頻數(shù)據(jù)流(110)轉(zhuǎn)碼成H.265格式的視頻數(shù)據(jù)流(120)的設(shè)備(100)，包括：用于根據(jù)應(yīng)用反量化操作之后所述宏塊的離散余弦變換DCT系數(shù)之間的頻率相似性的預(yù)定要求來合并H.264格式的數(shù)據(jù)流的相鄰宏塊的裝置(101)；以及用于通過對源自H.264格式的數(shù)據(jù)流的宏塊的合并所產(chǎn)生的宏塊執(zhí)行對源自H.264格式的數(shù)據(jù)流的所述宏塊的運動向量的組合，來基于H.264格式的運動向量確定H.265格式的運動向量的裝置(102)。
【專利說明】將視頻數(shù)據(jù)從Η. 264轉(zhuǎn)碼成Η. 2化的方法和設(shè)備
[0001] 本發(fā)明設(shè)及將H. 264格式的視頻數(shù)據(jù)流轉(zhuǎn)碼成H. 265格式的視頻數(shù)據(jù)流。
[0002] H. 265視頻數(shù)據(jù)編碼標(biāo)準(zhǔn)(參考皿VC(高效視頻編碼））被開發(fā)用于接續(xù)H. 264視頻 編碼標(biāo)準(zhǔn)(參考MPEG-4AVC(高級視頻編碼)或MPEG-4第10部分）。Η. 265視頻數(shù)據(jù)編碼標(biāo)準(zhǔn)使 得能夠在同等質(zhì)量的情況下獲得更佳的壓縮率，運使得能夠在現(xiàn)有的通信網(wǎng)絡(luò)架構(gòu)上傳輸 非常高分辨率(2IUK，4Κ2Κ，8Κ4Κ等）的視頻數(shù)據(jù)流。從另一角度看，Η. 265視頻數(shù)據(jù)編碼標(biāo)準(zhǔn) 使得能夠極大地減低在運些現(xiàn)有通信網(wǎng)絡(luò)架構(gòu)上傳輸高分辨率或標(biāo)準(zhǔn)分辨率的視頻數(shù)據(jù) 流所需要的傳輸率。從又一角度看，Η.265視頻數(shù)據(jù)編碼標(biāo)準(zhǔn)使得能夠降低在通信網(wǎng)絡(luò)架構(gòu) 上傳輸視頻數(shù)據(jù)流所需要的功耗。
[0003] 很多設(shè)備和基礎(chǔ)設(shè)施目前適合支持到Η. 264標(biāo)準(zhǔn)的視頻數(shù)據(jù)流編碼，而符合Η. 265 標(biāo)準(zhǔn)的設(shè)備處于剛出現(xiàn)階段。因此，為了在不更新所有所述設(shè)備和基礎(chǔ)設(shè)施的情況下獲得 相比于Η. 264標(biāo)準(zhǔn)由Η. 265標(biāo)準(zhǔn)所提供的性能方面的提升，有可能提供一種將Η. 264格式的 視頻數(shù)據(jù)流轉(zhuǎn)碼成Η. 265格式的視頻數(shù)據(jù)流的機制。然而，將Η. 264格式的視頻數(shù)據(jù)流完全 解碼W將其完全重新編碼為Η.265格式的視頻數(shù)據(jù)流在處理資源方面和處理延遲方面而言 成本很高。
[0004] 希望克服現(xiàn)有技術(shù)的運些缺點。尤其希望提供能夠降低將Η. 264標(biāo)準(zhǔn)的視頻數(shù)據(jù) 流轉(zhuǎn)碼成Η. 265標(biāo)準(zhǔn)的視頻數(shù)據(jù)流所需的處理資源量的方案。也希望提供能夠降低執(zhí)行運 樣轉(zhuǎn)碼所需的處理延遲的方案。
[0005] 本發(fā)明設(shè)及一種將Η. 264格式的視頻數(shù)據(jù)流轉(zhuǎn)碼成Η. 265格式的視頻數(shù)據(jù)流的轉(zhuǎn) 碼方法，所述方法由轉(zhuǎn)碼設(shè)備實現(xiàn)。該方法包括W下步驟:根據(jù)應(yīng)用反量化操作之后宏塊的 離散余弦變換(DCT)系數(shù)的頻率相似性的預(yù)定條件，執(zhí)行Η.264格式的數(shù)據(jù)流中相鄰宏塊的 合并;通過對源自Η. 264格式的數(shù)據(jù)流的宏塊合并所得到的宏塊，執(zhí)行對源自Η. 264格式的 數(shù)據(jù)流的所述宏塊的運動向量的組合，來基于Η. 264格式的運動向量確定Η. 265格式的運動 向量。由于Η. 264流不經(jīng)過完全解碼，運種到Η. 265格式的數(shù)據(jù)流的轉(zhuǎn)碼在處理資源方面和 在處理延遲方面而言是有利的。
[0006] 根據(jù)【具體實施方式】，當(dāng)合并后的宏塊對應(yīng)于帖內(nèi)模式的預(yù)測數(shù)據(jù)時，所述轉(zhuǎn)碼設(shè) 備將所得到的宏塊與預(yù)測方向相關(guān)聯(lián)，該預(yù)測方向是根據(jù)Η. 246格式而與與合并后的宏塊 相關(guān)聯(lián)的預(yù)測方向的線性組合最接近的預(yù)測方向。
[0007] 根據(jù)【具體實施方式】，為了確定相鄰宏塊是否能被合并，所述轉(zhuǎn)碼設(shè)備獲取關(guān)于所 述相鄰宏塊反量化之后的DCT系數(shù)之間的絕對差之和的信息，并將關(guān)于絕對差之和的所述 信息與第一預(yù)定闊值比較。
[000引根據(jù)【具體實施方式】，為了合并四個相鄰宏塊從而形成所得到的方形宏塊，所述轉(zhuǎn) 碼設(shè)備使用:沿所述宏塊的垂直維度的第一蝴蝶圖，從而能夠從四個相鄰宏塊中的兩個宏 塊中產(chǎn)生第一中間宏塊;沿宏塊的垂直維度的第二蝴蝶圖，從而能夠從四個相鄰宏塊中的 另外兩個宏塊產(chǎn)生第二中間宏塊；W及沿宏塊的水平維度的第Ξ蝴蝶圖，從而能夠產(chǎn)生所 得到的方形宏塊。
[0009]根據(jù)【具體實施方式】，為了合并W帖間模式編碼的宏塊，所述轉(zhuǎn)碼設(shè)備確定與所述 宏塊相關(guān)聯(lián)的運動向量之差，并根據(jù)所述運動向量的相似性條件啟動或不啟動合并所述宏 塊。
[0010] 根據(jù)【具體實施方式】，為了確定運動向量是否相似，所述轉(zhuǎn)碼設(shè)備確定所述運動向 量的分量之差的范數(shù)并將所述范數(shù)與第二預(yù)定闊值比較。
[0011] 根據(jù)【具體實施方式】，轉(zhuǎn)碼設(shè)備根據(jù)W下算式確定帖間模式編碼的宏塊的合并所產(chǎn) 生的H. 265格式的每個運動向量MV:
[0012]
[0013] 其中；
[0014] -η表示合并后的宏塊的數(shù)量；
[0015] -Μν?，···，Μ化表示曾被合并到一起的W帖間模式編碼的宏塊的η個運動向量;并且
[0016] 日1，..·，an為權(quán)重系數(shù)。
[0017] 根據(jù)【具體實施方式】，當(dāng)H. 264格式的多個連續(xù)圖像序列中的預(yù)測圖像的能量低于 第Ξ預(yù)定闊值時，所述轉(zhuǎn)碼設(shè)備將所述多個連續(xù)圖像序列合并為單個圖像序列。
[0018] 本發(fā)明還設(shè)及一種將H. 264格式的視頻數(shù)據(jù)流轉(zhuǎn)碼成H. 265格式的視頻數(shù)據(jù)流的 轉(zhuǎn)碼設(shè)備。該轉(zhuǎn)碼設(shè)備包括:用于根據(jù)在應(yīng)用反量化操作之后所述宏塊的離散余弦變換DCT 系數(shù)的頻率相似性的預(yù)定條件，執(zhí)行H. 264格式的數(shù)據(jù)流中相鄰宏塊的合并的裝置;W及用 于通過對源自H. 264格式的數(shù)據(jù)流的宏塊合并所得到的宏塊執(zhí)行對源自H. 264格式的數(shù)據(jù) 流的所述宏塊的運動向量的組合，來基于H. 264格式的運動向量確定H. 265格式的運動向量 裝置。
[0019] 本發(fā)明還設(shè)及一種可保存在介質(zhì)上和/或從通信網(wǎng)絡(luò)下載從而被處理器讀取的計 算機程序。該計算機程序包括當(dāng)所述程序被處理器執(zhí)行時用來實現(xiàn)上述方法的中的任何一 個的指令。本發(fā)明還設(shè)及包括運樣的計算機程序的存儲裝置。
[0020] 通過閱讀下面的對示例實施方式的描述，上面所提到的本發(fā)明的特點，W及其他 特點，將更加清楚，所述描述與附圖相關(guān)聯(lián)地給出，其中：
[0021] -圖1示意性地例示了根據(jù)本發(fā)明的視頻數(shù)據(jù)轉(zhuǎn)碼設(shè)備的第一示例；
[0022] -圖2示意性地例示了根據(jù)本發(fā)明的視頻數(shù)據(jù)轉(zhuǎn)碼設(shè)備的第二示例；
[0023] -圖3示意性地例示了根據(jù)本發(fā)明的視頻數(shù)據(jù)轉(zhuǎn)碼設(shè)備的硬件架構(gòu)示例；
[0024] -圖4示意性地例示了根據(jù)本發(fā)明的視頻數(shù)據(jù)轉(zhuǎn)碼設(shè)備所使用的轉(zhuǎn)碼算法；
[0025] 圖5示意性地例示了合并H.264格式的視頻數(shù)據(jù)流的四個宏塊從而形成一個H.265 格式的視頻數(shù)據(jù)流的宏塊的例子。
[00%]為了避免完全解碼H. 264格式的數(shù)據(jù)流來將其轉(zhuǎn)碼成H. 265格式的數(shù)據(jù)流，提出， 對于圖像內(nèi)編碼，根據(jù)應(yīng)用反量化操作之后宏塊的離散余弦變換DCT系數(shù)的頻率相似性的 預(yù)定條件，來合并H. 264格式的數(shù)據(jù)流的相鄰宏塊。還提出，對于圖像間編碼，通過對源自 H. 264格式的數(shù)據(jù)流的宏塊的合并所得到的宏塊執(zhí)行對源自H.264格式的數(shù)據(jù)流的所述宏 塊的運動向量的合并，來基于H. 264格式的運動向量確定H. 265格式的運動向量。其他有利 的設(shè)置將通過閱讀下面的實施方式而呈現(xiàn)。
[0027]應(yīng)當(dāng)注意，在H.264格式語境中使用的術(shù)語宏塊對應(yīng)于運H.265格式語境中的表述 編碼樹單元(CTU)。
[0028] 圖1示意性地例示了根據(jù)本發(fā)明的視頻數(shù)據(jù)轉(zhuǎn)碼設(shè)備的第一示例100。
[0029] 轉(zhuǎn)碼設(shè)備100適于接收H.264格式的視頻數(shù)據(jù)流110。
[0030] 轉(zhuǎn)碼設(shè)備100包括宏塊合并模塊101并且所述轉(zhuǎn)碼設(shè)備100適于將視頻數(shù)據(jù)流110 注入到所述宏塊合并模塊101中。H.264格式是基于按照大小為4x4像素和/或8x8像素和/或 16x16像素的宏塊的劃分。宏塊合并模塊101適于根據(jù)應(yīng)用反量化操作之后所述宏塊的DCT 系數(shù)的頻率相似性的預(yù)定條件，來合并相鄰宏塊，從而形成稱為四叉樹(quadtree)的數(shù)據(jù) 結(jié)構(gòu)。該合并操作既可應(yīng)用于W帖內(nèi)模式編碼的宏塊，也可應(yīng)用于W帖間模式編碼的宏塊。 四叉樹是一種數(shù)據(jù)結(jié)構(gòu)，其表示通過遞歸地將所述空間劃分為四個象限的二維空間劃分。
[0031] 轉(zhuǎn)碼設(shè)備100進一步包括運動向量分析模塊102并且所述轉(zhuǎn)碼設(shè)備100適于將在 H. 264格式的視頻數(shù)據(jù)流110中存在的元數(shù)據(jù)注入到所述運動向量分析模塊102中。運動向 量分析模塊102適于獲取在運些元數(shù)據(jù)中存在的運動向量，從而獲取預(yù)測信息，使得能夠獲 取預(yù)測圖像，所述預(yù)測圖像稱之為P圖像(依靠視頻數(shù)據(jù)流中的先前圖像的單向"向前"預(yù) 巧。)和B圖像(依靠視頻數(shù)據(jù)流中的先前圖像和后續(xù)圖像的雙向預(yù)測）。運些P圖像和B圖像將 被區(qū)分于也稱之為基準(zhǔn)圖像的I圖像，對于I圖像，所有宏塊W帖內(nèi)模式編碼，可選地W預(yù)測 的方式編碼。
[0032] 運動向量分析模塊102進一步適于獲取由宏塊合并模塊101提供的宏塊合并信息 131并且確定與經(jīng)宏塊合并模塊101合并后的宏塊相關(guān)聯(lián)的所得到的運動向量。對于經(jīng)宏塊 合并模塊101合并后的宏塊，所得到的運動向量是與源自視頻數(shù)據(jù)流110并且被合并的每個 宏塊關(guān)聯(lián)的運動向量的組合。
[0033] 運動向量分析模塊102進一步適于執(zhí)行對H. 264格式的運動向量的縮放從而將它 們變換為H. 265格式。確實，根據(jù)H. 264格式的亞像素精度與H. 265格式的亞像素精度不同， 運設(shè)及在轉(zhuǎn)碼情形中的縮放。運樣轉(zhuǎn)變后的運動向量然后為運動信息132,其在轉(zhuǎn)碼到 H. 265格式的情形中使得能夠產(chǎn)生P圖像和/或B圖像（圖像間編碼）。并且，P圖像和B圖像包 括殘差，因為P圖像和B圖像是從I圖像(并且可選地P圖像和/或B圖像)和與宏塊關(guān)聯(lián)的運動 向量預(yù)測而來。
[0034] 轉(zhuǎn)碼設(shè)備100進一步包括編碼模塊103,其適于根據(jù)由宏塊合并模塊101提供的宏 塊合并信息131和由運動向量分析模塊102提供的運動信息132來產(chǎn)生H.265格式的視頻數(shù) 據(jù)流120。
[0035] 后面關(guān)于圖4詳細(xì)描述轉(zhuǎn)碼設(shè)備100的動作。
[0036] 圖2示意性地例示了根據(jù)本發(fā)明的視頻數(shù)據(jù)轉(zhuǎn)碼設(shè)備的第二示例200。轉(zhuǎn)碼設(shè)備 200與已經(jīng)在圖1中展示的轉(zhuǎn)碼設(shè)備100具有很多相似性。
[0037] 轉(zhuǎn)碼設(shè)備200適于接收H.264格式的視頻數(shù)據(jù)流110。
[0038] 轉(zhuǎn)碼設(shè)備200包括宏塊合并模塊201且所述轉(zhuǎn)碼設(shè)備200適于將視頻數(shù)據(jù)流110注 入到所述宏塊合并模塊201中。宏塊合并模塊201適于根據(jù)應(yīng)用反量化之后所述宏塊的DCT 系數(shù)的頻率相似性的預(yù)定條件，來合并相鄰宏塊，從而形成"四叉樹"類型的數(shù)據(jù)結(jié)構(gòu)。該 "四叉樹"對應(yīng)于宏塊合并信息231，宏塊合并信息231在轉(zhuǎn)碼到H. 265格式的情形中使得能 夠產(chǎn)生I圖像(圖像內(nèi)編碼）。
[0039] 轉(zhuǎn)碼設(shè)備200進一步包括運動向量分析模塊202且所述轉(zhuǎn)碼設(shè)備200適于將在 Η. 264格式的視頻數(shù)據(jù)流110中存在的元數(shù)據(jù)注入到所述運動向量分析模塊202中。運動向 量分析模塊202適于獲取在運些元數(shù)據(jù)中存在的運動向量。運動向量分析模塊202進一步適 于獲取由宏塊合并模塊201提供的宏塊合并信息231并且確定與經(jīng)宏塊合并模塊201合并后 的宏塊相關(guān)聯(lián)的結(jié)果運動向量。對于經(jīng)宏塊合并模塊201合并后的宏塊，所得到的運動向量 是與源自視頻數(shù)據(jù)流110且已被合并的宏塊中的每個宏塊相關(guān)聯(lián)的運動向量的組合。
[0040] 運動向量分析模塊202進一步適于對H. 264格式的運動向量進行縮放從而將它們 轉(zhuǎn)換為H. 265格式。運樣轉(zhuǎn)變后的運動向量對應(yīng)于運動信息232,在運動信息232轉(zhuǎn)碼到 H. 265格式的情形中使得能夠產(chǎn)生P圖像和/或B圖像(圖像間編碼）。
[0041] 運動向量分析模塊202進一步適于向宏塊合并模塊201提供運動向分析的反饋 233，W使得宏塊合并模塊201能夠改善宏塊的合并。
[0042] 轉(zhuǎn)碼設(shè)備200進一步包括編碼模塊203,其適于根據(jù)由宏塊合并模塊201提供的宏 塊合并信息231和由運動向量分析模塊202提供的運動信息232來產(chǎn)生H.265格式的視頻數(shù) 據(jù)流220。
[0043] 后面關(guān)于圖4詳細(xì)描述轉(zhuǎn)碼設(shè)備200的動作。
[0044] 圖3示意性地例示了根據(jù)本發(fā)明的視頻數(shù)據(jù)轉(zhuǎn)碼設(shè)備300的硬件架構(gòu)的示例。那么 轉(zhuǎn)碼設(shè)備300包括由通信總線310連接的：處理器或CPU(中央處理單元)301;隨機存取存儲 器RAM 302;只讀存儲器ROM 303,存儲單元304或存儲介質(zhì)讀取器，例如SD(安全數(shù)字)讀卡 器或硬盤驅(qū)動皿D;W及用于，例如通過通信網(wǎng)絡(luò)，接收H. 264格式的視頻數(shù)據(jù)流和提供 Η. 265格式的轉(zhuǎn)碼數(shù)據(jù)的一組接口 305。
[0045] 處理器301能夠執(zhí)行從只讀存儲器303、外部存儲器(未示出）、從存儲介質(zhì)或從通 信網(wǎng)絡(luò)（未示出）加載到RAM 302中的指令。當(dāng)轉(zhuǎn)碼設(shè)備300上電時，處理器301能夠從RAM 302讀取指令并執(zhí)行它們。運些指令形成計算機程序，該計算機程序使處理器301實現(xiàn)后面 所描述的算法和步驟的全部或一部分。
[0046] 因此，后面所描述的算法和步驟的全部或一部分可W通過由可編程機器，例如DSP (數(shù)字信號處理器)或微控制器，執(zhí)行一組指令W軟件形式實現(xiàn)，或者由機器或?qū)Ｓ媒M件，例 如FPGA(現(xiàn)場可編程口陣列)或ASIC(專用集成電路），W硬件形式實現(xiàn)。因此，圖1和圖2中所 示的每個模塊可對應(yīng)于軟件實現(xiàn)或硬件實現(xiàn)。運意味著所述模塊中只有一些W軟件形式實 現(xiàn)而所述模塊的其余部分可W硬件形式實現(xiàn)。
[0047] 圖4示意性地例示了根據(jù)本發(fā)明的由視頻數(shù)據(jù)轉(zhuǎn)碼設(shè)備實現(xiàn)的轉(zhuǎn)碼算法。考慮圖6 中的轉(zhuǎn)碼算法由轉(zhuǎn)碼設(shè)備500實施。
[004引在步驟401，轉(zhuǎn)碼設(shè)備500接收H. 264格式的視頻數(shù)據(jù)流。
[0049] 在接下來的步驟402,轉(zhuǎn)碼設(shè)備500根據(jù)應(yīng)用反量化之后所述宏塊的DCT系數(shù)的頻 率相似性的預(yù)定條件，來合并源自視頻數(shù)據(jù)流110的參考I圖像的相鄰宏塊。因此，轉(zhuǎn)碼設(shè)備 500不執(zhí)行對H.264格式的視頻數(shù)據(jù)流110的完全解碼W執(zhí)行到H.265格式的轉(zhuǎn)碼。
[0050] 為了運樣做，考慮到H.264格式的視頻數(shù)據(jù)流110被分解為G0P，轉(zhuǎn)碼設(shè)備500在G0P (Group Of Pictures,圖像組）序列中選擇參考圖像（I圖像）。轉(zhuǎn)碼設(shè)備500可重新使用在 Η. 264格式的視頻數(shù)據(jù)流110情形下定義的G0P序列的定義。
[0051] 在【具體實施方式】中，轉(zhuǎn)碼設(shè)備500合并在Η.264格式的視頻數(shù)據(jù)流110情形中定義 的多個連續(xù)G0P序列。因此，得到的G0P先驗地包括多個參考I圖像。然后，轉(zhuǎn)碼設(shè)備500用Ρ圖 像或姻像取代得到的G0P中的至少一個I圖像，從而使所述G0P中僅保留一個參考I圖像。用 P圖像或B圖像取代參考I圖像通過執(zhí)行相應(yīng)的預(yù)測操作來完成，從而保證GOP的數(shù)據(jù)(視頻 和元數(shù)據(jù))一致性。
[0052] 更具體地，當(dāng)運些G0P的參考I圖像接近時，轉(zhuǎn)碼設(shè)備500合并源自H. 264格式的視 頻數(shù)據(jù)流110的多個G0P。運方面可由轉(zhuǎn)碼設(shè)備500通過比較B圖像和P圖像的能量來確定。當(dāng) B圖像和P圖像的能量低于第Ξ預(yù)定闊值T時，轉(zhuǎn)碼設(shè)備500合并相關(guān)G0P;否則轉(zhuǎn)碼設(shè)備500 保持H.264格式的視頻數(shù)據(jù)流110中所使用的G0P的定義。運種對G0P的合并使得能夠獲取比 初始尺寸大的得到的G0P，運使得能夠降低H.265格式的視頻數(shù)據(jù)流的傳輸率，特別是在存 在固定圖像的情況下。第Ξ預(yù)定闊值T例如根據(jù)學(xué)習(xí)過程或?qū)嶒炇覝y試來定義。
[0053] 對于G0P的每個圖像的每個宏塊，轉(zhuǎn)碼設(shè)備500確定與所述宏塊相鄰的每個宏塊的 頻率相似性信息。
[0054] 根據(jù)【具體實施方式】，W(i，j)為中屯、的宏塊相對于W化，i)為中屯、的宏塊的頻率相 似性S信息，由反量化之后應(yīng)用到DCT系數(shù)的絕對差求和(SAD)算法確定。那么，頻率相似性 信息S是反量化之后應(yīng)用到DCT系數(shù)的SAD算法的結(jié)果。
[0055] 然后，轉(zhuǎn)碼設(shè)備500將運樣確定的頻率相似性信息S與第一預(yù)定闊值So比較。所述 第一預(yù)定闊值So例如根據(jù)學(xué)習(xí)過程或?qū)嶒炇覝y試來定義。
[0056] 如果頻率相似性信息S低于所述第一預(yù)定闊值So,那么轉(zhuǎn)碼設(shè)備500認(rèn)為相關(guān)的宏 塊能夠被合并；否則，轉(zhuǎn)碼設(shè)備500認(rèn)為相關(guān)的宏塊沒有足夠的相似性W被合并。轉(zhuǎn)碼設(shè)備 500對每對相鄰宏塊重復(fù)該操作。實際執(zhí)行的合并操作必須遵守如由H. 265格式定義的、規(guī) 定的CTU大小。
[0057] 宏塊的合并可通過使用一組Ξ個蝴蝶圖來執(zhí)行。該方法使得能夠?qū)⒎叫魏陦K(例 如，大小為4x4或8x8)合并為較大尺寸的方形宏塊(例如大小為16x16或32x32)。
[005引圖5示意性地例示了合并H.264格式的視頻數(shù)據(jù)流的四個相鄰宏塊501、502、503、 504從而形成H.265格式的視頻數(shù)據(jù)流的宏塊509的例子。宏塊501、502、503、504的空間位置 如圖5中所示。宏塊501、502、503、504的尺寸例示地為2x2(盡管該尺寸不符合H.264格式，但 運樣允許對合并機制的簡單說明）。運些宏塊501、502、503、504的合并然后得到尺寸為8x8 的宏塊。
[0059] 假設(shè)反量化之后宏塊501具有如圖5所示的表示為41、81、(：1、01的0別系數(shù)組。還假 設(shè)反量化之后宏塊802具有如圖5所示的表示為42、82八2、02的0(：1'系數(shù)組。還假設(shè)反量化之 后宏塊503具有如圖5所示的表示為43、83八3、03的0(：1'系數(shù)組。還假設(shè)反量化之后宏塊504 具有如圖5所示的表示為44、84^4、04的0押系數(shù)組。
[0060] 第一蝴蝶圖使得能夠沿宏塊501和502的垂直維度進行第一合并。第二蝴蝶圖使得 能夠沿宏塊503和504的垂直維度進行第二合并。通過運種方式獲得四個中間宏塊505、506、 507、508。假設(shè)宏塊505包括如圖5所示的表示為61、。1、61、化的合并后的0口'系數(shù)組。還假設(shè) 宏塊506包括如圖5所示的表示為62^2、62、肥的合并后的0圳系數(shù)組。還假設(shè)宏塊507包括 如圖5所示的表示為63、。3、63、冊的合并后的0圳系數(shù)組。還假設(shè)宏塊508包括如圖5所示的 表示為64、。4、64邊4的合并后的0口'系數(shù)組。那么宏塊501、502、503和504的合并是運樣：
[0061]
[0062] 第Ξ蝴蝶圖使得能夠沿著中間宏塊505、506、507、508的水平維度進行第立合并從 而獲得宏塊509。假設(shè)宏塊509包括如圖5所示的表示為P1、P2、P3、P4、Q1、Q2、Q3、Q4、R1、R2、 1?、1?4、51、52、53、54的合并后的0口'系數(shù)組。那么中間宏塊505、506、507、508的合并是運樣：
[0063]
[0064] 返回圖4,在執(zhí)行合并操作后，然后轉(zhuǎn)碼設(shè)備500使用小于或等于用于產(chǎn)生H.264格 式數(shù)據(jù)流的量化步長的量化步長執(zhí)行對DCT宏塊的量化操作。量化步長信息在包針對H.264 格式的數(shù)據(jù)流的元數(shù)據(jù)中提供。
[0065] 根據(jù)【具體實施方式】，當(dāng)運些宏塊中的至少一個W帖內(nèi)模式編碼而所關(guān)注的其余宏 塊W帖間模式編碼時，轉(zhuǎn)碼設(shè)備500不執(zhí)行任何宏塊合并。事實上，P圖像和B圖像可能包含 W帖內(nèi)模式編碼的一個或多個宏塊。
[0066] 當(dāng)合并后的宏塊對應(yīng)于帖間模式的預(yù)測數(shù)據(jù)時，轉(zhuǎn)碼設(shè)備500將所得到的宏塊與 預(yù)測方向相關(guān)聯(lián)，該預(yù)測方向是根據(jù)H. 264格式與與合并后的宏塊相關(guān)聯(lián)的預(yù)測方向的線 性組合最接近的預(yù)測方向。
[0067] 在接下來的步驟403,轉(zhuǎn)碼設(shè)備500根據(jù)步驟402的合并和量化操作后獲得的宏塊 產(chǎn)生四叉樹類型的數(shù)據(jù)結(jié)構(gòu)。
[0068] 接下來，在步驟404，轉(zhuǎn)碼設(shè)備500從視頻數(shù)據(jù)流110獲取運動向量。
[0069] 在接下來的步驟405,轉(zhuǎn)碼設(shè)備500估算與源自視頻數(shù)據(jù)流110并且已合并到一起 的宏塊相關(guān)聯(lián)的運動向量之差。轉(zhuǎn)碼設(shè)備500試圖確定關(guān)于所述運動向量之間的運動相似 性的信息。為此，轉(zhuǎn)碼設(shè)備500可確定所述運動向量的分量之差的范數(shù)。第一運動向量的每 個分量被從第二運動向量的對應(yīng)分量中減去，然后計算結(jié)果范數(shù)。然后該范數(shù)與第二預(yù)定 闊值Si比較。所述第二預(yù)定闊值Si例如根據(jù)學(xué)習(xí)過程或?qū)嶒炇覝y試來定義。如果運動相似性 信息低于所述第二預(yù)定闊值Si，那么轉(zhuǎn)碼設(shè)備500認(rèn)為相關(guān)的宏塊能夠?qū)嶋H上被合并;否則 轉(zhuǎn)碼設(shè)備500認(rèn)為相關(guān)的宏塊沒有足夠的相似性W被合并。如果所有合并操作被確認(rèn)，那么 執(zhí)行步驟406;否則重復(fù)步驟402，防止合并或合并操作被步驟405無效。
[0070] 當(dāng)圖4中的算法表示已經(jīng)關(guān)于圖1描述的轉(zhuǎn)碼設(shè)備100的動作時，省略步驟405并且 算法直接從步驟404進行到步驟406。然后保留宏塊合并模塊101執(zhí)行的宏塊合并。當(dāng)圖4中 的算法表示已經(jīng)關(guān)于圖2描述的轉(zhuǎn)碼設(shè)備200的動作時，執(zhí)行步驟405,運使得運動向量分析 模塊202能夠?qū)陦K合并模塊201提出的宏塊合并質(zhì)疑。
[0071] 在步驟406,對于宏塊合并得到的W帖間模式編碼的每個宏塊，轉(zhuǎn)碼設(shè)備500確定 與源自視頻數(shù)據(jù)流110且已被合并的宏塊中的每個宏塊相關(guān)聯(lián)的運動向量的合并。
[0072] 根據(jù)第一示例，運樣的合并是源自視頻數(shù)據(jù)流110且已被合并的所述宏塊的運動 向量的中值。對于尚未經(jīng)過合并的宏塊，轉(zhuǎn)碼設(shè)備500提取存在于H. 264格式的視頻數(shù)據(jù)流 110中的運動向量。
[0073] 根據(jù)第二示例，運樣的合并由下面的算式定義：
[0074]
[0075] 其中；
[0076] -MV表示平滑后的運動向量；
[0077] -η表示合并后的宏塊的數(shù)量；
[0078] -MV1，···，Μ化表示在步驟402中被合并到一起的W帖間模式編碼的宏塊的η個運動 向量；W及
[00巧]α1，...，αη為權(quán)重系數(shù)。
[0080] 權(quán)重系數(shù)α1，···，αη例如根據(jù)學(xué)習(xí)過程或?qū)嶒炇覝y試來定義。
[0081] 轉(zhuǎn)碼設(shè)備500優(yōu)選地保證權(quán)重系數(shù)α1，···，αη是使得與指向I圖像的運動向量相關(guān) 聯(lián)的權(quán)重系數(shù)高于與指向Ρ圖像或Β圖像的運動向量相關(guān)聯(lián)的權(quán)重系數(shù)。
[0082] 在Β圖像的情況下，對于關(guān)屯、的宏塊，預(yù)測可W是"向前"或"向后"。該運動向量具 有相反方向的參考帖。然后，在執(zhí)行步驟406的運動向量合并之前，轉(zhuǎn)碼設(shè)備500對根據(jù)向后 預(yù)測定義的任何運動向量進行反轉(zhuǎn)。
[0083] 接下來轉(zhuǎn)碼設(shè)備500對Η. 264格式的運動向量進行縮放從而將它們轉(zhuǎn)換為Η. 265格 式。
[0084] 在接下來的步驟407,轉(zhuǎn)碼設(shè)備500基于步驟403產(chǎn)生的四叉樹和在步驟406經(jīng)縮放 的運動向量產(chǎn)生Η. 265格式的數(shù)據(jù)流。
【主權(quán)項】
1. 一種將Η. 264格式的視頻數(shù)據(jù)流（110)轉(zhuǎn)碼成Η. 265格式的視頻數(shù)據(jù)流（120; 220)的 轉(zhuǎn)碼方法，所述方法由轉(zhuǎn)碼設(shè)備（100; 200; 500)實施，所述方法的特征在于所述方法包括以 下步驟： -根據(jù)應(yīng)用反量化操作之后宏塊的離散余弦變換DCT系數(shù)的頻率相似性的預(yù)定條件，來 執(zhí)行(402)對Η. 264格式的數(shù)據(jù)流的相鄰宏塊的合并；以及 -通過對源自Η. 264格式的數(shù)據(jù)流的宏塊的合并所得到的宏塊執(zhí)行對源自Η. 264格式的 數(shù)據(jù)流的所述宏塊的運動向量的組合，來基于Η. 264格式的運動向量確定(406)Η. 265格式 的運動向量。2. 根據(jù)權(quán)利要求1所述的轉(zhuǎn)碼方法，所述方法的特征在于，當(dāng)合并后的宏塊對應(yīng)于幀內(nèi) 模式的預(yù)測數(shù)據(jù)時，所述轉(zhuǎn)碼設(shè)備將所得到的宏塊與預(yù)測方向相關(guān)聯(lián)，所述預(yù)測方向是根 據(jù)Η. 264格式而最接近與合并后的宏塊相關(guān)聯(lián)的預(yù)測方向的線性組合的預(yù)測方向。3. 根據(jù)權(quán)利要求1和2中任一項所述的轉(zhuǎn)碼方法，所述方法的特征在于，為了確定相鄰 宏塊是否能被合并，所述轉(zhuǎn)碼設(shè)備獲取關(guān)于所述相鄰宏塊的反量化之后的DCT系數(shù)之間的 絕對差之和的信息，并將關(guān)于絕對差之和的所述信息與第一預(yù)定閾值比較。4. 根據(jù)權(quán)利要求1至3中任一項所述的轉(zhuǎn)碼方法，所述方法的特征在于，為了合并四個 相鄰宏塊(501、502、503、504)從而形成所得到的方形宏塊(509)，所述轉(zhuǎn)碼設(shè)備實現(xiàn)： -沿所述宏塊的垂直維度的第一蝴蝶圖，從而能夠從所述四個相鄰宏塊中的兩個宏塊 (501，502)產(chǎn)生兩個第一中間宏塊(505、506); -沿所述宏塊的垂直維度的第二蝴蝶圖，從而能夠從四個相鄰宏塊中的另外兩個宏塊 (503,504)產(chǎn)生兩個第二中間宏塊(507;508);以及 -沿所述宏塊的水平維度的第三蝴蝶圖，從而能夠產(chǎn)生所得到的方形宏塊。5. 根據(jù)權(quán)利要求1至4中任一項所述的轉(zhuǎn)碼方法，所述方法的特征在于，為了合并以幀 間模式編碼的宏塊，所述轉(zhuǎn)碼設(shè)備確定(405)與所述宏塊相關(guān)聯(lián)的運動向量之差，并根據(jù)所 述運動向量的相似性條件啟動或不啟動合并所述宏塊。6. 根據(jù)權(quán)利要求5所述的轉(zhuǎn)碼方法，所述方法的特征在于，為了確定運動向量是否相 似，所述轉(zhuǎn)碼設(shè)備確定所述運動向量的分量之差的范數(shù)并將所述范數(shù)與第二預(yù)定閾值比 較。7. 根據(jù)權(quán)利要求1至6中任一項所述的轉(zhuǎn)碼方法，所述方法的特征在于，所述轉(zhuǎn)碼設(shè)備 根據(jù)以下算式確定以幀間模式編碼的宏塊的合并所得到的Η.265格式的每個運動向量MV:其中： -η表示合并后的宏塊的數(shù)量； -MV1，...，MVn表示被合并到一起的以幀間模式編碼的宏塊的η個運動向量;并且 α?，· · ·，αη為權(quán)重系數(shù)。8. 根據(jù)權(quán)利要求1至7中任一項所述的轉(zhuǎn)碼方法，所述方法的特征在于，當(dāng)Η. 264格式的 多個連續(xù)圖像序列中的預(yù)測圖像的能量低于第三預(yù)定閾值時，所述轉(zhuǎn)碼設(shè)備將所述多個連 續(xù)圖像序列合并為單個圖像序列。9. 一種將Η. 264格式的視頻數(shù)據(jù)流（110)轉(zhuǎn)碼成Η. 265格式的視頻數(shù)據(jù)流（120; 220)的 轉(zhuǎn)碼設(shè)備(100; 200; 500)，所述轉(zhuǎn)碼設(shè)備的特征在于，所述轉(zhuǎn)碼設(shè)備包括： -用于根據(jù)應(yīng)用反量化操作之后宏塊的離散余弦變換DCT系數(shù)的頻率相似性的預(yù)定條 件，執(zhí)行H.264格式的數(shù)據(jù)流的相鄰宏塊的合并的裝置(101 ;201);以及 -用于通過對源自H.264格式的數(shù)據(jù)流的宏塊合并所得到的宏塊執(zhí)行對源自H. 264格式 的數(shù)據(jù)流的所述宏塊的運動向量的組合，來基于H. 264格式的運動向量確定H. 265格式的運 動向量的裝置(1〇2;202)。
【文檔編號】H04N19/48GK106063268SQ201580004901
【公開日】2016年10月26日
【申請日】2015年1月14日
【發(fā)明人】R·山美
【申請人】薩熱姆通信寬帶簡易股份有限公司