使用運(yùn)動(dòng)場(chǎng)的圖像序列編碼/解碼的制作方法
【專(zhuān)利說(shuō)明】使用運(yùn)動(dòng)場(chǎng)的圖像序列編碼/解碼
[0001] 背景
[0002] 運(yùn)動(dòng)場(chǎng)可以被視為描述諸如視頻之類(lèi)的圖像序列中的圖像之間的差異，常常用于 視頻或圖像數(shù)據(jù)的傳輸和存儲(chǔ)中。視頻或圖像數(shù)據(jù)通過(guò)因特網(wǎng)或其他廣播手段的傳輸或存 儲(chǔ)常常受可用的帶寬量或存儲(chǔ)空間的限制。在很多情況下，可以將數(shù)據(jù)壓縮，以縮小傳輸或 存儲(chǔ)數(shù)據(jù)所需的帶寬量或存儲(chǔ)。
[0003] 壓縮可以是有損的或無(wú)損的。有損壓縮是丟棄某些信息的壓縮數(shù)據(jù)的方法。許多 視頻編碼器/解碼器（編解碼器）使用有損壓縮，該有損壓縮可以利用各個(gè)圖像幀內(nèi)的空 間冗余和/或圖像幀之間的時(shí)間冗余，以縮小編碼數(shù)據(jù)所需的比特率。在許多示例中，在結(jié) 果被充分降級(jí)到被用戶(hù)注意到之前，會(huì)丟棄大量的數(shù)據(jù)。然而，當(dāng)由解碼器重構(gòu)圖像時(shí)，有 損壓縮的許多方法會(huì)在重構(gòu)的圖像中導(dǎo)致用戶(hù)看得見(jiàn)的偽像。
[0004] 某些現(xiàn)有的視頻壓縮方法可以通過(guò)基于被稱(chēng)為塊的像素的碎片，計(jì)算粗的運(yùn)動(dòng) 場(chǎng)，來(lái)獲得緊湊的表示。運(yùn)動(dòng)矢量與每一個(gè)塊相關(guān)聯(lián)，并在塊內(nèi)是恒定的。此近似法使運(yùn)動(dòng) 場(chǎng)可有效率地編碼，但是，會(huì)導(dǎo)致在經(jīng)解碼的圖像中產(chǎn)生偽像。在各個(gè)示例中，可以使用去 塊效應(yīng)濾波器來(lái)減輕偽像或塊可以被允許重疊，然后，使用平滑窗口函數(shù)，在重疊區(qū)上平均 來(lái)自不同的塊的像素。這兩個(gè)解決方案都會(huì)減少塊偽像，但是，產(chǎn)生模糊。
[0005] 在另一個(gè)示例中，在圖像的需要較高精度的部分，例如，跨對(duì)象邊界，每一個(gè)塊都 可以分段為較小子塊，分段被編碼為輔助信息，為每一個(gè)塊，編碼不同的運(yùn)動(dòng)矢量。然而，越 細(xì)化的分段要求越多比特；因此，需要增加的網(wǎng)絡(luò)帶寬，來(lái)傳輸已編碼的數(shù)據(jù)。
[0006] 下面所描述的各實(shí)施例不限于解決已知圖像場(chǎng)的編碼和解碼系統(tǒng)的任何或全部 缺點(diǎn)的實(shí)現(xiàn)。

【發(fā)明內(nèi)容】

[0007] 下面呈現(xiàn)了本發(fā)明的簡(jiǎn)要概述，以便向讀者提供基本理解。本概述不是本發(fā)明的 詳盡概述，并且不標(biāo)識(shí)本說(shuō)明書(shū)的關(guān)鍵/重要元素，也不描述說(shuō)明書(shū)的范圍。其唯一的目的 是以簡(jiǎn)化形式呈現(xiàn)此處所公開(kāi)的一些概念，作為稍后呈現(xiàn)的更詳細(xì)的描述的序言。
[0008] 描述了壓縮運(yùn)動(dòng)場(chǎng)。在一個(gè)示例中，視頻壓縮可以包括計(jì)算表示第一圖像和第二 圖像之間的差異的運(yùn)動(dòng)場(chǎng)，運(yùn)動(dòng)場(chǎng)用于對(duì)第二圖像進(jìn)行預(yù)測(cè)。在編碼視頻數(shù)據(jù)的序列的各 個(gè)示例中，第一圖像、運(yùn)動(dòng)場(chǎng)和表示預(yù)測(cè)中的錯(cuò)誤的殘余可以被編碼，而并非完整圖像序 列。在各個(gè)示例中，運(yùn)動(dòng)場(chǎng)可以通過(guò)以線性為基礎(chǔ)（例如，小波基礎(chǔ)）的其系數(shù)來(lái)表示，可 以執(zhí)行優(yōu)化，以最小化編碼運(yùn)動(dòng)場(chǎng)的成本，并最大化重構(gòu)的圖像的質(zhì)量，而同時(shí)還最小化殘 余誤差。在各個(gè)示例中，可以量化已優(yōu)化的運(yùn)動(dòng)場(chǎng)，以允許編碼。
[0009] 通過(guò)結(jié)合附圖參考以下詳細(xì)描述，可更易于領(lǐng)會(huì)并更好地理解許多附帶特征。
[0010] 附圖簡(jiǎn)述
[0011] 根據(jù)附圖閱讀以下詳細(xì)描述，將更好地理解本發(fā)明，在附圖中：
[0012] 圖1是用于編碼視頻數(shù)據(jù)的設(shè)備的示意圖；
[0013] 圖2是使用可壓縮的運(yùn)動(dòng)場(chǎng)的示例視頻編碼器的示意圖；
[0014] 圖3是可以通過(guò)圖2的視頻編碼器來(lái)實(shí)現(xiàn)的視頻編碼的示例方法的流程圖；
[0015] 圖4是獲得運(yùn)動(dòng)場(chǎng)的譯碼成本的示例方法的流程圖；
[0016] 圖5是優(yōu)化目標(biāo)函數(shù)的示例方法的流程圖；
[0017] 圖6是量化的示例方法的流程圖；
[0018] 圖7是用于解碼數(shù)據(jù)的設(shè)備的示意圖；
[0019] 圖8示出了其中可以實(shí)現(xiàn)運(yùn)動(dòng)場(chǎng)壓縮的各實(shí)施例的示例性基于計(jì)算的設(shè)備。
[0020] 在各個(gè)附圖中使用類(lèi)似的附圖標(biāo)記來(lái)指代類(lèi)似的部件。
【具體實(shí)施方式】
[0021] 下面結(jié)合附圖提供的詳細(xì)描述旨在作為本發(fā)明示例的描述，并不旨在表示可以構(gòu) 建或使用本發(fā)明示例的唯一形式。本描述闡述了本發(fā)明示例的功能，以及用于構(gòu)建和操作 本發(fā)明示例的步驟的序列。然而，可以通過(guò)不同的示例來(lái)實(shí)現(xiàn)相同或等效功能和序列。
[0022] 雖然本示例此處被描述為和示為是在視頻壓縮系統(tǒng)中實(shí)現(xiàn)的，但是，所描述的系 統(tǒng)是作為示例而不是限制來(lái)提供的。如本領(lǐng)域技術(shù)人員將理解的，本發(fā)明示例適用于應(yīng)用 在各種不同類(lèi)型的圖像壓縮系統(tǒng)中。
[0023] 在一個(gè)示例中，用戶(hù)可能希望流式傳送數(shù)據(jù)，該數(shù)據(jù)可以是視頻數(shù)據(jù)，例如，當(dāng)用 戶(hù)正在使用因特網(wǎng)電話(huà)服務(wù)時(shí)，因特網(wǎng)電話(huà)服務(wù)允許用戶(hù)執(zhí)行視頻呼叫。在其他示例中， 流式視頻數(shù)據(jù)可以是實(shí)況廣播視頻，例如，音樂(lè)會(huì)、體育賽事或當(dāng)前事件的視頻。為了流式 傳送實(shí)況視頻數(shù)據(jù)，圖像捕捉、視頻數(shù)據(jù)的編碼、傳輸和解碼應(yīng)該盡可能地接近于實(shí)時(shí)地發(fā) 生。由于網(wǎng)絡(luò)上的帶寬限制，實(shí)時(shí)流式傳送視頻常常具有挑戰(zhàn)性，因此，流式傳送的數(shù)據(jù)可 以是高度壓縮的。在替代的示例中，視頻數(shù)據(jù)不是實(shí)況流式傳送視頻數(shù)據(jù)。然而，許多類(lèi)型 的視頻數(shù)據(jù)可以被壓縮，用于存儲(chǔ)和/或傳輸。例如，按需TV服務(wù)可以使用視頻數(shù)據(jù)的流 式傳送和下載，兩者都要求壓縮。在許多示例中，由于存儲(chǔ)空間的限制，也需要有效率的壓 縮，例如，許多人現(xiàn)在將大量視頻數(shù)據(jù)存儲(chǔ)在具有有限的存儲(chǔ)空間的移動(dòng)設(shè)備上。然而，高 度壓縮視頻數(shù)據(jù)的視頻編碼器/解碼器（編解碼器）常常會(huì)導(dǎo)致重構(gòu)的經(jīng)解碼的圖像質(zhì)量 差或具有許多偽像。因此，應(yīng)該使用實(shí)現(xiàn)高級(jí)別的壓縮而不會(huì)導(dǎo)致圖像質(zhì)量的損失或產(chǎn)生 偽像的有效率的編碼器。
[0024] 圖1是編碼用于流式傳送視頻的數(shù)據(jù)的示例情況的示意圖。在一個(gè)示例中，圖像 捕捉設(shè)備1〇〇,例如，網(wǎng)絡(luò)攝像頭或其他視頻攝像機(jī)，捕捉形成視頻數(shù)據(jù)102的序列的用戶(hù) 的圖像。視頻數(shù)據(jù)102可以通過(guò)靜止圖像幀108,110,112的序列來(lái)表示?？梢允褂迷谟?jì)算 設(shè)備106上實(shí)現(xiàn)的視頻編碼器104來(lái)壓縮圖像。編碼器104將視頻數(shù)據(jù)從模擬格式轉(zhuǎn)換為 數(shù)字格式，并壓縮數(shù)據(jù)，以形成經(jīng)壓縮的輸出數(shù)據(jù)114。
[0025] 因此，由編碼器104執(zhí)行的壓縮可能企圖最小化對(duì)于傳輸經(jīng)壓縮的輸出數(shù)據(jù)114 的帶寬要求，而同時(shí)最小化質(zhì)量的損失。
[0026] 視頻編碼器104可以是混合型視頻編碼器，該混合型視頻編碼器使用先前編碼的 圖像幀和由編碼器添加的輔助信息，以估計(jì)對(duì)于當(dāng)前幀的預(yù)測(cè)。輔助信息可以是運(yùn)動(dòng)場(chǎng)。 在一個(gè)示例中，運(yùn)動(dòng)場(chǎng)通過(guò)編碼指出對(duì)象的位置的差異（例如幀之間的像素）的矢量，補(bǔ)償 攝像機(jī)的運(yùn)動(dòng)，以及場(chǎng)景中的跨相鄰幀的對(duì)象運(yùn)動(dòng)。編碼器的輸出數(shù)據(jù)116可以是表示來(lái) 自圖像的序列的參考幀的已編碼的數(shù)據(jù)，可以是參考圖像和圖像的序列中的另一圖像之間 的計(jì)算出的差異的運(yùn)動(dòng)場(chǎng)，以及殘余誤差，殘余誤差可以是通過(guò)利用運(yùn)動(dòng)場(chǎng)卷曲（warping) 參考圖像給出的編碼的圖像的預(yù)測(cè)和圖像本身之間的差異的指示。
[0027] 在一個(gè)示例中，如果一個(gè)人，例如，用戶(hù)，將它們的頭部移動(dòng)到第一幀和第二幀之 間的左邊，那么，運(yùn)動(dòng)場(chǎng)可以編碼此差異。在另一個(gè)示例中，如果攝像機(jī)正在在各幀之間跟 蹤，例如，從左向右跟蹤，那么，運(yùn)動(dòng)場(chǎng)可以編碼各幀之間的移動(dòng)。密的運(yùn)動(dòng)場(chǎng)可以是每個(gè)像 素運(yùn)動(dòng)矢量的場(chǎng)，該場(chǎng)描述如何卷曲先前解碼的幀中的像素以形成新圖像。通過(guò)利用運(yùn)動(dòng) 場(chǎng)卷曲先前編碼的圖像，可以獲得對(duì)當(dāng)前圖像的預(yù)測(cè)。預(yù)測(cè)和當(dāng)前幀之間的差異被稱(chēng)為殘 余或預(yù)測(cè)誤差，并分開(kāi)地編碼，以校正預(yù)測(cè)。
[0028] 計(jì)算設(shè)備106可以通過(guò)網(wǎng)絡(luò)116將輸出數(shù)據(jù)114從編碼器傳輸?shù)竭h(yuǎn)程設(shè)備118,供 顯示在遠(yuǎn)程設(shè)備的顯示器上。計(jì)算設(shè)備104和遠(yuǎn)程設(shè)備118可以是任何合適的設(shè)備，例如， 個(gè)人計(jì)算機(jī)、服務(wù)器或移動(dòng)計(jì)算設(shè)備，例如，平板電腦、移動(dòng)電話(huà)或智能電話(huà)。網(wǎng)絡(luò)116可以 是有線或無(wú)線傳輸網(wǎng)絡(luò)，例如，WiFi、藍(lán)牙?、有線，或其他合適的網(wǎng)絡(luò)。
[0029] 在另一個(gè)示例中，輸出數(shù)據(jù)114可以可另選地被寫(xiě)入到計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，例 如，計(jì)算設(shè)備104或遠(yuǎn)程設(shè)備118上的數(shù)據(jù)存儲(chǔ)124,126。將輸出數(shù)據(jù)寫(xiě)入到計(jì)算機(jī)可讀存 儲(chǔ)介質(zhì)可以作為實(shí)時(shí)地顯示視頻數(shù)據(jù)的替代方案，或作為其補(bǔ)充來(lái)執(zhí)行。
[0030] 可以使用視頻解碼器122,解碼經(jīng)壓縮的輸出數(shù)據(jù)114。在一個(gè)示例中，視頻解碼 器122在遠(yuǎn)程設(shè)備118上實(shí)現(xiàn)，然而，它可以與視頻編碼器104位于同一個(gè)設(shè)備上或位于第 三設(shè)備上。如上文所指出的，可以實(shí)時(shí)地解碼輸出數(shù)據(jù)。解碼器122可以恢復(fù)視頻數(shù)據(jù)序 列102的每一圖像幀108,110,112,用于播放。
[0031] 圖2是使用可壓縮的運(yùn)動(dòng)場(chǎng)的示例視頻編碼器的示意圖?？梢栽谝曨l編碼器204 中接收構(gòu)成視頻數(shù)據(jù)序列的一部分的圖像，例如，圖像L 200和I。202。在第一圖像200 中，用戶(hù)可能朝著攝像機(jī)，在第二圖像202中，用戶(hù)可能將頭轉(zhuǎn)向左；因此，可以使用運(yùn)動(dòng)場(chǎng) 來(lái)編碼這兩個(gè)幀之間的差異。
[0032]