使用感知表示的編碼和解碼的制作方法
【專利摘要】對(duì)包括圖片的視頻信號(hào)進(jìn)行編碼包括基于圖片來(lái)生成感知表示。參考圖片被選擇并且基于感知表示和參考圖片來(lái)生成運(yùn)動(dòng)矢量。在編碼的視頻信號(hào)中提供運(yùn)動(dòng)矢量和用于參考圖片的指針。解碼可以包括接收用于參考圖片的指針和基于所述參考圖片的感知表示的運(yùn)動(dòng)矢量。在被編碼的視頻信號(hào)中的圖片的解碼可以包括使用指針來(lái)選擇參考圖片以及基于運(yùn)動(dòng)矢量和所選參考圖片來(lái)確定預(yù)測(cè)圖片。解碼可以包括從預(yù)測(cè)圖片和殘差圖片生成重構(gòu)圖片。
【專利說(shuō)明】使用感知表示的編碼和解碼
【背景技術(shù)】
[0001]運(yùn)動(dòng)處理包括在運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償兩者中使用運(yùn)動(dòng)矢量。運(yùn)動(dòng)估計(jì)是確定運(yùn)動(dòng)矢量的過(guò)程。運(yùn)動(dòng)矢量描述對(duì)象從通常來(lái)自視頻序列中的相鄰幀或圖片的一個(gè)二維圖像到另一二維圖像的變換。運(yùn)動(dòng)補(bǔ)償是將所確定的運(yùn)動(dòng)矢量應(yīng)用于一個(gè)圖片中的對(duì)象以便綜合處理所描述的對(duì)象到視頻序列中的后續(xù)圖片的變換的過(guò)程。運(yùn)動(dòng)估計(jì)和運(yùn)動(dòng)補(bǔ)償?shù)慕M合是視頻壓縮的關(guān)鍵部分并且常常在處理成本方面是要求很高的。
[0002]運(yùn)動(dòng)處理中的運(yùn)動(dòng)矢量通過(guò)可以被分類為直接的或間接的方法來(lái)確定。在實(shí)踐中，依靠基于錐體和塊的搜索的直接方法典型地被用在視頻編碼器中。直接方法常常需要提高處理能力和處理成本以便提高由這些方法所確定的運(yùn)動(dòng)矢量的準(zhǔn)確性和/或精度。
[0003]用于確定運(yùn)動(dòng)矢量的間接方法常常使用遍及圖片中的局部或全局區(qū)域所應(yīng)用的統(tǒng)計(jì)函數(shù)，以標(biāo)識(shí)在圖片中發(fā)生的估計(jì)的移動(dòng)與生成的運(yùn)動(dòng)矢量之間的匹配。通常在試圖標(biāo)識(shí)和去除不對(duì)應(yīng)于實(shí)際運(yùn)動(dòng)的假匹配時(shí)利用保真度度量。然而，保真度度量常常導(dǎo)致機(jī)會(huì)性最佳匹配(其是誤差)和運(yùn)動(dòng)矢量異常值(其因?yàn)樗鼈冃枰嗟奈粊?lái)編譯而是效率低的)。這些局限性往往降低視頻壓縮質(zhì)量和效率。
[0004]此外，現(xiàn)有的評(píng)估方法在依靠保真度度量時(shí)往往在圖片中促成高對(duì)比度區(qū)。這常常對(duì)低紋理的區(qū)產(chǎn)生粗劣的運(yùn)動(dòng)估計(jì)，并且通常在這些低紋理中導(dǎo)致明顯不正確的運(yùn)動(dòng)。并且，保真度度量常常未能區(qū)分在視頻序列內(nèi)能夠在衰落、漸隱以及壓縮期間發(fā)生的對(duì)比度、亮度、模糊、添加的噪聲、贗像以及其它差異的改變期間發(fā)生的運(yùn)動(dòng)。這些其它局限性同樣往往降低視頻壓縮質(zhì)量和效率。
[0005]保真度度量在這些情況中的任一個(gè)下的弱點(diǎn)常?？梢酝ㄟ^(guò)提高運(yùn)動(dòng)處理能力來(lái)減輕，這產(chǎn)生處理成本。然而，在其中保真度度量是不太有效的情況下，使用現(xiàn)有的評(píng)估方法的運(yùn)動(dòng)處理常常需要在視頻壓縮中實(shí)現(xiàn)更準(zhǔn)確的/精確的運(yùn)動(dòng)矢量與較低的處理成本之間的權(quán)衡。
【專利附圖】

【附圖說(shuō)明】
[0006]參考附圖根據(jù)以下描述示例和公開(kāi)內(nèi)容的特征對(duì)于本領(lǐng)域的技術(shù)人員而言是顯而易見(jiàn)的，其中:
[0007]圖1是圖示根據(jù)示例的利用感知表示的感知編碼系統(tǒng)的框圖；
[0008]圖2是圖示根據(jù)示例的利用感知表示的感知解碼系統(tǒng)的框圖；
[0009]圖3是描繪根據(jù)示例的感知表示和原始圖片的攝影圖像；
[0010]圖4是圖示根據(jù)示例的用于生成感知表示的過(guò)程中的計(jì)算的流程圖；
[0011]圖5是描繪根據(jù)示例的原始圖片和基于不同的壓擴(kuò)因子的一系列感知表示的攝影圖像；
[0012]圖6是描繪根據(jù)示例的感知表示對(duì)應(yīng)用于原始圖片的對(duì)比度改變的回彈能力的攝影圖像；
[0013]圖7是描繪根據(jù)示例的感知表示對(duì)應(yīng)用于原始圖片的亮度改變的回彈能力的攝影圖像；
[0014]圖8是圖示根據(jù)示例的在用于利用感知表示來(lái)編碼的系統(tǒng)中的運(yùn)動(dòng)估計(jì)流程的框圖；
[0015]圖9是圖示根據(jù)示例的內(nèi)容分發(fā)系統(tǒng)的框圖；以及
[0016]圖10是圖示根據(jù)示例的用于利用感知表示來(lái)編碼的方法的流程圖；
[0017]圖11是圖示根據(jù)示例的用于利用感知表示來(lái)解碼的方法的流程圖；以及
[0018]圖12是圖示根據(jù)示例的用來(lái)為用于編碼的系統(tǒng)和/或用于解碼的系統(tǒng)提供平臺(tái)的計(jì)算機(jī)系統(tǒng)的框圖。

【發(fā)明內(nèi)容】

[0019]根據(jù)本發(fā)明的實(shí)施例，存在提供在確定或者利用運(yùn)動(dòng)矢量中是利用感知表示進(jìn)行編碼和進(jìn)行解碼的系統(tǒng)、方法以及計(jì)算機(jī)可讀介質(zhì)(CRM)。感知表示的利用產(chǎn)生具有改進(jìn)的準(zhǔn)確性和/或精度的運(yùn)動(dòng)矢量。可以在針對(duì)圖片中低紋理的區(qū)和/或針對(duì)轉(zhuǎn)變序列中的圖片來(lái)提高運(yùn)動(dòng)矢量的準(zhǔn)確性和/精度時(shí)利用感知表示。特別針對(duì)包括能夠在衰落、漸隱以及壓縮期間發(fā)生的對(duì)比度、亮度、模糊、添加的噪聲、贗像以及其它差異的改變的視頻序列提高了運(yùn)動(dòng)矢量的準(zhǔn)確性和精度。在確定或者利用運(yùn)動(dòng)矢量時(shí)利用感知表示產(chǎn)生改進(jìn)的壓縮效率和較低的運(yùn)動(dòng)處理要求和/或處理成本。
[0020]根據(jù)實(shí)施例，用于編碼的系統(tǒng)包括被配置成接收包括在包括圖片的視頻序列中的原始圖片的視頻信號(hào)的接口。該系統(tǒng)包括被配置成基于所接收到的原始圖片來(lái)生成目標(biāo)感知表示、從多個(gè)參考圖片選擇參考圖片、并且基于目標(biāo)感知表示和所選參考圖片來(lái)確定運(yùn)動(dòng)矢量信息的處理器。所確定的運(yùn)動(dòng)矢量信息基于參考圖片和目標(biāo)感知表示的屬性來(lái)確定。該系統(tǒng)對(duì)運(yùn)動(dòng)矢量信息進(jìn)行編碼并且對(duì)與所選參考圖片相關(guān)聯(lián)的指針進(jìn)行編碼。
[0021]根據(jù)另一實(shí)施例，用于編碼的方法包括:接收包括在包括圖片的視頻序列中的原始圖片的視頻信號(hào)；基于所接收到的原始圖片來(lái)生成目標(biāo)感知表示；從多個(gè)參考圖片選擇參考圖片；利用處理器，基于目標(biāo)感知表示和參考圖片來(lái)確定運(yùn)動(dòng)矢量信息，其中所確定的運(yùn)動(dòng)矢量信息基于參考圖片和目標(biāo)感知表示的屬性來(lái)確定；對(duì)所確定的運(yùn)動(dòng)矢量信息進(jìn)行編碼，以及對(duì)與參考圖片相關(guān)聯(lián)的指針進(jìn)行編碼。
[0022]用于編碼的方法可以由存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可讀指令來(lái)實(shí)施。指令可以被處理器執(zhí)行來(lái)執(zhí)行該方法。
[0023]根據(jù)又一個(gè)實(shí)施例，用于解碼的系統(tǒng)包括被配置成接收運(yùn)動(dòng)矢量信息的接口。運(yùn)動(dòng)矢量信息可以是基于基于來(lái)自包括圖片的視頻序列的原始圖片的目標(biāo)感知表示、以及與目標(biāo)感知表示相關(guān)聯(lián)的參考圖片。所述接口還被配置成接收與參考圖片相關(guān)聯(lián)的指針，并且接收與所接收到的運(yùn)動(dòng)矢量信息相關(guān)聯(lián)的殘差圖片。該系統(tǒng)還包括處理器，該處理器被配置成:利用所接收到的指針從多個(gè)參考圖片選擇參考圖片；基于所接收到的運(yùn)動(dòng)矢量信息和所選參考圖片來(lái)確定預(yù)測(cè)圖片；以及基于預(yù)測(cè)圖片和殘差圖片來(lái)生成重構(gòu)圖片。
[0024]根據(jù)又一個(gè)實(shí)施例，用于解碼的方法包括接收運(yùn)動(dòng)矢量信息，其中該運(yùn)動(dòng)矢量信息是基于基于來(lái)自包括圖片的視頻序列的原始圖片的目標(biāo)感知表不、以及與目標(biāo)感知表不相關(guān)聯(lián)的參考圖片；接收與相應(yīng)的參考圖片相關(guān)聯(lián)的指針；接收與所接收到的運(yùn)動(dòng)矢量信息相關(guān)聯(lián)的殘差圖片；利用相應(yīng)的接收到的指針從多個(gè)參考圖片選擇參考圖片；利用處理器，基于所接收到的運(yùn)動(dòng)矢量信息和相應(yīng)的選擇的參考圖片來(lái)確定預(yù)測(cè)圖片；以及基于所確定的預(yù)測(cè)圖片和所接收到的殘差圖片來(lái)生成重構(gòu)圖片。
[0025]用于解碼的方法可以由存儲(chǔ)在非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)上的計(jì)算機(jī)可讀指令來(lái)實(shí)施。指令可以被處理器執(zhí)行來(lái)執(zhí)行該方法。
【具體實(shí)施方式】
[0026]為了簡(jiǎn)單和說(shuō)明性目的，本發(fā)明通過(guò)主要參考實(shí)施例及其示例來(lái)描述。在以下描述中，許多特定細(xì)節(jié)被闡述以便提供對(duì)示例的透徹理解。然而容易地顯而易見(jiàn)的是，可以在不限于這些特定細(xì)節(jié)的情況下實(shí)踐本發(fā)明。在其它實(shí)例中，尚未對(duì)一些方法和結(jié)構(gòu)進(jìn)行詳細(xì)的描述以便不必要地使本描述混淆。此外，在下面描述了不同的實(shí)施例?？梢砸圆煌M合使用或者一起執(zhí)行示例。如在此所用的，術(shù)語(yǔ)“包括”意指包括但不限于術(shù)語(yǔ)“包括”。術(shù)語(yǔ)“基于”意指至少部分地基于。
[0027]如在以下示例中所演示的，存在用于基于感知表示對(duì)運(yùn)動(dòng)矢量信息進(jìn)行編碼和解碼的感知引擎、編碼和解碼系統(tǒng)、方法以及存儲(chǔ)在計(jì)算機(jī)可讀介質(zhì)(CRM)上的機(jī)器可讀指令。感知表示包括諸如在視頻序列中的那些的幀和/或圖片的圖。感知表示中的圖可以包括與圖片中的諸如像素的單元相關(guān)聯(lián)的計(jì)算值。在感知表示的圖中的計(jì)算值可以基于人類感知的模型來(lái)開(kāi)發(fā)。在下面提供了有關(guān)感知表示以及它們?cè)诰幋a和解碼中如何被生成和利用的另外的細(xì)節(jié)。
[0028]參考圖1，示出了諸如可以在用于在諸如傳輸流的壓縮位流中分發(fā)內(nèi)容的頭端處的設(shè)備中找到的感知編碼系統(tǒng)100。根據(jù)示例，感知編碼系統(tǒng)100接收視頻序列，諸如視頻序列101。視頻序列可以被包括在視頻位流中。視頻序列101可以包括可以位于或者作為原始圖片存儲(chǔ)在與感知編碼系統(tǒng)100相關(guān)聯(lián)的諸如存儲(chǔ)器102的存儲(chǔ)器中的幀或圖片。存儲(chǔ)器102可以包括一個(gè)或多個(gè)緩沖器或更高容量的儲(chǔ)存器。來(lái)自視頻序列101的圖片可以通過(guò)感知引擎104被轉(zhuǎn)換為感知表示并且存儲(chǔ)在存儲(chǔ)器102中。諸如相對(duì)于圖4在下面更詳細(xì)地描述了可以通過(guò)其生成感知表示的詳細(xì)步驟和參數(shù)。
[0029]可以從存儲(chǔ)器102中檢索諸如目標(biāo)圖片103的目標(biāo)圖片用于壓縮和編碼。目標(biāo)圖片103可以是來(lái)自視頻序列101的原始圖片。并且，可以從存儲(chǔ)器102中檢索用于確定運(yùn)動(dòng)矢量的參考圖片106。目標(biāo)圖片103和參考圖片106被用信號(hào)發(fā)送到運(yùn)動(dòng)補(bǔ)償器116以生成預(yù)測(cè)圖片110和運(yùn)動(dòng)矢量113。運(yùn)動(dòng)矢量113可以像在下面所描述的那樣從目標(biāo)圖片103和參考圖片106的感知表不生成。感知表不被不出為目標(biāo)感知表不105和參考感知表示 108。
[0030]指針114可以與參考圖片106相關(guān)聯(lián)。指針114可以標(biāo)識(shí)參考圖片106或與該參考圖片相關(guān)聯(lián)的屬性。指針114可以是身份、關(guān)聯(lián)、屬性、位置，諸如存儲(chǔ)地址等。可以從感知編碼系統(tǒng)100編碼和傳送指針114以用于基于或者與參考圖片106相關(guān)聯(lián)的下游解碼過(guò)程。
[0031]根據(jù)示例，目標(biāo)圖片103被從存儲(chǔ)器102中檢索并且用信號(hào)發(fā)送到運(yùn)動(dòng)補(bǔ)償器116。并且，可以通過(guò)感知引擎104從目標(biāo)圖片103生成的目標(biāo)感知表示105被從存儲(chǔ)器102中檢索并且用信號(hào)發(fā)送到運(yùn)動(dòng)補(bǔ)償器116。參考圖片106由選擇器117從存儲(chǔ)器102選擇并且被用信號(hào)發(fā)送到運(yùn)動(dòng)補(bǔ)償器116。可以通過(guò)感知引擎104從參考圖片106生成的參考感知表示108被從存儲(chǔ)器102中檢索并且用信號(hào)發(fā)送到運(yùn)動(dòng)補(bǔ)償器116。運(yùn)動(dòng)補(bǔ)償器116可以包括運(yùn)動(dòng)估計(jì)器109和預(yù)測(cè)圖片生成器115。運(yùn)動(dòng)估計(jì)器109接收目標(biāo)感知表示105和參考感知表示108并且利用兩者來(lái)確定運(yùn)動(dòng)矢量113。運(yùn)動(dòng)矢量113可以被編碼并且與指針114分別地或者連同指針114 一起在壓縮的視頻位流中傳送。運(yùn)動(dòng)矢量113可以通過(guò)掃描并且標(biāo)識(shí)與目標(biāo)感知表示105中的塊類似的參考感知表示108中的塊以及生成類似塊的指針來(lái)確定。
[0032]預(yù)測(cè)圖片生成器115使用由運(yùn)動(dòng)估計(jì)器109所確定的運(yùn)動(dòng)矢量113和參考圖片106來(lái)生成預(yù)測(cè)圖片110。減法器111可以接收并且處理預(yù)測(cè)圖片110以及目標(biāo)圖片103以生成殘差圖片112。殘差圖片112被還原以用于編碼和下行傳輸?shù)浇獯a系統(tǒng)。殘差圖片112可以排除目標(biāo)圖片103的運(yùn)動(dòng)估計(jì)區(qū)域，諸如與運(yùn)動(dòng)矢量113相關(guān)聯(lián)的區(qū)。殘差圖配112是從感知編碼系統(tǒng)100所傳送的編碼圖片，用于基于或與目標(biāo)圖片103相關(guān)聯(lián)的下游解碼處理。
[0033]參考圖2，示出了諸如可以在諸如機(jī)頂盒、轉(zhuǎn)碼器、電話聽(tīng)筒、個(gè)人計(jì)算機(jī)或用于接收諸如傳輸流的壓縮位流中的內(nèi)容的其它客戶端裝置的設(shè)備中找到的感知解碼系統(tǒng)200。根據(jù)示例，感知解碼系統(tǒng)200接收殘差圖片112、運(yùn)動(dòng)矢量113以及指針114。這些中的任一個(gè)都可以位于或者存儲(chǔ)在與感知解碼系統(tǒng)200相關(guān)聯(lián)的諸如存儲(chǔ)器201存儲(chǔ)器中。感知解碼系統(tǒng)200可以利用指針114來(lái)從存儲(chǔ)器201選擇參考圖片，諸如參考圖片202。參考圖片202對(duì)應(yīng)于或者與參考圖片106相關(guān)聯(lián)。參考圖片202與參考圖片106之間的關(guān)系可以通過(guò)指針114來(lái)確定 或者標(biāo)識(shí)。
[0034]根據(jù)示例，感知解碼系統(tǒng)200中的諸如運(yùn)動(dòng)補(bǔ)償器205的運(yùn)動(dòng)補(bǔ)償器可以接收參考圖片202和運(yùn)動(dòng)矢量113兩者。運(yùn)動(dòng)補(bǔ)償器205可以生成預(yù)測(cè)圖片，諸如預(yù)測(cè)圖片206。可以基于參考圖片202和運(yùn)動(dòng)矢量113來(lái)生成預(yù)測(cè)圖片206。預(yù)測(cè)圖片206可以被用信號(hào)發(fā)送到加法器，諸如加法器207。加法器207可以生成重構(gòu)圖片，諸如重構(gòu)圖片208?？梢曰陬A(yù)測(cè)圖片206和殘差圖片112來(lái)生成重構(gòu)圖片208。
[0035]原始圖片的感知表示(而不是原始圖片它本身)是用于確定運(yùn)動(dòng)矢量的基礎(chǔ)。參考圖3，提供了原始圖片300和對(duì)應(yīng)的感知表示301。感知表示301模仿人類視覺(jué)的自適應(yīng)對(duì)比度不變性。感知表示301的區(qū)302和303描繪與在原始圖片300中出現(xiàn)的低級(jí)紋理相關(guān)聯(lián)的低對(duì)比度區(qū)302和303的增強(qiáng)成像。在感知表示301的區(qū)302和303中出現(xiàn)的增強(qiáng)成像可以改進(jìn)這些區(qū)域的運(yùn)動(dòng)估計(jì)中的基于塊的運(yùn)動(dòng)匹配。
[0036]感知表示301的區(qū)304描繪可以與“馬赫帶”現(xiàn)象相關(guān)聯(lián)的原始圖片300的區(qū)。馬赫帶是感知現(xiàn)象，被以物理學(xué)家恩斯特?馬赫命名，并且與被人眼感知為緊靠具有不同亮度的圖像的兩個(gè)區(qū)之間的邊界出現(xiàn)的明亮或黑暗條紋相關(guān)聯(lián)。馬赫帶效應(yīng)是由于由人類視覺(jué)系統(tǒng)對(duì)由視網(wǎng)膜所捕獲的圖像的輝度通道所執(zhí)行的空間高提升濾波而導(dǎo)致的。這種濾波主要通過(guò)神經(jīng)元之間的側(cè)抑制在視網(wǎng)膜它本身中執(zhí)行。馬赫帶現(xiàn)象以及類似的紋理掩蔽通過(guò)視網(wǎng)膜中的濾波來(lái)執(zhí)行，所述網(wǎng)膜中的濾波可以靠近高對(duì)比度邊緣和特征發(fā)生。感知表示301的區(qū)304圖示諸如馬赫帶現(xiàn)象的梯度和類似的紋理掩蔽如何通過(guò)感知表示來(lái)捕獲。對(duì)于基于塊的運(yùn)動(dòng)矢量匹配這些梯度可以不以其它方式在原始圖片中可用。
[0037]感知表示301的區(qū)305描繪被示出成被保存在感知表示301的區(qū)305中的原始圖片300的高對(duì)比度特征。[0038]現(xiàn)描述用于從原始圖片生成感知表示的過(guò)程。參考圖4，從原始圖片生成感知表示的示例在流程圖400中被示出。原始圖片具有分配給每個(gè)像素的Y值。例如，Yu是在具有尺寸M乘N的圖像的坐標(biāo)1、j處的像素的亮度值。
[0039]在流程圖400中所參考的Y像素值與原始圖片相關(guān)聯(lián)。這些Y值被變換為空間細(xì)節(jié)圖中的eY值。空間細(xì)節(jié)圖是從原始圖片形成處理的圖片的加權(quán)圖。空間細(xì)節(jié)圖可以由感知編碼系統(tǒng)100使用考慮到自然圖像的統(tǒng)計(jì)和視網(wǎng)膜中細(xì)胞的反應(yīng)函數(shù)的人類視覺(jué)系統(tǒng)的模型來(lái)創(chuàng)建。加權(quán)圖可以是基于人類視覺(jué)系統(tǒng)的模型的原始圖片的像素圖。加權(quán)圖可以包括標(biāo)識(shí)視覺(jué)感知的難度水平和/壓縮的難度水平的針對(duì)每個(gè)像素的值或權(quán)重。壓縮的難度水平可以是測(cè)量對(duì)圖像的像素或區(qū)域進(jìn)行編碼所需的位數(shù)的連續(xù)標(biāo)度。類似地，視覺(jué)感知的難度水平是如與觀察者跟蹤像素或區(qū)域中的細(xì)節(jié)的能力相關(guān)聯(lián)，測(cè)量對(duì)圖像的像素或區(qū)域進(jìn)行編碼所需的位數(shù)的連續(xù)標(biāo)度。于2010年4月16日提交的標(biāo)題為“System forReducing Noise in Video Processing”的美國(guó)專利申請(qǐng)序號(hào)12/761，581中更詳細(xì)地描述了生成加權(quán)圖的過(guò)程，其通過(guò)引用整體地被包含在此。
[0040]根據(jù)示例，與人類視覺(jué)系統(tǒng)相關(guān)聯(lián)的模型(其可以被用來(lái)創(chuàng)建加權(quán)圖)包括集成感知指南(IPeG)系統(tǒng)。IPeG系統(tǒng)實(shí)現(xiàn)了采用某種可預(yù)期的總體平均統(tǒng)計(jì)(諸如自然圖像的標(biāo)度不變式)來(lái)生成與數(shù)據(jù)的處理相關(guān)聯(lián)的“不確定性信號(hào)”的IPeG變換式。IPeG變換式對(duì)人類視網(wǎng)膜中的某些細(xì)胞類的行為建模。IPeG變換式能夠通過(guò)繼之以求和步驟的2d空間卷積來(lái)實(shí)現(xiàn)。IPeG變換式的細(xì)化可以通過(guò)添加低空間頻率校正來(lái)實(shí)現(xiàn)，所述低空間頻率校正可以進(jìn)而通過(guò)繼之以插值的抽取或者通過(guò)其它低通空間濾波來(lái)近似。以計(jì)算機(jī)文件提供的或者從掃描系統(tǒng)提供的像素值可以被提供給變換式來(lái)生成空間細(xì)節(jié)圖。于2000年I 月 11 日公告的標(biāo)題為 “Apparatus and Methods for Image and Signal Processing”的美國(guó)專利 N0.6, 014, 468 ；2002 年 3 月 19 日公告的標(biāo)題為“Apparatus and Methods forImage and Signal Processing” 的美國(guó)專利 N0.6，360，021 ;2006 年 5 月 16 日公告的美國(guó)專利 N0.6，360，021 的繼續(xù)、標(biāo)題為 “Apparatus and Methods for Image and SignalProcessing”的美國(guó)專利N0.7，046, 857、以及于2000年I月28日提交的標(biāo)題為“Apparatusand Methods for Image and Signal Processing” 的國(guó)際申請(qǐng) PCT/US98/15767 中更詳細(xì)地描述了 IPeG系統(tǒng)，其通過(guò)引用整體地被包含在此。IPeG系統(tǒng)提供包括將視覺(jué)細(xì)節(jié)組織成感知意義的一組信號(hào)以及指示觀察者跟蹤某些視頻細(xì)節(jié)的能力的度量的信息。
[0041]圖4中所示出的空間細(xì)節(jié)圖包括值eY。例如，eY。是從原始圖片在i，j處的Y值的IPeG變換式的在i，j處的值。每個(gè)值eY。都可以包括標(biāo)識(shí)視覺(jué)感知的難度水平和/或壓縮的難度水平的針對(duì)每個(gè)像素的值或權(quán)重。每個(gè)eY。都可以是正的或負(fù)的。
[0042]如圖4中所示，空間細(xì)節(jié)圖的符號(hào)(例如，sign (eY))和空間細(xì)節(jié)圖的絕對(duì)值(例如，|eY|)是從該空間細(xì)節(jié)圖生成的。根據(jù)示例，可以生成符號(hào)信息如下:
[0043]
【權(quán)利要求】
1.一種用于編碼的系統(tǒng)，所述系統(tǒng)包括: 接口，所述接口被配置成 接收包括在包括圖片的視頻序列中的原始圖片的視頻信號(hào)；以及 處理器，所述處理器被配置成 基于所接收到的原始圖片來(lái)生成目標(biāo)感知表示， 從多個(gè)參考圖片選擇參考圖片， 基于所述目標(biāo)感知表示和所述參考圖片來(lái)確定運(yùn)動(dòng)矢量信息，其中所確定的運(yùn)動(dòng)矢量信息基于所述參考圖片和所述目標(biāo)感知表示的屬性被確定， 對(duì)所確定的運(yùn)動(dòng)矢量信息進(jìn)行編碼，以及 對(duì)與所述參考圖片相關(guān)聯(lián)的指針進(jìn)行編碼。
2.根據(jù)權(quán)利 要求1所述的系統(tǒng)，其中，所述處理器被配置成從所述參考圖片生成多個(gè)參考感知表示并且使用所述多個(gè)參考感知表示來(lái)確定所述運(yùn)動(dòng)矢量信息。
3.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述處理器被配置成通過(guò)以下來(lái)生成所述目標(biāo)感知表示: 基于相應(yīng)的原始圖片來(lái)生成空間細(xì)節(jié)圖， 基于相應(yīng)的生成的空間細(xì)節(jié)圖來(lái)確定符號(hào)信息， 基于所述相應(yīng)的生成的空間細(xì)節(jié)圖來(lái)確定絕對(duì)值信息，以及 處理所確定的符號(hào)信息和所確定的絕對(duì)值信息來(lái)形成相應(yīng)的生成的目標(biāo)感知表示。
4.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所生成的空間細(xì)節(jié)圖包括與所述原始圖片中的像素相關(guān)聯(lián)的值。
5.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所生成的空間細(xì)節(jié)圖包括使用相應(yīng)的原始圖片中的特征的人類可感知性的模型所確定的值。
6.根據(jù)權(quán)利要求3所述的系統(tǒng)，其中，所述處理器被配置成通過(guò)以下來(lái)確定所述絕對(duì)值信息: 基于所述相應(yīng)的生成的空間細(xì)節(jié)圖來(lái)確定絕對(duì)值圖；以及 基于壓擴(kuò)因子、所述相應(yīng)的確定的絕對(duì)值圖以及所述相應(yīng)的生成的空間細(xì)節(jié)圖來(lái)生成壓擴(kuò)的絕對(duì)值空間細(xì)節(jié)圖。
7.根據(jù)權(quán)利要求1所述的系統(tǒng)，其中，所述視頻序列中的所述原始圖片是在所述視頻序列中的圖片的轉(zhuǎn)變序列中。
8.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述轉(zhuǎn)變序列通過(guò)所述視頻序列中的多個(gè)圖片中的圖片的改變對(duì)比度屬性和改變亮度屬性中的至少一個(gè)來(lái)表征。
9.一種用于編碼的方法，所述方法包括: 接收包括在包括圖片的視頻序列中的原始圖片的視頻信號(hào)； 基于所接收到的原始圖片來(lái)生成目標(biāo)感知表示； 從多個(gè)參考圖片選擇參考圖片； 利用處理器基于所述目標(biāo)感知表示和所述參考圖片來(lái)確定運(yùn)動(dòng)矢量信息，其中所確定的運(yùn)動(dòng)矢量信息基于所述參考圖片和所述目標(biāo)感知表示的屬性被確定； 對(duì)所確定的運(yùn)動(dòng)矢量信息進(jìn)行編碼；以及 對(duì)與所述參考圖片相關(guān)聯(lián)的指針進(jìn)行編碼。
10.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)(CRM)，其存儲(chǔ)用于執(zhí)行根據(jù)權(quán)利要求9所述的方法的計(jì)算機(jī)可讀指令。
11.一種用于解碼的系統(tǒng)，所述系統(tǒng)包括: 接口，所述接口被配置成 接收運(yùn)動(dòng)矢量信息，其中所述運(yùn)動(dòng)矢量信息是基于 基于來(lái)自包括圖片的視頻序列的原始圖片的目標(biāo)感知表不，以及 與所述目標(biāo)感知表不相關(guān)聯(lián)的參考圖片； 接收與所述參考圖片相關(guān)聯(lián)的指針，以及 接收與所接收到的運(yùn)動(dòng)矢量信息相關(guān)聯(lián)的殘差圖片；以及處理器，所述處理器被配置成 利用所接收到的指針 從多個(gè)參考圖片選擇參考圖片， 基于所接收到的運(yùn)動(dòng)矢量信息和所選參考圖片來(lái)確定預(yù)測(cè)圖片，以及 基于所述預(yù)測(cè)圖片和所述殘差圖片來(lái)生成重構(gòu)圖片。
12.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述參考圖片是參考感知表示。
13.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述目標(biāo)感知表示由相應(yīng)的生成的空間細(xì)節(jié)圖形成，所述相應(yīng)的生成的空間細(xì)節(jié)圖基于相應(yīng)的原始圖片和以下中的至少一個(gè)來(lái)生成: 基于所述相應(yīng)的生成的空間細(xì)節(jié)圖而確定的確定的符號(hào)信息，以及 基于所述相應(yīng)的生成的空間細(xì)節(jié)圖而確定的確定的絕對(duì)值信息。
14.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所生成的空間細(xì)節(jié)圖包括與所述原始圖片中的像素相關(guān)聯(lián)的值。
15.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所生成的空間細(xì)節(jié)圖包括使用所述原始圖片中的特征的人類可感知性的模型所確定的值。
16.根據(jù)權(quán)利要求13所述的系統(tǒng)，其中，所確定的絕對(duì)值信息是基于 基于所述相應(yīng)的生成的空間細(xì)節(jié)圖的絕對(duì)值圖，以及 基于以下生成的壓擴(kuò)的絕對(duì)值空間細(xì)節(jié)圖: 壓擴(kuò)因子， 所述相應(yīng)的絕對(duì)值圖，以及 所述相應(yīng)的生成的空間細(xì)節(jié)圖。
17.根據(jù)權(quán)利要求11所述的系統(tǒng)，其中，所述視頻序列中的所述原始圖片是在所述視頻序列中的圖片的轉(zhuǎn)變序列中。
18.根據(jù)權(quán)利要求7所述的系統(tǒng)，其中，所述轉(zhuǎn)變序列通過(guò)所述轉(zhuǎn)變序列中的圖片的改變對(duì)比度屬性和改變亮度屬性中的至少一個(gè)來(lái)表征。
19.一種用于解碼的方法，所述方法包括: 接收運(yùn)動(dòng)矢量信息，其中所述運(yùn)動(dòng)矢量信息是基于 基于來(lái)自包括圖片的視頻序列中的原始圖片的目標(biāo)感知表不，以及 與所述目標(biāo)感知表不相關(guān)聯(lián)的參考圖片； 接收與相應(yīng)的參考圖片相關(guān)聯(lián)的指針； 接收與所接收到的運(yùn)動(dòng)矢量信息相關(guān)聯(lián)的殘差圖片； 利用相應(yīng)的接收到的指針從多個(gè)參考圖片選擇參考圖片；利用處理器基于所接收到的運(yùn)動(dòng)矢量信息和相應(yīng)的選擇的參考圖片來(lái)確定預(yù)測(cè)圖片；以及 基于所確定的預(yù)測(cè)圖片和所接收到的殘差圖片來(lái)生成重構(gòu)圖片。
20.一種非暫時(shí)性計(jì)算機(jī)可讀介質(zhì)(CRM)，其存儲(chǔ)用于執(zhí)行根據(jù)權(quán)利要求19所述的方法的計(jì)算機(jī)可讀 指令。
【文檔編號(hào)】H04N19/85GK103988510SQ201280060642
【公開(kāi)日】2014年8月13日 申請(qǐng)日期:2012年12月7日 優(yōu)先權(quán)日:2011年12月9日
【發(fā)明者】西恩·T·麥卡錫, 維賈伊·卡馬希 申請(qǐng)人:通用儀表公司