使用平滑約束的運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插的制作方法
【專利說明】使用平滑約束的運(yùn)動(dòng)補(bǔ)償?shù)膸瑑?nèi)插
【背景技術(shù)】
[0001] 數(shù)字視頻可以用于例如經(jīng)由視頻會(huì)議技術(shù)的遠(yuǎn)程商務(wù)會(huì)議、高清晰度視頻娛樂、 視頻廣告或者共享用戶生成的視頻。因此，提供時(shí)間和空間幀內(nèi)插將是有利的。

【發(fā)明內(nèi)容】

[0002] 本文公開了用于視頻幀內(nèi)插或拉取式幀內(nèi)插的系統(tǒng)、方法和裝置的多個(gè)方面。
[0003] -方面是一種用于拉取式幀內(nèi)插的方法，該方法可以包括：標(biāo)識(shí)多個(gè)輸入視頻幀； 生成指示從多個(gè)輸入視頻幀中的第一幀到多個(gè)輸入視頻幀中的第二幀的運(yùn)動(dòng)的多個(gè)運(yùn)動(dòng) 矢量；標(biāo)識(shí)第一幀與第二幀之間的內(nèi)插點(diǎn)；基于多個(gè)運(yùn)動(dòng)矢量，生成指示從第一幀到內(nèi)插 點(diǎn)以及從第二幀到內(nèi)插點(diǎn)的運(yùn)動(dòng)的多個(gè)候選內(nèi)插運(yùn)動(dòng)矢量；基于度量從多個(gè)候選內(nèi)插運(yùn)動(dòng) 矢量中選擇內(nèi)插運(yùn)動(dòng)矢量；以及基于所選擇的內(nèi)插運(yùn)動(dòng)矢量，在內(nèi)插點(diǎn)處生成內(nèi)插幀。
[0004] 另一方面是一種用于拉取式幀內(nèi)插的方法，該方法可以包括：標(biāo)識(shí)多個(gè)輸入視頻 幀；生成指示從多個(gè)輸入視頻幀中的第一幀到多個(gè)輸入視頻幀中的第二幀的運(yùn)動(dòng)的多個(gè)運(yùn) 動(dòng)矢量；確定多個(gè)運(yùn)動(dòng)矢量的平滑程度；在平滑程度在閾值之上的情況下，使用第一幀或 者第二幀作為內(nèi)插幀；在平滑程度在閾值之內(nèi)的情況下，標(biāo)識(shí)第一幀與第二幀之間的內(nèi)插 點(diǎn)；共同地使用組合能量函數(shù)、標(biāo)識(shí)遮擋并且基于多個(gè)運(yùn)動(dòng)矢量來生成多個(gè)候選內(nèi)插運(yùn)動(dòng) 矢量，該多個(gè)候選內(nèi)插運(yùn)動(dòng)矢量包括指示從第一幀到內(nèi)插點(diǎn)的運(yùn)動(dòng)的候選內(nèi)插運(yùn)動(dòng)矢量、 指示從第二幀到內(nèi)插點(diǎn)的運(yùn)動(dòng)的候選內(nèi)插運(yùn)動(dòng)矢量、以及基于針對(duì)多個(gè)相鄰位置的運(yùn)動(dòng)預(yù) 測(cè)的候選內(nèi)插運(yùn)動(dòng)矢量。對(duì)于多個(gè)內(nèi)插位置中的每個(gè)內(nèi)插位置，拉取式幀內(nèi)插可以包括：基 于內(nèi)插幀內(nèi)的平滑約束并且基于第一幀與第二幀之間的平滑約束，從多個(gè)候選內(nèi)插運(yùn)動(dòng)矢 量中選擇內(nèi)插運(yùn)動(dòng)矢量；以及選擇內(nèi)插運(yùn)動(dòng)矢量，并且基于所選擇的內(nèi)插運(yùn)動(dòng)矢量來更新 內(nèi)插幀。拉取式幀內(nèi)插可以包括：基于所選擇的內(nèi)插運(yùn)動(dòng)矢量，在內(nèi)插點(diǎn)處生成內(nèi)插幀，其 中內(nèi)插幀包括多個(gè)內(nèi)插位置，其中生成內(nèi)插幀包括：通過將內(nèi)插幀與第一幀和第二幀的平 均相混合并基于內(nèi)插運(yùn)動(dòng)矢量來校正內(nèi)插幀中的偽影，其中混合的程度基于與內(nèi)插運(yùn)動(dòng)矢 量相關(guān)聯(lián)的運(yùn)動(dòng)場的梯度，使得利用第一幀和第二幀的平均的對(duì)應(yīng)區(qū)域來代替內(nèi)插幀中具 有高運(yùn)動(dòng)梯度的部分。
[0005] 下文中更詳細(xì)地描述這些和其他方面的變型。
【附圖說明】
[0006] 本文中的描述參考附圖，在附圖中，相似的參考標(biāo)記貫穿多個(gè)視圖指代相似的部 分，并且其中：
[0007] 圖1是根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的計(jì)算設(shè)備的示圖；
[0008] 圖2是根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的計(jì)算和通信系統(tǒng)的示圖；
[0009] 圖3是根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的用于在幀內(nèi)插中使用的視頻流的示圖；
[0010] 圖4是根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的編碼器的框圖；
[0011] 圖5是根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的解碼器的框圖；
[0012] 圖6示出根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的用于視頻幀速率變換的時(shí)間線的示例；
[0013] 圖7示出根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的拉取式幀內(nèi)插的示例的示圖；
[0014] 圖8示出根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的拉取式幀內(nèi)插的示例的另一示圖；
[0015] 圖9示出根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的位置網(wǎng)格中的鄰近鄰居的示例的示圖；
[0016] 圖10示出根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的命中列表生成的示例的示圖；
[0017] 圖11示出根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的拉取式幀內(nèi)插的示例的示圖；以及
[0018] 圖12示出根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的拉取式幀內(nèi)插的示例的簡化圖。
【具體實(shí)施方式】
[0019] 數(shù)字視頻可以用于各種目的，包括例如經(jīng)由視頻會(huì)議技術(shù)的遠(yuǎn)程商務(wù)會(huì)議、高清 晰度視頻娛樂、視頻廣告以及共享用戶生成的視頻?？梢砸圆煌膸俾蕘韴?zhí)行視頻信號(hào) 的生成和顯示?？梢詧?zhí)行拉取式幀內(nèi)插，以從一個(gè)幀速率變換到另一幀速率或者生成時(shí)間 或空間視頻效果，諸如緩慢運(yùn)動(dòng)效果。
[0020] 視頻信號(hào)生成可以包括生成模擬或數(shù)字格式的視頻信號(hào)。一些格式每個(gè)可以包括 兩個(gè)場的交錯(cuò)圖像，其中在每個(gè)時(shí)刻（或者幀采樣周期）處采樣每個(gè)幀可用的行中的一半。 每時(shí)間單位的幀的數(shù)目（幀速率）可以變化并且可以執(zhí)行變換以從一個(gè)幀速率變換為另一 幀速率?？梢曰趤G棄或重復(fù)幀的非運(yùn)動(dòng)補(bǔ)償幀速率變換可能沒有很好地保持運(yùn)動(dòng)?？梢?更好地保持運(yùn)動(dòng)的運(yùn)動(dòng)補(bǔ)償幀速率變換（諸如幀內(nèi)插）可以包括使用來自視頻信號(hào)的運(yùn)動(dòng) 信息來生成新的內(nèi)插幀。
[0021] 拉取式幀內(nèi)插可以用于幀速率變換。在一些實(shí)現(xiàn)方式中，拉取式幀內(nèi)插可以用于 生成時(shí)間或空間視頻效果。例如，拉取式幀內(nèi)插可以生成附加幀以變換成緩慢運(yùn)動(dòng)效果或 從緩慢運(yùn)動(dòng)效果變換，或者在空間上鄰近的輸入幀之間內(nèi)插幀以產(chǎn)生空間移動(dòng)效果。
[0022] 拉取式幀內(nèi)插可以包括使用從連續(xù)的現(xiàn)有幀拉取的運(yùn)動(dòng)信息來生成內(nèi)插幀。運(yùn)動(dòng) 信息可以由任何運(yùn)動(dòng)估計(jì)器來生成。內(nèi)插運(yùn)動(dòng)可以獨(dú)立于圖片內(nèi)插而被生成。拉取式幀內(nèi) 插可以基于候選運(yùn)動(dòng)矢量選擇而包括優(yōu)化。可以執(zhí)行后處理以例如改善模糊或低質(zhì)量輸入 數(shù)據(jù)的處理。在一些實(shí)現(xiàn)方式中，拉取式幀內(nèi)插可以包括使用多分辨率多通道方案以改善 例如包括大量運(yùn)動(dòng)的輸入的性能。
[0023] 圖1是根據(jù)本公開內(nèi)容的實(shí)現(xiàn)方式的計(jì)算設(shè)備100的示圖。計(jì)算設(shè)備100可以包 括通信接口 110、通信單元120、用戶接口（UI) 130、處理器140、存儲(chǔ)器150、指令160、電源 170、或者其任意組合。如本文中所使用的，術(shù)語"計(jì)算設(shè)備"包括能夠執(zhí)行本文中所公開的 任何方法或其任何一個(gè)或多個(gè)部分的任何單元或者這些單元的組合。
[0024] 計(jì)算設(shè)備100可以是固定計(jì)算設(shè)備（諸如個(gè)人計(jì)算機(jī)（PC)、服務(wù)器、工作站、小型 計(jì)算機(jī)或大型計(jì)算機(jī)）或者移動(dòng)計(jì)算設(shè)備（諸如移動(dòng)電話、個(gè)人數(shù)字助理（PDA)、筆記本計(jì) 算機(jī)或平板PC)。雖然被示出為單個(gè)單元，但是計(jì)算設(shè)備100的任何一個(gè)或多個(gè)元件可以 集成為任何數(shù)目的分離的物理單元。例如，UI130和處理器140可以集成在第一物理單元 中，并且存儲(chǔ)器150可以集成在第二物理單元中。
[0025] 通信接口 110可以是所示出的無線天線、有線通信端口（諸如以太網(wǎng)端口、紅外線 端口、串行端口）、或者能夠與有線或無線電子通信介質(zhì)180接口對(duì)接的任何其他有線或無 線單元。
[0026] 通信單元120可以被配置成經(jīng)由有線或無線介質(zhì)180來發(fā)送或接收信號(hào)。例如， 如所示出的，通信單元120操作地連接到被配置成經(jīng)由無線信號(hào)來通信的天線。雖然圖1 中沒有明確示出，但是通信單元120可以被配置成經(jīng)由任何有線或無線通信介質(zhì)（諸如射 頻（RF)、紫外線（UV)、可見光、光纖、導(dǎo)線或其組合）來發(fā)送、接收或者發(fā)送和接收二者。雖 然圖1示出單個(gè)通信單元120和單個(gè)通信接口 110,但是可以使用任何數(shù)目的通信單元和任 何數(shù)目的通信接口。
[0027]UI130可以包括能夠與用戶對(duì)接的任何單元，諸如虛擬或物理小鍵盤、觸摸板、顯 示器、觸摸顯示器、揚(yáng)聲器、麥克風(fēng)、視頻相機(jī)、傳感器或者其任意組合。UI130可以與處理 器操作地耦合，如所示出的，或者與通信設(shè)備1〇〇的任何其他元件（諸如電源170)操作地 耦合。雖然被示出為單個(gè)單元，但是UI130可以包括一個(gè)或多個(gè)物理單元。例如，UI130 可以包括用于執(zhí)行與用戶的音頻通信的音頻接口以及用于執(zhí)行與用戶的基于視覺和觸摸 的通信的觸摸顯示器。雖然被示出為分離的單元，但是通信接口 110、通信單元120和UI 130或者其部分可以被配置為組合單元。例如，通信接口 110、通信單元120和UI130可以 實(shí)現(xiàn)為能夠與外部觸摸屏設(shè)備接口對(duì)接的通信端口。
[0028] 處理器140可以包括能夠操縱或處理現(xiàn)有的或下文中提出的信號(hào)或其他信息的 任何設(shè)備或系統(tǒng)，包括光學(xué)處理器、量子處理器、分子處理器或者其組合。例如，處理器140 可以包括通用處理器、專用處理器、傳統(tǒng)的處理器、數(shù)字信號(hào)處理器（DSP)、多個(gè)微處理器、 與DSP核相關(guān)聯(lián)的一個(gè)或多個(gè)微處理器、控制器、微控制器、專用集成電路（ASIC)、現(xiàn)場可 編程門陣列（FPGA)、可編程邏輯陣列、可編程邏輯控制器、微代碼、固件、任何類型的集成電 路（1C)、狀態(tài)機(jī)、或者其任意組合。如本文中所使用的，術(shù)語"處理器"包括單個(gè)處理器或 者多個(gè)處理器。處理器140可以與通信接口 110、通信單元120、UI130、存儲(chǔ)器150、指令 160、電源170或者其任意組合操作地耦合。
[0029] 存儲(chǔ)器150可以包括任何非瞬態(tài)計(jì)算機(jī)可用介質(zhì)或計(jì)算機(jī)可讀介質(zhì)，諸如能夠例 如包含、存儲(chǔ)、通信或傳送指令160或與其相關(guān)聯(lián)的任何信息的、用于由處理器140或結(jié)合 處理器140來使用的任何有形設(shè)備。非瞬態(tài)計(jì)算機(jī)可用介質(zhì)或計(jì)算機(jī)可讀介質(zhì)可以是例如 固態(tài)驅(qū)動(dòng)器、存儲(chǔ)卡、可移除介質(zhì)、只讀存儲(chǔ)器（R0M)、隨機(jī)存取存儲(chǔ)器（RAM)、任何類型的 盤（包括硬盤、軟盤、光盤、磁或光卡、專用集成電路（ASIC)、或者適合用于存儲(chǔ)電子信息的 任何類型的非瞬態(tài)介質(zhì)）、或者其任意組合。存儲(chǔ)器150可以通過例如存儲(chǔ)器總線（未明確 示出）連接到例如處理器140。
[0030] 指令160可以包括用于執(zhí)行本文中所描述的任何方法或其任何一個(gè)或多個(gè)部分 的指示?？梢杂糜布④浖蛘咂淙我饨M合來實(shí)現(xiàn)指令160。例如，指令160可以實(shí)現(xiàn)為存 儲(chǔ)器150中存儲(chǔ)的信息，諸如計(jì)算機(jī)程序，其可以由處理器140執(zhí)行以執(zhí)行本文中所描述的 任何相應(yīng)的方法、算法、方面或其組合。指令160或其部分可以實(shí)現(xiàn)為能夠包括用于執(zhí)行本 文中所描述的任何方法、算法、方面或其組合的專用硬件的專用處理器或電路。指令160的 部分可以分布在相同機(jī)器或不同機(jī)器上的多個(gè)處理器上或者分布在網(wǎng)絡(luò)（諸如局域網(wǎng)、廣 域網(wǎng)、因特網(wǎng)或其組合）上。
[0031] 電源170可以是用于對(duì)通信設(shè)備110供電的任意合適的設(shè)備。例如，電源170可以 包括有線電源；一個(gè)或多個(gè)干電池，諸如鎳鎘（NiCd)、鎳鋅（NiZn)、鎳金屬氰化物（NHffl)、 鋰離子（Li-ion);太陽能電池；燃料電池；或者能夠?qū)νㄐ旁O(shè)備110供電的任何其他設(shè)備。 通信接口 110、通信單元120、UI130、處理器140、指令160、存儲(chǔ)器150或者其任意組合可 以與電源170操作地耦合。
[0032] 雖然被示出為單獨(dú)的元件，但是通信接口 110、通信單元120、UI130、處理器140、 指令160、電源170、存儲(chǔ)器150或者其任意組合可以集成在一個(gè)或多個(gè)電子