在視頻內(nèi)插入虛擬對象的方法及裝置制造方法
【專利摘要】描述了一種用于在視頻中插入虛擬對象的方法及裝置。該方法利用表征觀眾在視頻圖像上的注視分配的顯著圖并基于顯著圖在視頻圖像中插入虛擬對象。該方法包括：在插入(11)虛擬對象之后生成(12)視頻圖像的顯著圖；以及通過調(diào)整插入的虛擬對象的至少一個視覺特性來基于顯著圖調(diào)整(13)虛擬對象的插入。
【專利說明】在視頻內(nèi)插入虛擬對象的方法及裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及一種用于通過利用表征觀眾在視頻上的注視分配(gaze allocat1n)的視頻的顯著圖在視頻中插入虛擬對象的方法和裝置。本發(fā)明還涉及適用于在視頻中插入虛擬對象的這類方法和裝置的計算機可讀介質(zhì)。

【背景技術(shù)】
[0002]虛擬內(nèi)容插入是視頻分析的一種新興應用，在視頻增強領(lǐng)域中已經(jīng)得到了廣泛應用以提高觀眾的觀賞體驗。虛擬內(nèi)容插入的一種實際應用是為廣告客戶提供巨大商機的視頻廣告。例如，視頻共享網(wǎng)站YouTube不時地在視頻的底部插入商業(yè)廣告的橫幅(banner)。
[0003]視頻內(nèi)虛擬內(nèi)容插入的一個主要挑戰(zhàn)是平衡兩個相互矛盾的任務，即使得插入的內(nèi)容足夠顯眼讓觀眾注意到，同時不干擾觀眾對原有內(nèi)容的觀賞體驗。在視頻顯示期間，常規(guī)的流中插入，即在視頻流中插入虛擬內(nèi)容會中斷觀眾的觀看。雖然可以通過在視頻開始或結(jié)尾插入虛擬內(nèi)容來減少干擾，但觀眾可能跳過或避開插入的內(nèi)容。在視頻幀中插入虛擬內(nèi)容的視頻中的插入是更有效的插入的另一種選擇。它可以是虛擬內(nèi)容在原始內(nèi)容之上流過的覆蓋插入或是將虛擬內(nèi)容嵌入視頻的場景中插入。這兩種方法都提供了在視頻幀中合適的時機和位置插入虛擬內(nèi)容的可能性。
[0004]已經(jīng)研究了用于自動在視頻中插入的方法和系統(tǒng)以實現(xiàn)有效的插入，同時將對觀眾的干擾減少到最小。一種有用的工具是預測并分析觀眾在視頻上的注視分配的視頻的視覺注意分析，即顯著圖。通常，顯著分析在插入之前進行，以決定在何時以及何處在視頻中插入虛擬內(nèi)容。吸引人注意的鏡頭通常被選擇作為插入時間，視頻幀中不那么吸引人注意的、具有最低顯著度的區(qū)域被選擇作為插入位置以減少對觀眾的干擾。然而，這可能降低插入的有效性，即觀眾將會集中注意原始內(nèi)容并忽略插入的虛擬對象。另外，由于顯著分析是在插入之前完成的，因此未對插入結(jié)果進行檢查，插入的質(zhì)量可能較差。


【發(fā)明內(nèi)容】

[0005]因此，本發(fā)明的一個目的是提出一種在視頻中插入虛擬對象使得插入足夠顯眼但對觀眾來說并不造成過分侵擾的改進的解決方案。
[0006]根據(jù)本發(fā)明的第一方面，一種利用表征觀眾在視頻圖像上的注視分配的顯著圖并基于顯著圖在視頻圖像中插入虛擬對象的在視頻中插入虛擬對象的方法，其特征在于:在插入虛擬對象之后生成視頻圖像的顯著圖；以及通過調(diào)整插入的虛擬對象的至少一個視覺特性來基于顯著圖調(diào)整虛擬對象的插入。
[0007]因此，一種被配置為在視頻中插入虛擬對象的裝置包括:插入模塊，用于在視頻圖像中插入虛擬對象；顯著度模塊，用于生成視頻圖像的顯著圖，其中顯著圖通過顯著度模塊在插入虛擬對象之后生成；以及調(diào)整模塊，用于通過調(diào)整插入的虛擬對象的至少一個視覺特性調(diào)整虛擬對象的插入。
[0008]而且，本發(fā)明還提供了一種具有存儲于其中的用于通過利用表征觀眾在視頻圖像上的注視分配的顯著圖并通過基于顯著圖在視頻圖像中插入虛擬對象來在視頻中插入虛擬對象的指令的計算機可讀介質(zhì)。當由計算機執(zhí)行時，該指令使得計算機:在插入虛擬對象之后生成視頻圖像的顯著圖；以及通過調(diào)整插入的虛擬對象的至少一個視覺特性來基于顯著圖調(diào)整虛擬對象的插入。

【專利附圖】

【附圖說明】
[0009]為更好地理解，現(xiàn)在將參照附圖在下面的描述中對本發(fā)明做更詳細的說明?？梢岳斫獾氖牵景l(fā)明并不限于這些公開的示例性實施例，并且在不脫離所附權(quán)利要求限定的本發(fā)明的范圍的情況下，可以對具體的特征方便地組合和/或修改。在附圖中:
[0010]圖1是示出根據(jù)本發(fā)明的在視頻中插入虛擬對象的方法的流程圖。
[0011]圖2是示出根據(jù)本發(fā)明的方法的在視頻中選擇區(qū)域的步驟的流程圖。
[0012]圖3是示出根據(jù)本發(fā)明的實施在視頻中插入虛擬對象的方法的裝置的示意圖。

【具體實施方式】
[0013]在下面，將對本發(fā)明的用于利用視頻的顯著圖在視頻中(例如，在視頻圖像中)插入虛擬對象的方法和裝置進行說明。顯著圖用于表征觀眾在目標視頻上(例如，在視頻圖像上)的注視分配，并可以使用本領(lǐng)域已知的任何方法或技術(shù)計算得到。例如，顯著圖可以用在 Urban, F.等人在((Medium Spatial Frequencies, a Strong Predictor of Salience))(Cognitive Computat1ns (I)，37-47 頁，2011 年)以及 Le Meur, 0.等人在((Predictingvisual fixat1ns on video based on low-level visual features》 (Vis1n Research,卷47/19，2483-2498頁，2007年)中描述的方法計算。
[0014]參照圖1，根據(jù)本發(fā)明的方法的一個優(yōu)選的實施例包括:選擇10視頻內(nèi)的某個區(qū)域；在視頻內(nèi)(優(yōu)選地在選擇的區(qū)域內(nèi))插入11虛擬對象；插入虛擬對象之后生成12視頻的顯著圖；以及通過調(diào)整插入的虛擬對象的至少一個視覺特性基于顯著圖調(diào)整13虛擬對象的插入。優(yōu)選地，該方法還包括迭代14生成視頻的顯著圖以及基于顯著圖調(diào)整虛擬對象的插入的步驟。例如，插入的虛擬對象的視覺特性可以是虛擬對象的透明度、亮度或顏色，它是可調(diào)整的，并且對于該插入的視覺表現(xiàn)是有影響力的。虛擬對象可以是例如出于商業(yè)目的被經(jīng)常插入到視頻序列中的2D圖像或視頻廣告?？蛇x地，虛擬對象的插入可以是覆蓋插入或場景中插入，這兩者都是眾所周知的，并在本領(lǐng)域中被廣泛應用。覆蓋插入指的是虛擬對象在目標視頻的原始內(nèi)容之上流過的插入，而對于場景中插入，插入的虛擬對象被嵌入到視頻的原始內(nèi)容之中。
[0015]根據(jù)本發(fā)明的方法的一個優(yōu)點是，虛擬對象的插入是可調(diào)整的。由于顯著圖是在插入虛擬對象之后生成的，因此用戶可以檢查插入的效果和得到的視頻的視覺表現(xiàn)。虛擬對象的插入可以基于觀眾的感知和對觀眾的侵擾進行調(diào)整，從而改善和優(yōu)化插入結(jié)果，例如，虛擬對象的無縫插入。例如，如果插入太刺眼和造成過多侵擾，那么可以降低虛擬對象的透明度和亮度。與此相反，可以將插入調(diào)整變得合理顯眼，以達到插入的廣告效果或目的。可選地，插入的調(diào)整可以根據(jù)用戶的需求迭代進行。
[0016]例如，在插入11虛擬對象和生成12顯著圖之后，可以使用本領(lǐng)域中任何已知技術(shù)定義和測量視頻的整個顯著圖的平均顯著值。可選地，用戶可以根據(jù)用戶的需求預先手動定義和選擇平均顯著值的閾值T。虛擬對象的插入的調(diào)整可以例如通過調(diào)整插入的虛擬對象的透明度α，使得得到的顯著圖的平均顯著值以閾值T為邊界來進行?？蛇x地，調(diào)整可以迭代進行以達到最佳的插入結(jié)果。當然，閾值T可以在調(diào)整過程中的任何時候重新定義或重新選擇。此外，可以定義和選擇一個以上的閾值T或其他的參考值來改善調(diào)整。當然，除了插入的虛擬對象的透明度α，也可以調(diào)整插入的虛擬對象的其他視覺特性，如它的亮度和顏色，以進行調(diào)整。一種優(yōu)選是插入之后的得到的顯著圖的平均顯著值接近插入之前的測得的平均顯著值。
[0017]參照圖2，優(yōu)選地，該方法的優(yōu)選實施例的選擇10視頻中的某個區(qū)域的步驟包括:基于區(qū)域的幾何特性選擇101某個區(qū)域；計算102所選的幾何區(qū)域；生成103視頻的初步顯著圖；基于顯眼程度選擇104某個區(qū)域；以及選擇105用于在視頻中插入11虛擬對象的候選區(qū)域。生成步驟103和選擇步驟104可以在選擇步驟101和計算步驟102之前、之后或同時完成。換言之，基于區(qū)域的幾何特性選擇和基于視頻的顯眼程度選擇的順序是靈活的。
[0018]基于視頻內(nèi)區(qū)域的幾何特性選擇101某個區(qū)域可以由用戶手動或由處理器自動完成。優(yōu)選地，所選的區(qū)域是視頻中的四邊形區(qū)域，如廣告橫幅、卡車的側(cè)部、建筑物等。例如，用戶可以通過借助于跟蹤器，如在Lucas, B.D.和Kanade, Τ.的《An iterative imageregistrat1n technique with an applicat1n to stereo vis1n)) (Internat1nal JointConference on Artificial Intelligence, 674-679 頁，1981 年)中描述的 KLT 跟蹤器，在視頻的第一幀上指示相繼位于整個視頻中的的某個區(qū)域的四個極值點來手動選擇視頻中的四邊形區(qū)域。一種用于自動選擇區(qū)域的方法可以例如使用魯棒的(robust)邊緣檢測器。如果區(qū)域的邊緣在視頻中形成平行四邊形，并且如果區(qū)域的形狀與沿視頻序列進行的運動估計一致，那么檢測器提取并選擇該區(qū)域。
[0019]在基于區(qū)域的幾何特性選擇101某個區(qū)域之后，對所選的幾何區(qū)域進行分析102以得到各種屬性，如幾何特性(例如，姿勢和大小)，以及光度特性(例如，局部方差，該區(qū)域和插入的虛擬對象之間的顏色距離)。例如，計算所選區(qū)域上的強度方差，并與通過計算構(gòu)成視頻圖像的小片(patch)上的平均方差估計得到的視頻的圖像噪聲比較。具有較小強度方差和較低反射度(specularity)的區(qū)域優(yōu)選成為用于插入虛擬對象的候選區(qū)域，這有益于無縫插入。
[0020]生成103示出觀眾在視頻上的注視分配，即顯眼程度的初步顯著圖可以使用如上所述的本領(lǐng)域中任何已知的技術(shù)實現(xiàn)。基于顯眼程度選擇104某個區(qū)域使用該初步顯著圖實現(xiàn)。優(yōu)選地，所選的區(qū)域具有足夠高到對觀眾來說在視覺上顯眼但足夠低到對觀眾來說非常自然并不會過于引人注意和造成侵擾的顯著度。替代性地，所選區(qū)域可以具有視頻的顯著圖中的最高或最低的顯著度。
[0021]選擇105用于在視頻中插入11虛擬對象的候選區(qū)域的步驟可以例如通過表決方法(voting method)實現(xiàn)。例如，表決方法可以是各種標準(包括如上所述在步驟101和102中計算得到的區(qū)域的幾何和光度特性)以及基于初步顯著圖的區(qū)域的顯眼程度的線性加權(quán)平衡。當然，在表決方法中，區(qū)域的任何其他的屬性也可以考慮進來。標準中的每一個都用一些可以在測試數(shù)據(jù)庫上學習或由用戶手動調(diào)整的參數(shù)加權(quán)。因此，每個區(qū)域都被給予可以用來對候選區(qū)域進行排序的一個評分。換句話說，可以根據(jù)不同情況的不同標準和不同用戶的需求來選擇候選區(qū)域。例如，候選區(qū)域可以是具有最低圖像噪聲和最低反射度的區(qū)域、該區(qū)域與插入的虛擬對象的顏色比較在顏色方面最滿足要求、該區(qū)域具有初步顯著圖中的最高或最低顯著度或該區(qū)域最接近視頻的圖像中心。優(yōu)選地，所選的候選區(qū)域是通過表決方法決定的最佳區(qū)域。
[0022]可選地，根據(jù)本發(fā)明的用于在視頻中插入虛擬對象的方法還包括將視頻分解成一系列鏡頭的步驟，其中每一個鏡頭例如都包括一個或多個視頻圖像。分解步驟可以在圖1和2中示出的方法的任何階段完成。使用視頻分解，本發(fā)明的方法的每一個步驟都可以對整個視頻序列或只對視頻的一部分鏡頭進行。因此，可以簡化插入過程，并降低其時間消耗。
[0023]圖3示意性地示出了根據(jù)本發(fā)明的被配置為執(zhí)行用于在視頻中插入虛擬對象的方法的裝置20的優(yōu)選實施例。該裝置20包括:選擇模塊21，用于選擇視頻內(nèi)用于插入虛擬對象的區(qū)域；插入模塊22，用于在視頻中插入虛擬對象；顯著度模塊23，用于生成視頻的顯著圖；以及調(diào)整模塊24，用于通過調(diào)整插入的虛擬對象的至少一個視覺特性來調(diào)整虛擬對象的插入。顯著度模塊23可以用于生成在插入虛擬對象之后的顯著圖，以及用于在插入虛擬對象之前選擇視頻內(nèi)的某個區(qū)域的初步顯著圖兩者?？蛇x地，該裝置20還包括分解模塊25，用于將視頻分解成一系列的視頻鏡頭，視頻的分解可以在如上所述的過程中的任何階段進行。實際上，裝置20可以是STB、服務器、廣播前端等，使得本發(fā)明的方法可以在各種設備中執(zhí)行。當然，該裝置20的各種模塊同樣可以被部分或完全組合成單一模塊，或者實現(xiàn)為在處理器上運行的軟件。
【權(quán)利要求】
1.一種利用表征觀眾在視頻圖像上的注視分配的顯著圖并基于顯著圖在視頻圖像中插入虛擬對象的在視頻中插入虛擬對象的方法，其特征在于，所述方法包括: -在插入(11)虛擬對象之后生成(12)視頻圖像的顯著圖；以及 -通過調(diào)整插入的虛擬對象的至少一個視覺特性來基于顯著圖調(diào)整(13)虛擬對象的插入。
2.如權(quán)利要求1所述的方法，其特征在于，迭代(14)生成(12)視頻圖像的顯著圖和基于顯著圖調(diào)整(13)虛擬對象的插入。
3.如權(quán)利要求1和2中任何一項所述的方法，其特征在于，在插入(11)虛擬對象之前，選擇(10)視頻圖像內(nèi)的某個區(qū)域。
4.如權(quán)利要求3所述的方法，其特征在于，選擇(101)某個區(qū)域是基于所述區(qū)域的幾何特性。
5.如權(quán)利要求4所述的方法，其特征在于，所選的區(qū)域是平行四邊形。
6.如權(quán)利要求3所述的方法，其特征在于，在選擇圖像內(nèi)的某個區(qū)域之前生成(103)視頻圖像的初步顯著圖，其中選擇某個區(qū)域是基于所述初步顯著圖。
7.如權(quán)利要求1至3中任何一項所述的方法，其特征在于，所述方法包括將視頻分解成一系列的鏡頭，每一個鏡頭都包括至少一張圖像。
8.如權(quán)利要求1和2中任何一項所述的方法，其特征在于，虛擬對象的視覺特性是虛擬對象的透明度和/或亮度。
9.如權(quán)利要求1和2中任何一項所述的方法，其特征在于，虛擬對象的插入可以是覆蓋插入，使得虛擬對象在視頻圖像中的原始內(nèi)容之上流過，或是場景中插入，使得虛擬對象被嵌入視頻圖像之中。
10.如權(quán)利要求1和2中任何一項所述的方法，其特征在于，插入的虛擬對象是2D圖像廣告或視頻廣告。
11.一種被配置為利用表征觀眾在視頻圖像上的注視分配的顯著圖并基于顯著圖在視頻圖像中插入虛擬對象的在視頻中插入虛擬對象的裝置,所述裝置包括: -插入模塊(22)，用于在視頻圖像中插入虛擬對象； -顯著度模塊(23)，用于生成視頻圖像的顯著圖，其中顯著圖通過顯著度模塊在插入虛擬對象之后生成；以及 -調(diào)整模塊(24)，用于通過調(diào)整插入的虛擬對象的至少一個視覺特性調(diào)整虛擬對象的插入。
12.如權(quán)利要求11所述的裝置，進一步包括選擇模塊(21)，用于選擇視頻圖像內(nèi)用于插入虛擬對象的區(qū)域。
13.如權(quán)利要求11和12中任何一項所述的裝置，進一步包括分解模塊(25)，用于將視頻分解為一系列的鏡頭，每一個鏡頭都包括至少一張圖像。
14.一種具有存儲于其中的用于通過利用表征觀眾在視頻圖像上的注視分配的顯著圖并基于顯著圖在視頻圖像中插入虛擬對象的在視頻中插入虛擬對象的指令的計算機可讀介質(zhì)，其特征在于，當由計算機執(zhí)行時，所述指令使得計算機: 在插入虛擬對象之后生成視頻圖像的顯著圖；以及 通過調(diào)整插入的虛擬對象的至少一個視覺特性來基于顯著圖調(diào)整虛擬對象的插入。
【文檔編號】H04N21/44GK104244021SQ201410286318
【公開日】2014年12月24日 申請日期:2014年6月24日 優(yōu)先權(quán)日:2013年6月24日
【發(fā)明者】P.赫利爾, C.查馬雷特, L.奧伊塞爾 申請人:湯姆遜許可公司