用于混合第一視頻信號和第二視頻信號的方法和裝置制造方法
【專利摘要】一種用于混合第一視頻信號和第二視頻信號的方法，所述方法包括在混合設(shè)備處接收所述第一視頻信號；接收所述第二視頻信號；接收轉(zhuǎn)換信息信號，其將所述第一視頻信號分為透明區(qū)域和非透明區(qū)域，并且表示所述第一視頻信號和所述第二視頻信號之間的空間關(guān)系；根據(jù)所述轉(zhuǎn)換信息信號，轉(zhuǎn)換所述第二視頻信號；以及組合所述第一視頻信號的所述非透明區(qū)域與所述轉(zhuǎn)換的第二視頻信號的部分，所述轉(zhuǎn)換的第二視頻信號的所述部分在所述第一視頻信號的所述透明區(qū)域中呈現(xiàn)。
【專利說明】用于混合第一視頻信號和第二視頻信號的方法和裝置

【技術(shù)領(lǐng)域】
[0001]本發(fā)明涉及視頻處理領(lǐng)域。具體地說，本發(fā)明涉及混合視頻信號領(lǐng)域。

【背景技術(shù)】
[0002]多個已知的多媒體編輯工具提供某種形式的視頻疊加功能。這些功能允許用戶在視頻上置加文本，在視頻上置加圖片，在視頻上置加照片，在視頻上置加視頻(pip)，或者在視頻上置加圖形。
[0003]已知解決方案使用分層方法，其中不同多媒體格式在層中的彼此之上出現(xiàn)。對生成的視頻編碼之后，各層不再單獨可用。當(dāng)需要不同攝像機角度以實現(xiàn)立體聲或多視圖3D時，需要生成一個或多個不同視頻流，并且需要將生成的視頻編碼為一個視頻。


【發(fā)明內(nèi)容】

[0004]本發(fā)明實施例的一個目標(biāo)是克服上述某些缺點。
[0005]根據(jù)本發(fā)明的一個方面，提供一種用于混合第一視頻信號和第二視頻信號的方法，所述方法包括在混合設(shè)備處:接收所述第一視頻信號；接收所述第二視頻信號；接收轉(zhuǎn)換信息信號，其將所述第一視頻信號分為透明區(qū)域和非透明區(qū)域，并且表示所述第一視頻信號和所述第二視頻信號之間的空間關(guān)系；根據(jù)所述轉(zhuǎn)換信息信號，轉(zhuǎn)換所述第二視頻信號；以及組合所述第一視頻信號的所述非透明區(qū)域與所述轉(zhuǎn)換的第二視頻信號的部分，所述轉(zhuǎn)換的第二視頻信號的所述部分在所述第一視頻信號的所述透明區(qū)域中呈現(xiàn)。
[0006]本發(fā)明的一個優(yōu)勢是通過保留所述第一視頻信號和所述第二視頻信號之間的所述空間關(guān)系，使混合視頻信號變成可能。因此，所述生成的混合視頻看起來更自然，因為將根據(jù)所述第一視頻信號的修改適當(dāng)轉(zhuǎn)換所述混入的第二視頻信號，所述修改例如包括全景、傾斜和縮放轉(zhuǎn)換、投影、反射、旋轉(zhuǎn)(用于滾動和偏轉(zhuǎn))，以及所述攝像機位置的更改。
[0007]在根據(jù)本發(fā)明的方法的實施例中，所述轉(zhuǎn)換包括以下一個或多個:縮放、剪切、旋轉(zhuǎn)、反射、投影，以及轉(zhuǎn)化所述第一視頻流。
[0008]本實施例的一個優(yōu)勢是可以將在主要視頻流中發(fā)生的最常見轉(zhuǎn)換應(yīng)用于所述輔助視頻流。
[0009]在實施例中，根據(jù)本發(fā)明的方法進一步包括接收與所述轉(zhuǎn)換信息信號關(guān)聯(lián)的第一深度信息，并且根據(jù)所述第一深度信息在三維空間中執(zhí)行所述轉(zhuǎn)換。
[0010]在實施例中，根據(jù)本發(fā)明的方法進一步包括接收與所述第二視頻信號關(guān)聯(lián)的第二深度信息，并且根據(jù)所述第二深度信息在三維空間中執(zhí)行所述轉(zhuǎn)換。
[0011]這些實施例的一個優(yōu)勢是所述混合所述視頻信號變得甚至更自然，因為所述第二視頻信號的所述對象將在所述表示的三維空間中表現(xiàn)一致一即使所述生成的混合視頻被表示為二維視頻信號。可以根據(jù)與所述第二視頻信號關(guān)聯(lián)的深度信息和/或與所述轉(zhuǎn)換信息信號關(guān)聯(lián)的深度信息，執(zhí)行所述3D轉(zhuǎn)換。例如，即使所述第二視頻信號作為二維信號提供(無深度信息)，它也仍然可以根據(jù)與所述轉(zhuǎn)換信息關(guān)聯(lián)的所述深度信息在三維空間中轉(zhuǎn)換。
[0012]在實施例中，根據(jù)本發(fā)明的方法進一步包括接收與所述第一視頻信號關(guān)聯(lián)的第三深度信息。
[0013]本實施例的一個優(yōu)勢是所述混合所述視頻信號變得甚至更自然，因為所述第二視頻信號的所述對象將在所述表示的三維空間中表現(xiàn)一致，這也可以以三維呈現(xiàn)。
[0014]在根據(jù)本發(fā)明的方法的實施例中，所述第一視頻信號和所述轉(zhuǎn)換信息信號作為編碼視頻流的不同通道接收。
[0015]本實施例的一個優(yōu)勢是標(biāo)準(zhǔn)化多通道編碼格式可以用于所述傳輸具有固有混合能力的視頻流。本實施例的進一步優(yōu)勢是簡化所述主通道(所述第一視頻信號)和所述混合通道(所述轉(zhuǎn)換信息信號)之間的時間同步。
[0016]根據(jù)本發(fā)明的一個方面，提供一種包括軟件裝置的計算機程序，所述軟件裝置被配置為當(dāng)執(zhí)行時，執(zhí)行如上所述的方法。
[0017]根據(jù)本發(fā)明的一個方面，提供一種用于混合第一視頻信號和第二視頻信號的裝置，所述裝置包括:第一視頻輸入接口，其用于接收所述第一視頻信號；第二視頻輸入接口，其用于接收所述第二視頻信號；轉(zhuǎn)換信息接口，其用于接收轉(zhuǎn)換信息信號，所述轉(zhuǎn)換信息信號將所述第一視頻信號分為透明區(qū)域和非透明區(qū)域，并且表示所述第一視頻信號和所述第二視頻信號之間的空間關(guān)系；轉(zhuǎn)換處理器，其在操作上耦合到所述第二視頻輸入接口和所述轉(zhuǎn)換信息接口，所述轉(zhuǎn)換處理器被配置為根據(jù)所述轉(zhuǎn)換信息信號，轉(zhuǎn)換所述第二視頻信號；以及混合處理器，其在操作上耦合到所述第一視頻接口和所述轉(zhuǎn)換處理器，所述混合處理器被配置為組合所述第一視頻信號的所述非透明區(qū)域與所述轉(zhuǎn)換的第二視頻信號的部分，所述轉(zhuǎn)換的第二視頻信號的所述部分在所述第一視頻信號的所述透明區(qū)域中呈現(xiàn)。
[0018]在根據(jù)本發(fā)明的裝置的實施例中，所述轉(zhuǎn)換處理器被配置為應(yīng)用以下一個或多個:縮放、剪切、旋轉(zhuǎn)、反射、投影，以及轉(zhuǎn)化所述第二視頻信號。
[0019]在根據(jù)本發(fā)明的裝置的實施例中，所述轉(zhuǎn)換信息接口進一步適合于接收與所述轉(zhuǎn)換信息信號關(guān)聯(lián)的第一深度信息，并且所述轉(zhuǎn)換處理器被配置為根據(jù)所述第一深度信息在三維空間中轉(zhuǎn)換所述第二視頻信號。
[0020]在根據(jù)本發(fā)明的裝置的實施例中，所述第二視頻輸入接口進一步適合于接收與所述第二視頻信號關(guān)聯(lián)的第二深度信息，并且所述轉(zhuǎn)換處理器被配置為根據(jù)所述第二深度信息在三維空間中轉(zhuǎn)換所述第二視頻信號。
[0021 ] 在根據(jù)本發(fā)明的裝置的實施例中，所述第一視頻輸入接口進一步適合于接收與所述第一視頻信號關(guān)聯(lián)的第三深度信息。
[0022]根據(jù)本發(fā)明的一個方面，提供一種用于如上所述的方法的視頻流，所述視頻流包括所述第一視頻信號作為主通道，以及所述轉(zhuǎn)換信息信號作為額外通道。
[0023]在實施例中，根據(jù)本發(fā)明的視頻流進一步包括深度信息。
[0024]所述深度信息可以與所述第一視頻信號和/或所述轉(zhuǎn)換信息信號有關(guān)。
[0025]根據(jù)本發(fā)明的一個方面，提供一種視頻服務(wù)器，其被配置為提供如上所述的視頻流。
[0026]根據(jù)本發(fā)明的裝置、視頻流和服務(wù)器的實施例的效果和優(yōu)勢在細節(jié)上作必要修改后，與根據(jù)本發(fā)明的方法的對應(yīng)實施例相同。

【專利附圖】

【附圖說明】
[0027]現(xiàn)在僅通過實例的方式并且參考附圖，描述根據(jù)本發(fā)明實施例的裝置和/或方法的某些實施例，這些附圖是:
[0028]圖1提供根據(jù)本發(fā)明實施例的方法的流程圖；
[0029]圖2提供根據(jù)本發(fā)明實施例的裝置的示意圖；
[0030]圖3示出本發(fā)明的示例性應(yīng)用；
[0031]圖4示出本發(fā)明的示例性應(yīng)用；以及
[0032]圖5示出本發(fā)明的示例性應(yīng)用。

【具體實施方式】
[0033]在現(xiàn)有視頻上圖片疊加方法中，如果選定圖片格式支持透明度(例如，PNG或SWF格式)，則圖片的各部分可以是透明的。在這種情況下，圖片后面的視頻可以“窺視”透明區(qū)域。如果疊加工具支持MNG (移動PNG)，則可以疊加多個多媒體格式，其中MNG視頻中的透明區(qū)域?qū)⒃试S底層多媒體格式窺視。因為現(xiàn)代瀏覽器支持MNG，所以目前通常支持(非同步)MNG視頻上的視頻置加。
[0034]現(xiàn)有解決方案不允許輔助實時(3D)視頻流在深度上與第一(3D)視頻流疊加。因此，不可能在其中第二(3D)視頻流將變得可見的第一視頻流中定義靜態(tài)或動態(tài)3D區(qū)域一具有α和深度。
[0035]諸如視頻之類的2D或3D多媒體格式的主要組成部分是顏色信息(例如，RGB、YUV或HSV)、深度信息(通常為標(biāo)量或“灰度”值)，以及透明度或“α ”信息(也是標(biāo)量或“灰度”值)。本發(fā)明的實施例基于以下洞察:可以通過在這些多媒體格式中包括額外信息通道，使上述實時無縫混合視頻流變成可能。
[0036]適用本發(fā)明的多媒體格式是靜態(tài)圖像編碼/容器格式，其包括但不限于:PNG、GIF、JPG、TIFF、RIFF、WebP、SVG和BMP ;以及移動圖像編碼/容器格式，其包括但不限于:MNG、動畫 GIF、MPEG、AV1、WMV、M0V、RM、3GP、VP8、WebM、Theora、0gg和 0GM。其中參考視頻編碼，可以使用諸如H.264、HEVC之類的代碼，以及所屬【技術(shù)領(lǐng)域】的技術(shù)人員已知的其它編解碼器。
[0037]本發(fā)明的實施例尤其基于
【發(fā)明者】的以下洞察:在第一多媒體格式中包括一系列通道是有利的，每個通道包含顏色、深度和透明度信息，其中每個通道定義該第一多媒體格式中的獨有區(qū)域，在該區(qū)域中允許混入(融入)從另一個獨立源接收的第二多媒體格式。因此，本發(fā)明的實施例在客戶機側(cè)實現(xiàn)實時混合。但是，還可以應(yīng)用本發(fā)明以便在服務(wù)器側(cè)(例如，在位于核心網(wǎng)絡(luò)或接入網(wǎng)絡(luò)中的視頻服務(wù)器上)實現(xiàn)混合。每個通道的顏色、深度以及透明度信息還可以被額外地定義為數(shù)學(xué)2D或3D區(qū)域、雕刻3D區(qū)域，或者任何其它可行的2D/3D區(qū)域定義。
[0038]為了易于理解，以下將包括透明部分的視頻流稱為“主要視頻流”，而將包括要在所述透明部分中出現(xiàn)的視覺信息的流(多個)(即，在第一視頻流“后面”顯示并且窺視后者的透明區(qū)域的流(多個))稱為“輔助視頻流(多個)”。當(dāng)以單數(shù)形式使用“輔助視頻流”時，這并非旨在排除其中混入多個輔助視頻流的實施例。
[0039]術(shù)語“主要視頻流”和“輔助視頻流”的使用不失一般性，具體地說，并不排除“層疊”或遞歸使用，其中第二視頻流也包括透明區(qū)域以便引入進一步(較低階)流。此外，術(shù)語“視頻”的使用并不排除隨時間保持不變的輸入饋送(即，表示靜態(tài)圖像的饋送)。因此，本發(fā)明也包括以下實施例:其中主要視頻流和/或輔助視頻流實際上由適當(dāng)格式的靜態(tài)圖像表示。
[0040]主要視頻流包括表示實際圖像顏色信息的主通道，以下也稱為“第一視頻信號”。輔助視頻流也包括表示實際圖像顏色信息的主通道，以下也稱為“第二視頻信號”。
[0041]定義主要視頻流中的獨有區(qū)域(其中可以插入輔助視頻流)的額外通道稱為“混合通道”。在更抽象的層次上，這些通道也稱為“轉(zhuǎn)換信息(信號)”，因為它們定義獲得主要流和混入的輔助流的所需幾何關(guān)系需要的轉(zhuǎn)換；具體地說，轉(zhuǎn)換信息包括錨定信息，即，定義混入的輔助流在主要流中錨定的位置的信息。轉(zhuǎn)換信息信號優(yōu)選地與視頻信號一起作為相同流中的單獨通道提供，但這不是必需的；轉(zhuǎn)換信息也可以通過任何適當(dāng)?shù)难b置單獨提供。轉(zhuǎn)換信息信號可以是動態(tài)的或靜態(tài)的，即，它可以作為視頻景物中的移動區(qū)域或靜態(tài)圖像提供。
[0042]本發(fā)明實施例的一個優(yōu)勢是可以提供平臺，其中可以使用發(fā)現(xiàn)轉(zhuǎn)換信息信號的指令和來自客戶機(查看器)的可選指令，將主要視頻信號與一個或多個輔助視頻信號自主混合，其中不同信號可以源自不同(分布式)源，并且其中中央導(dǎo)控器并不預(yù)定最終合成結(jié)果。由于系統(tǒng)的(分布式)實時行為，僅允許主要流的發(fā)起者定義允許的合成的幾何形狀，而不是最終合成結(jié)果。
[0043]從描述中顯而易見，輔助流的轉(zhuǎn)換及其與主要流的組合可以導(dǎo)致僅輔助流的一部分可見。具體地說，輔助流的各部分可以由主要流的非透明部分覆蓋，主要流的呈現(xiàn)好像它是位于輔助流“之上”的層。此外，所需的轉(zhuǎn)換可以包括諸如以下的轉(zhuǎn)換:放大、轉(zhuǎn)化和旋轉(zhuǎn)，這可以將原始輔助流的某些部分投影到位于控制視口(通常為在水平和垂直方向具有固定數(shù)量像素的矩形)外部的坐標(biāo)。
[0044]根據(jù)本發(fā)明的實施例，圖1示出用于混合第一視頻信號和第二視頻信號的方法，所述方法包括在混合設(shè)備處:接收第一視頻信號101，接收第二視頻信號102 ;接收轉(zhuǎn)換信息信號103，其將第一視頻信號分為透明區(qū)域和非透明區(qū)域，并且表示第一視頻信號和第二視頻信號之間的空間關(guān)系；根據(jù)轉(zhuǎn)換信息信號，轉(zhuǎn)換110第二視頻信號；以及組合120第一視頻信號的非透明區(qū)域與轉(zhuǎn)換的第二視頻信號的部分，轉(zhuǎn)換的第二視頻信號的部分在第一視頻信號的透明區(qū)域中呈現(xiàn)。
[0045]轉(zhuǎn)換信息確保第一視頻流和第二視頻流可以通過一致的空間相互關(guān)系混合，并且優(yōu)選地在時間上同步。在數(shù)學(xué)上，轉(zhuǎn)換信息可以被視為在主要視頻流表示的空間中固定的參考幀的“起源”和一組基向量。
[0046]轉(zhuǎn)換信息可以包括一個或多個指定的屬性，這些屬性定義例如用于縮放、大小設(shè)置、修剪、反射、傾斜、旋轉(zhuǎn)和過濾的特征。在混合之前，可以向來自輔助通道(多個)的視頻信號應(yīng)用指定的過濾器。
[0047]優(yōu)選地，第一視頻信號和轉(zhuǎn)換信息信號分別作為主視頻流的主通道和混合通道提供。在特殊情況下，主視頻流僅包括透明區(qū)域，因此僅是用于任何數(shù)量的混合通道的容器。
[0048]在本發(fā)明的實施例中，混合通道被表示為數(shù)學(xué)區(qū)域。這些區(qū)域可以使用專用標(biāo)識符定義，或者使用與3D視頻中的絕對或相對位置組合的數(shù)學(xué)公式定義。實例是2D分段常值函數(shù)和2D平面梯度?？梢詾檫@些區(qū)域指定單一顏色和單一透明度值。在另一個實施例中，不提供顏色和透明度值，以便接收者針對這些區(qū)域回退到100%透明度。在另一個實施例中，可以提供一個或多個顏色和透明度梯度。
[0049]根據(jù)本發(fā)明的實施例，圖2示出用于混合第一視頻信號和第二視頻信號的裝置200，所述裝置包括:第一視頻輸入接口 201，其用于接收第一視頻信號；第二視頻輸入接口 202，其用于接收第二視頻流；轉(zhuǎn)換信息接口 203，其用于接收轉(zhuǎn)換信息信號，轉(zhuǎn)換信息信號將第一視頻信號分為透明區(qū)域和非透明區(qū)域，并且表示第一視頻信號和第二視頻信號之間的空間關(guān)系；轉(zhuǎn)換處理器210，其在操作上耦合到第二視頻輸入接口 202和轉(zhuǎn)換信息接口 203，轉(zhuǎn)換處理器210被配置為根據(jù)轉(zhuǎn)換信息信號，轉(zhuǎn)換第二視頻信號；以及混合處理器220，其在操作上耦合到第一視頻接口 201和轉(zhuǎn)換處理器210，混合處理器220被配置為組合第一視頻信號的非透明區(qū)域與轉(zhuǎn)換的第二視頻信號的部分，轉(zhuǎn)換的第二視頻信號的部分在第一視頻信號的透明區(qū)域中呈現(xiàn)。
[0050]盡管上面描述了多個接口 201、202、203，但這不失一般性，并且并不排除其中使用相同接口履行數(shù)個功能的實現(xiàn)。術(shù)語“接口”指定在軟件平臺(例如，應(yīng)用編程接口 API)的不同部分之間，在存儲介質(zhì)和軟件平臺之間，或者在通信網(wǎng)絡(luò)中的節(jié)點之間建立數(shù)據(jù)通信需要的必需硬件和軟件，如所屬【技術(shù)領(lǐng)域】的技術(shù)人員公知的那樣。優(yōu)選地，使用標(biāo)準(zhǔn)化協(xié)議。在用戶接入網(wǎng)絡(luò)中，接入接口例如可以包括用于xDSL、xPON、WMAN或3G鏈路的接口。LAN接口例如可以包括用于IEEE 802.3 “以太網(wǎng)”鏈路、IEEE 802.11 “無線LAN”鏈路的一個或多個的接口。PAN接口例如可以包括USB接口或藍牙接口。
[0051]優(yōu)選地使用允許綁定多個通道的視頻編碼方案，以一個或多個混合通道的形式，將轉(zhuǎn)換信息信號與第一視頻信號綁定。
[0052]圖3示意性地示出示例性應(yīng)用，其中根據(jù)本發(fā)明的裝置200被布置為經(jīng)由第一接口 201/203，從第一視頻服務(wù)器300接收主要視頻流。根據(jù)本發(fā)明，第一視頻服務(wù)器300提供包括第一視頻信號和轉(zhuǎn)換信息信號的主要視頻流，分別作為主通道和混合通道。裝置200被進一步布置為經(jīng)由第二接口 202，從第二視頻服務(wù)器310接收輔助視頻流。第二視頻服務(wù)器310也可以被配置為在輔助視頻流中包括一個或多個混合通道，但這不是必需的。在裝置200處，對接收的視頻流解碼，如上所述轉(zhuǎn)換從輔助視頻流提供的第二視頻信號，并且基于第一視頻信號和轉(zhuǎn)換的第二視頻信號，根據(jù)轉(zhuǎn)換信息產(chǎn)生混合視頻信號。
[0053]混合區(qū)域的對齊可以自動完成，或者根據(jù)(實時)用戶輸入完成。當(dāng)多個混合區(qū)域可用時，區(qū)域的選擇可以自動完成，或者根據(jù)(實時)用戶輸入完成。用戶可以可選地激活和/或調(diào)整第二視頻信號的其它處理。
[0054]根據(jù)本發(fā)明的方法和裝置例如可以用于2D多媒體格式以便支持運動視差。實際上，例如某個視頻錄制(第一多媒體格式)中的透明窗口(在房屋或辦公樓中)的變化位置與例如另一個視頻錄制(第二多媒體格式)中的某個人的靜態(tài)位置混合，將導(dǎo)致這個人在第一視頻錄制中相對于攝像機的移動而移動。
[0055]優(yōu)選地采用混合通道形式的轉(zhuǎn)換信息可以將窗口的2D區(qū)域定義為透明的，并且大的3D區(qū)域直接在窗口的后面。當(dāng)該2D視頻與輔助2D或3D視頻混合時，輔助視頻在不同位置中混合，具體取決于主要視頻的攝像機的視點。
[0056]如果主要視頻是非交互式視頻流(例如，常規(guī)電影)，則提供的視頻流隱含攝像機的視點。對于實時生成的內(nèi)容也是如此，其中(人工或自動)導(dǎo)控器進行有關(guān)應(yīng)該捕獲的內(nèi)容的所有選擇。但是，本發(fā)明也適用于以下情況:其中最終用戶，即組合視頻流的查看者控制攝像機的視點。這種控制可以通過常規(guī)用戶接口(鼠標(biāo)和/或鍵盤、手勢檢測等)實現(xiàn)，或者通過查看者在顯示器前面的物理空間中的實際移動實現(xiàn)，在這種情況下，必須通過足夠的傳感器捕獲這些移動，如虛擬現(xiàn)實領(lǐng)域公知的那樣。
[0057]圖4通過示例性應(yīng)用示意性地示出這種效果。主要視頻流在房屋400內(nèi)部發(fā)射，由具有門410和窗戶420的前墻400F限定。技術(shù)人員應(yīng)該理解，房屋可以備選地是被布置為看似房屋的工作室，或者計算機生成的適當(dāng)3D景物的呈現(xiàn)。門410具有透明窗格410a，并且窗戶420具有透明窗格420a-d，通過它們可以看到虛擬“外部景物”。“外部景物”限于區(qū)域450，區(qū)域450在圖4右邊的頂視圖中表示為散列矩形，并且在圖4左上方的視圖A中表示為虛線矩形。
[0058]在該設(shè)置中，透明區(qū)域410a和420a_d與空間區(qū)域450 (僅在房屋外部定義)的組合將定義混合區(qū)域，其中可以混合來自輔助視頻流的內(nèi)容。該混合區(qū)域由轉(zhuǎn)換信息指定，轉(zhuǎn)換信息優(yōu)選地以一個或多個混合通道的形式提供。在示出的實例中，提供輔助視頻流，其包括在風(fēng)中擺動的一棵向日葵430的圖像。一般而言，輔助流可以是3D流(具有深度信息的視頻信號)或2D流。
[0059]根據(jù)本發(fā)明，轉(zhuǎn)換信息用于在空間上將輔助流綁定到主要流。在這種特定情況下，外部景物的向日葵430在參考混合區(qū)域450的固定點處保持。如果外部景物作為2D流提供，則它可以在投影點虛線460的位置處作為矩形屏幕引入到景物中。應(yīng)該注意，可能必須縮放和/或轉(zhuǎn)換原始輔助流，以便符合在控制主要視頻流的透視圖中看到的“矩形”幾何形狀一具體地說，可以將矩形轉(zhuǎn)換為梯形。如果外部景物作為3D流提供，則它應(yīng)該正確地在三維中呈現(xiàn)，以便其內(nèi)容落在混合區(qū)域450定義的深度邊界內(nèi)。然后將主要視頻信號及其透明區(qū)域410a和420a-d放在外部景物之上作為疊加，從而顯示房屋內(nèi)部，其中外部景物的適當(dāng)部分通過窗戶和門窗格可見。
[0060]在圖4右邊的頂視圖中示出三個示例性攝像機位置A、B、C及其相應(yīng)的視向。圖4左邊的三個視圖對應(yīng)于這些攝像機位置。視圖A表示垂直指向房屋前墻400F的中心的攝像機拍攝的視圖。向日葵430通過窗格420a和420c完全可見，除了縮放之外沒有任何失真。視圖B表示在視圖A的攝像機稍微偏右的攝像機拍攝的視圖，其中攝像機更多地指向左墻400L。因此，向日葵430的圖像將相對窗戶420的邊緣向右移動。向日葵430的一部分仍然可以通過窗格420a和420c看到，而其余部分移動到窗格420b和420d中。視圖C表示在視圖A的攝像機稍微偏左的攝像機拍攝的視圖，其中攝像機更多地指向右墻400R。因此，向日葵430的圖像將相對窗戶420的邊緣向左移動。僅向日葵430的一部分仍然可以通過窗格420a和420c看到，而其余部分現(xiàn)在由前墻400F擋住而未出現(xiàn)在視圖中。
[0061]優(yōu)選地，混合通道包括顏色信息、深度信息和透明度信息的一個或多個。如果混合通道不包括顏色信息，則與第一視頻流混合的輔助視頻流將提供適當(dāng)呈現(xiàn)混合視頻流需要的顏色信息。如果提供顏色信息，則該信息將根據(jù)其透明度級別與輔助視頻流的顏色信息混合。
[0062]主要和輔助視頻流中的主視頻通道和混合視頻通道不一定必須在相同維度中。因此，主通道以及一個或多個混合通道的每一個可以是二維的或三維的。
[0063]此外，主通道以及一個或多個混合通道的每一個可以包括一個或多個視點。在圖4的實例中，可以在主要視頻流中包括三個攝像機視點A、B、C。輔助視頻在不同位置中混合，具體取決于用戶針對主要視頻選擇的視點。該技術(shù)也可以應(yīng)用于以下情況:其中主要通道是靜態(tài)圖像而不是移動圖像。
[0064]在另一個實施例中，3D輔助視頻可以在3D中顯示，而單一視點2D主要視頻保持在2D中。
[0065]本發(fā)明的另一個示例性應(yīng)用是房間的3D視頻，其中在桌子周圍提供不同3D透明區(qū)域。然后可以將位于遠處的單獨用戶的(3D)視頻流(使用背景去除)混合到透明區(qū)域中。根據(jù)選定視點，桌子和某些參與者的視頻流將部分或全部在某些其它參與者的前面。這類似于實際情況，其中桌子或人部分擋住整個人的視圖，例如人的腿在桌子下面。
[0066]圖5示出本發(fā)明的這種示例性應(yīng)用，其中混合區(qū)域由圓柱510表示，其中去除下半部的前向一半?？梢院苋菀椎卦谧雷?00的周圍定位一個或多個這種混合區(qū)域501、502、503，以便在桌子500的上面定位上半部的剩余前向部分，而在桌子500的后面定位整個后向一半。當(dāng)例如坐在桌子旁邊的人的輔助視頻與主要視頻對齊時，輔助視頻中的人的3D圖像顯示為坐在主要視頻的桌子500的旁邊，即使當(dāng)他靠在桌子上時也是如此。當(dāng)準(zhǔn)確對齊時，輔助視頻中的桌子上存在的紙張或物品也在混合視頻中可見。
[0067]在本發(fā)明的上下文中，具體地說在圖5中示出的實施例的視圖中，需要用戶手動旋轉(zhuǎn)輔助信號(多個)以便定位其對應(yīng)物的圖像以面向桌子，這是不可取的。在有利的實施例中，一個或多個通道因此包括促進自動對齊的其它屬性。該屬性可以包括以下一個或多個:中心坐標(biāo)以及簡正或正面坐標(biāo)標(biāo)識的向量、2D/3D縮放系數(shù)，以及測量單位或大小校準(zhǔn)系數(shù)。可以通過根據(jù)向量在景物中的所需(虛擬)位置，在空間中適當(dāng)?shù)貙R向量(多個)，獲得圖像的自動對齊。
[0068]盡管上面將方法和裝置作為單獨實施例進行了描述，但這僅為了清晰起見，并且應(yīng)該注意，僅結(jié)合方法實施例描述的特性可以應(yīng)用于根據(jù)本發(fā)明的裝置以便獲得相同的技術(shù)效果和優(yōu)勢，反之亦然。
[0069]附圖中示出的各種元件(包括標(biāo)記為“處理器”的任何功能框)的功能，可以通過使用專用硬件以及能夠執(zhí)行軟件的硬件與適當(dāng)軟件結(jié)合來提供。當(dāng)由處理器提供時，功能可以由單個專用處理器、單個共享處理器，或者多個單獨處理器(其中某些處理器可以共享)提供。此外，顯式使用術(shù)語“處理器”或“控制器”不應(yīng)被解釋為專門指能夠執(zhí)行軟件的硬件，并且可以隱式包括但不限于數(shù)字信號處理器(DSP)硬件、網(wǎng)絡(luò)處理器、專用集成電路(ASIC)、現(xiàn)場可編程門陣列(FPGA)、用于存儲軟件的只讀存儲器(ROM)、隨機存取存儲器(RAM)，以及非易失性存儲裝置。也可以包括其它常規(guī)和/或定制硬件。同樣，附圖中示出的任何交換機僅是概念性的?？梢酝ㄟ^程序邏輯操作、通過專用邏輯、通過程序控制和專用邏輯的交互，或者甚至手動執(zhí)行它們的功能，特定技術(shù)可由實施者選擇，如從上下文更具體理解的那樣。
[0070]所屬【技術(shù)領(lǐng)域】的技術(shù)人員很容易地理解，上述各種方法的步驟可以由程控計算機執(zhí)行。在此，某些實施例也旨在包括程序存儲器件(例如，機器或計算機可讀的數(shù)字?jǐn)?shù)據(jù)存儲介質(zhì))，并且對機器可執(zhí)行或計算機可執(zhí)行指令程序編碼，其中所述指令執(zhí)行所述上述方法的部分或全部步驟。程序存儲器件例如可以是數(shù)字存儲器、磁存儲介質(zhì)(例如磁盤和磁帶)、硬盤驅(qū)動器，或者光可讀數(shù)字?jǐn)?shù)據(jù)存儲介質(zhì)。實施例也旨在包括被編程為執(zhí)行上述方法的所述步驟的計算機。
【權(quán)利要求】
1.一種用于混合第一視頻信號和第二視頻信號的方法，所述方法包括在混合設(shè)備處: -接收所述第一視頻信號； -接收所述第二視頻信號； -接收轉(zhuǎn)換信息信號，其將所述第一視頻信號分為透明區(qū)域和非透明區(qū)域，并且表示所述第一視頻信號和所述第二視頻信號之間的空間關(guān)系； -根據(jù)所述轉(zhuǎn)換信息信號，轉(zhuǎn)換所述第二視頻信號；以及 -組合所述第一視頻信號的所述非透明區(qū)域與所述轉(zhuǎn)換的第二視頻信號的一部分，所述轉(zhuǎn)換的第二視頻信號的所述一部分在所述第一視頻信號的所述透明區(qū)域中呈現(xiàn)。
2.根據(jù)權(quán)利要求1所述的方法，其中所述轉(zhuǎn)換包括以下一個或多個:縮放、剪切、旋轉(zhuǎn)、反射、投影，以及轉(zhuǎn)化所述第二視頻信號。
3.根據(jù)權(quán)利要求1或權(quán)利要求2所述的方法，進一步包括接收與所述轉(zhuǎn)換信息信號關(guān)聯(lián)的第一深度信息，其中根據(jù)所述第一深度信息在三維空間中執(zhí)行所述轉(zhuǎn)換。
4.根據(jù)上述任一權(quán)利要求所述的方法，進一步包括接收與所述第二視頻信號關(guān)聯(lián)的第二深度信息，其中根據(jù)所述第二深度信息在三維空間中執(zhí)行所述轉(zhuǎn)換。
5.根據(jù)上述任一權(quán)利要求所述的方法，進一步包括接收與所述第一視頻信號關(guān)聯(lián)的第三深度信息。
6.根據(jù)上述任一權(quán)利要求所述的方法，其中所述第一視頻信號和所述轉(zhuǎn)換信息信號作為編碼視頻流的不同通道接收。
7.一種包括軟件裝置的計算機程序，所述軟件裝置被配置為當(dāng)執(zhí)行時，執(zhí)行根據(jù)上述任一權(quán)利要求所述的方法。
8.一種用于混合第一視頻信號和第二視頻信號的裝置，所述裝置包括: -第一視頻輸入接口，其用于接收所述第一視頻信號； -第二視頻輸入接口，其用于接收所述第二視頻信號； -轉(zhuǎn)換信息接口，其用于接收轉(zhuǎn)換信息信號，所述轉(zhuǎn)換信息信號將所述第一視頻信號分為透明區(qū)域和非透明區(qū)域，并且表示所述第一視頻信號和所述第二視頻信號之間的空間關(guān)系； -轉(zhuǎn)換處理器，其在操作上耦合到所述第二視頻輸入接口和所述轉(zhuǎn)換信息接口，所述轉(zhuǎn)換處理器被配置為根據(jù)所述轉(zhuǎn)換信息信號，轉(zhuǎn)換所述第二視頻信號；以及 -混合處理器，其在操作上耦合到所述第一視頻接口和所述轉(zhuǎn)換處理器，所述混合處理器被配置為組合所述第一視頻信號的所述非透明區(qū)域與所述轉(zhuǎn)換的第二視頻信號的一部分，所述轉(zhuǎn)換的第二視頻信號的所述一部分在所述第一視頻信號的所述透明區(qū)域中呈現(xiàn)。
9.根據(jù)權(quán)利要求8所述的裝置，其中所述轉(zhuǎn)換處理器被配置為應(yīng)用以下一個或多個:縮放、剪切、旋轉(zhuǎn)、反射、投影，以及轉(zhuǎn)化所述第二視頻信號。
10.根據(jù)權(quán)利要求8或權(quán)利要求9所述的裝置，其中所述轉(zhuǎn)換信息接口進一步適合于接收與所述轉(zhuǎn)換信息信號關(guān)聯(lián)的第一深度信息，并且其中所述轉(zhuǎn)換處理器被配置為根據(jù)所述第一深度信息在三維空間中轉(zhuǎn)換所述第二視頻信號。
11.根據(jù)權(quán)利要求8-10中任一項所述的裝置，其中所述第二視頻輸入接口進一步適合于接收與所述第二視頻信號關(guān)聯(lián)的第二深度信息，并且其中所述轉(zhuǎn)換處理器被配置為根據(jù)所述第二深度信息在三維空間中轉(zhuǎn)換所述第二視頻信號。
12.根據(jù)權(quán)利要求8-11中任一項所述的裝置，其中所述第一視頻輸入接口進一步適合于接收與所述第一視頻信號關(guān)聯(lián)的第三深度信息。
13.一種在根據(jù)權(quán)利要求1-7中任一項所述的方法中使用的視頻流，所述視頻流包括所述第一視頻信號作為主通道，以及所述轉(zhuǎn)換信息信號作為額外通道。
14.根據(jù)權(quán)利要求13所述的視頻流，進一步包括深度信息。
15.一種視頻服務(wù)器，其被配置為提供根據(jù)權(quán)利要求13-14中任一項所述的視頻流。
【文檔編號】G06T15/00GK104380728SQ201380028838
【公開日】2015年2月25日 申請日期:2013年5月23日 優(yōu)先權(quán)日:2012年6月1日
【發(fā)明者】S·范布勒克, P·龍當(dāng)阿爾法塞, C·史蒂文斯, J-F·麥克 申請人:阿爾卡特朗訊公司